💬 NLP

VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation

Ce document introduit la Distillation d'Attribution Visuelle (VAD), un algorithme contrefactuel qui isole les corrections visuellement attribuables à partir de signaux d'enseignants mixtes dans la distillation on-policy multimodale afin de reconstruire des cibles d'entraînement plus efficaces et alignées sur les preuves, lesquelles surpassent les méthodes existantes sur les bancs d'essai visuels à grain fin.

Auteurs originaux : Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment devenir détective. Il y a un professeur super intelligent qui voit une scène de crime parfaitement, et un robot étudiant qui essaie d'apprendre à résoudre l'enquête. Le professeur observe les indices et dit : « Le suspect porte un chapeau rouge ! » Mais parfois, le cerveau du professeur est un peu bruyant. Peut-être que le professeur pense aussi : « Le suspect porte un chapeau rouge, et aussi, j'aime beaucoup les chapeaux rouges, et la météo est agréable aujourd'hui. » Si vous vous contentez de copier exactement les mots du professeur, l'étudiant pourrait apprendre à dire « chapeau rouge », mais pourrait aussi accidentellement commencer à parler de la météo ou de la couleur préférée du professeur. C'est le problème de l'information « mélangée à la source » : l'étudiant reçoit la bonne réponse mélangée à du bruit supplémentaire et déroutant.

Dans le monde de l'intelligence artificielle, plus précisément des Grands Modèles de Langage Multimodaux (une IA qui peut voir des images et lire du texte), les chercheurs essaient d'apprendre à ces modèles à prêter davantage attention aux détails visuels. Une méthode courante s'appelle la « Distillation On-Policy ». Considérez cela comme un robot étudiant essayant de résoudre un puzzle, et chaque fois qu'il est bloqué ou qu'il fait une supposition, le professeur regarde le même puzzle (mais avec une vue plus claire) et corrige le prochain mouvement de l'étudiant. Le but est de rendre l'étudiant plus intelligent en lui montrant le bon chemin. Cependant, si la correction du professeur est un mélange confus de « regardez ce détail spécifique » et de « juste mon opinion générale », l'étudiant pourrait être confus. C'est pourquoi les chercheurs s'en préoccupent : ils veulent savoir exactement quelle partie du conseil du professeur provient de la preuve visuelle (l'image) et quelle partie n'est que les habitudes ou les astuces linguistiques du professeur.

Entrez une nouvelle méthode appelée VAD (Distillation par Attribution Visuelle), qui agit comme un « filtre de vérité » pour les conseils du professeur. Au lieu de copier aveuglément toute la correction du professeur, VAD pose une question intelligente de type « et si ». Elle prend la supposition actuelle de l'étudiant et demande deux choses au professeur : « Que dirais-tu si je te montrais l'image complète et claire ? » et « Que dirais-tu si je floutais l'indice spécifique dont nous parlons ? » En comparant ces deux réponses, VAD peut calculer exactement à quel point le conseil du professeur a changé à cause de l'indice visuel.

Imaginez que le professeur soit un chef corrigeant la recette de la soupe d'un étudiant. Le professeur dit : « Ajoutez plus de sel, et aussi, la soupe doit être servie dans un bol bleu. » VAD est comme un test magique qui demande : « Si nous cachons le bol bleu, le professeur dit-il toujours "ajoutez du sel" ? » Si le professeur dit toujours « ajoutez du sel » même sans le bol, VAD réalise que le commentaire sur le « bol bleu » n'était que du bavardage supplémentaire, pas une nécessité visuelle. VAD élimine ensuite la partie « bol bleu » pour ne garder que la partie « ajoutez du sel » afin d'enseigner à l'étudiant. Elle reconstruit une leçon plus propre et plus nette qui se concentre uniquement sur ce que l'image prouve réellement.

Les chercheurs ont testé cette idée sur deux modèles d'IA de tailles différentes (un avec 4 milliards de paramètres et un de 9 milliards) en utilisant six puzzles visuels différents, allant de la détection de détails minuscules dans des photos haute résolution à la reconnaissance d'objets dans des scènes réelles complexes. Ils ont constaté que VAD était nettement meilleur que les méthodes précédentes. Pour le modèle de 4 milliards, il a amélioré la précision moyenne d'environ 2,4 points par rapport à la méthode la plus performante, et pour le modèle de 9 milliards, il l'a améliorée de 2,8 points. En fait, le plus petit modèle de 4 milliards entraîné avec VAD a obtenu de meilleurs résultats que certains modèles massifs et à code source fermé qui sont beaucoup plus grands et coûteux.

L'article suggère qu'en séparant la « preuve visuelle » du « bruit du professeur », l'IA apprend à faire plus confiance à l'image et moins aux habitudes du professeur. Lorsque l'étudiant commettait une erreur (comme supposer qu'un motif était « à carreaux » alors qu'il était en fait « à rayures »), VAD était particulièrement efficace pour utiliser les indices visuels pour éloigner l'étudiant de la mauvaise réponse et le diriger vers la bonne. L'étude montre que cette approche « contrefactuelle » — comparer ce qui se passe avec et sans l'indice — crée une cible d'apprentissage bien meilleure que de simplement copier la correction complète et désordonnée du professeur. Bien que la méthode ne soit pas une baguette magique parfaite (elle dépend toujours d'une seule paire de vues et ne peut pas séparer parfaitement chaque type de bruit), les résultats suggèrent fortement que cette façon de filtrer et de reconstruire les conseils du professeur est un nouvel outil puissant pour rendre la vision de l'IA plus nette et plus fiable.

Résumé Technique : Distillation d'Attribution Visuelle (VAD) pour la Distillation Multimodale On-Policy

1. Énoncé du Problème

Les modèles de langage multimodaux (MLLM) échouent souvent en raison d'erreurs perceptuelles mineures (par exemple, ignorer un mot ou mal lire une relation spatiale), ce qui peut faire dérailler l'ensemble de la trajectoire de génération. La Distillation On-Policy (OPD) traite cela en supervisant les trajectoires générées par l'étudiant à l'aide d'un enseignant doté d'une « vue privilégiée » (un modèle ayant accès à des preuves visuelles de meilleure qualité, telles que des recadrages haute résolution).

Cependant, les méthodes actuelles d'OPD à vue privilégiée souffrent de corrections à sources mixtes. Lorsqu'un enseignant corrige un jeton de l'étudiant, la correction est un mélange de :

Signaux visuels : Preuves dérivées de la vue privilégiée.
Priors linguistiques : Schémas de langage généraux.
Effets spécifiques à l'enseignant : Idiosyncrasies du modèle enseignant.

Les approches existantes ne parviennent pas à distinguer quelle partie de la correction de l'enseignant est réellement soutenue par l'évidence visuelle.

Vision-OPD distille directement la distribution complète de l'enseignant, transférant ainsi le bruit à sources mixtes.
VA-OPD et V-Zero utilisent un « avantage visuel » pour pondérer les jetons ou les trajectoires, mais ne parviennent pas à reconstruire explicitement la cible en fonction de ce que l'évidence soutient. Crucialement, les métriques d'avantage visuel positif peuvent manquer la réfutation : révéler l'évidence peut supprimer un jeton erroné sans nécessairement booster le bon, une dynamique que les métriques d'avantage standard ne parviennent pas à capturer efficacement.

Le défi central est d'estimer quelle composante d'une correction de l'enseignant est attribuable à une intervention visuelle contrôlée, plutôt que de simplement déterminer où ou avec quelle intensité distiller.

2. Méthodologie : Distillation d'Attribution Visuelle (VAD)

VAD introduit un algorithme de reconstruction de cible contrefactuelle qui isole la partie visuellement attribuable d'une correction de l'enseignant. La méthode opère pendant l'entraînement avec un enseignant fixe et une politique étudiante, mais ne nécessite pas de vues auxiliaires lors de l'inférence.

2.1 Vues Contrefactuelles On-Policy

Pour chaque préfixe $y_{<t}$ généré par l'étudiant, VAD interroge le même enseignant fixe sous trois conditions :

Vue de l'Étudiant ( $p^0_S$ ) : La distribution de l'étudiant étant donnée l'image complète $x^0$ .
Vue avec Preuve Présente ( $p^+_T$ ) : La distribution de l'enseignant étant donné une vue recadrée et riche en preuves $x^+$ .
Vue avec Preuve Retirée ( $p^-_T$ ) : La distribution de l'enseignant étant donnée une vue dégradée ou supprimée $x^-$ .

2.2 Proxy d'Attribution par Intervention

VAD définit deux vecteurs dans l'espace des log-probabilités centrées :

Correction de l'Enseignant ( $r_t$ ) : La différence entre l'enseignant privilégié ( $p^+_T$ ) et l'étudiant ( $p^0_S$ ).
Proxy d'Évidence Visuelle ( $u_t$ ) : La différence entre les vues de l'enseignant avec preuve présente et avec preuve retirée ( $p^+_T - p^-_T$ ).

Le vecteur $u_t$ sert de proxy signé pour la direction de l'évidence visuelle. Une valeur positive indique que l'évidence soutient un jeton ; une valeur négative indique que l'évidence le réfute.

2.3 Reconstruction de la Cible

Au lieu de correspondre à la distribution complète de l'enseignant, VAD reconstruit une nouvelle cible en projetant la correction originale $r_t$ sur le proxy visuel $u_t$ :

Décomposition : La correction est divisée en une composante visuellement attribuée ( $r^{vis}_t$ $r_{t}^{v i s}$ ) et un résidu ( $r^{res}_t$ $r_{t}^{r es}$ ).
- $r^{vis}_t = \beta_t u_t$ , où $\beta_t$ est un coefficient non négatif garantissant que seul l'accord avec la direction visuelle est préservé.
- $r^{res}_t = r_t - r^{vis}_t$ (traité comme un résidu mixte, pas purement linguistique).
Branchement Support et Réfutation : La méthode sépare la branche de support (positif $u_t$ ) et la branche de réfutation (négatif $u_t$ ). Elle alloue un « budget de correction visuelle » à ces branches, plafonnant la part de support pour éviter que l'évidence incertaine ne domine.
Cible Ancrée à l'Étudiant : La cible finale $q^{VAD}_{T,t}$ est construite en appliquant le décalage visuel signé et raffiné à la distribution actuelle de l'étudiant ( $p^0_S$ ), plutôt qu'à celle de l'enseignant. Cela garantit que la cible reste ancrée à l'état de l'étudiant tout en corrigeant uniquement les jetons soutenus par l'évidence.

2.4 Objectif d'Entraînement

Le principal signal de supervision est la Divergence de Jensen-Shannon (JSD) entre l'étudiant et la cible reconstruite ( $q^{VAD}_{T,t}$ ).

Régularisateur Faible : Pour éviter la dérive linguistique (par exemple, instabilité du format ou de la longueur) causée par la focalisation exclusive sur les corrections visuelles, un régularisateur faible dérivé de la distribution originale de l'enseignant privilégié est ajouté. Cela ancre la sémantique et le format sans écraser la reconstruction visuelle.

3. Contributions Clés

Identification des Limites de Sources Mixtes : Le papier identifie que la correspondance directe avec l'enseignant et la pondération par avantage visuel positif échouent à estimer explicitement quelles composantes de la correction sont soutenues par des interventions visuelles contrôlées.
Algorithme VAD : Introduction d'une méthode utilisant des interventions visuelles contrefactuelles pour :
- Construire une direction proxy pour l'évidence visuelle.
- Décomposer la correction de l'enseignant en composantes visuellement attribuables et résiduelles.
- Reconstruire une cible ancrée à l'étudiant qui sépare le support de la réfutation.
Validation Empirique : Démonstration de gains constants sur six benchmarks visuels fins aux échelles de 4B et 9B paramètres, surpassant la distillation directe et la pondération par avantage visuel.

4. Résultats Expérimentaux

Les auteurs ont évalué VAD sur les modèles Qwen3.5-4B et Qwen3.5-9B à travers six benchmarks (V*, ZoomBench, HR-Bench 4K/8K, MME-RealWorld EN/CN).

Gains de Performance : VAD a obtenu la précision moyenne la plus élevée (Avg6) aux deux échelles, surpassant les meilleurs baselines de même échelle de 2,40 points (4B) et 2,80 points (9B).
Comparaison avec l'État de l'Art (SOTA) : Le checkpoint VAD 4B a nettement surpassé des modèles beaucoup plus grands, incluant Gemini 3 Flash, Gemini 3.1 Pro, et le modèle Qwen3.5 de 397B.
Analyse Sémantique : L'analyse de décomposition a confirmé que la composante attribuée ( $r^{vis}_t$ ) est enrichie en attributs visuels, objets et jetons de décision (ex: « vertical », « métal », « A/B/C/D »), tandis que la composante résiduelle ( $r^{res}_t$ ) contient l'échafaudage linguistique et le méta-contenu.
Généralisation : Contrairement à d'autres méthodes de post-entraînement qui dégradent parfois la généralisation sur des tâches non vues, VAD a préservé ou légèrement amélioré les performances sur les tâches de test (MMVP, CV-Bench, MMStar, POPE), montrant que la spécialisation visuelle n'a pas sacrifié les capacités globales.
Études d'Ablation :
- Reconstruction de la Cible : La reconstruction sensible aux branches a fourni le gain le plus important (+1,00 point par rapport à une projection unidirectionnelle sans régularisation).
- Régularisation : L'ancrage faible de l'enseignant était crucial pour stabiliser le format de sortie et la longueur.
- Divergence : La JSD a été jugée comme la divergence par défaut la plus équilibrée comparée à la KL directe ou inverse.

5. Signification et Revendications

Le papier affirme que la reconstruction de cible contrefactuelle est une alternative plus efficace à la supervision à sources mixtes dans l'OPD multimodale. En attribuant explicitement les corrections à l'évidence visuelle et en reconstruisant la cible d'apprentissage autour de la distribution de l'étudiant, VAD garantit que le modèle apprend ce que l'image soutient plutôt que de copier aveuglément les signaux mixtes d'un enseignant.

Les auteurs positionnent VAD comme une méthode qui améliore l'efficacité des paramètres (petits modèles surpassant des modèles beaucoup plus grands) et l'ancrage perceptuel sans nécessiter de recherche complexe au moment de l'inférence ou d'utilisation d'outils. La méthode est présentée comme une solution robuste au « problème d'attribution de la correction visuelle », offrant un moyen principled pour filtrer le bruit de la supervision privilégiée.

Limites reconnues par les auteurs :

L'évidence visuelle est représentée par un vecteur contrastif unique issu d'une paire de vues, ce qui peut biaiser l'évidence compositionnelle.
La projection actuelle produit un enrichissement sémantique plutôt qu'une séparation parfaitement identifiable ; la composante attribuée peut encore conserver certains effets non visuels de l'enseignant.