💻 computer science

Visual-Advantage On-Policy Distillation for Vision-Language Models

Ce papier présente Visual-Advantage On-Policy Distillation (VA-OPD), une méthode d'entraînement novatrice pour les modèles vision-langage qui exploite des signaux d'avantage visuel au niveau des jetons pour distinguer et prioriser les jetons critiques pour la vision lors de la distillation, améliorant ainsi considérablement les performances sur les benchmarks de raisonnement mathématique et de compréhension visuelle à travers différentes tailles de modèles enseignants.

Auteurs originaux : Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Étudiant « Copieur »

Imaginez que vous avez un professeur brillant (un grand modèle d'IA) qui excelle à résoudre des problèmes de mathématiques en utilisant des diagrammes. Vous souhaitez entraîner un étudiant IA plus petit et moins cher à faire la même chose.

Habituellement, vous laissez l'étudiant essayer de résoudre un problème, et s'il trouve la bonne réponse, vous dites : « Bon travail ! Maintenant, regardez comment le professeur a résolu le problème et copiez ses étapes. » C'est ce qu'on appelle la distillation.

Le Problème :
Le papier a révélé un défaut caché dans ce processus. Dans un problème de mathématiques typique avec une image, la plupart des mots que l'IA écrit ne sont que du « remplissage » ou de l'« échafaudage » (comme dire « D'abord, regardons le diagramme » ou « La somme des angles est... »). Seuls quelques mots sont réellement basés sur l'image (comme lire un nombre spécifique : « 130 degrés »).

Lorsque la méthode d'entraînement standard fonctionne, elle traite chaque mot que l'étudiant écrit comme étant également important. C'est comme un professeur qui corrige la dissertation d'un élève en accordant la même attention au mot « Le » qu'au chiffre critique « 130 ».

Le Résultat : L'étudiant apprend à copier les mots parfaitement, mais il n'apprend pas réellement à regarder l'image. Il devient un « copieur » qui imite le texte du professeur mais ignore les détails visuels. Si vous lui montrez une image légèrement différente, il pourrait échouer car il n'a jamais appris à se fier à l'image.

La Solution : Introduction du « Visual Advantage » (VA)

Les chercheurs ont inventé une nouvelle façon de mesurer à quel point le professeur avait réellement besoin de l'image pour écrire chaque mot spécifique. Ils appellent cela le Visual Advantage (VA) (Avantage Visuel).

Pensez-y comme un Test « Et Si » :

Le professeur regarde l'image complète et de haute qualité et écrit une phrase.
Le professeur regarde ensuite une version floue et pixelisée de la même image (où les petits détails ont disparu) et tente d'écrire la même phrase à nouveau.
La Différence : Si le professeur peut écrire le mot « Le » facilement même avec l'image floue, ce mot a un Faible Avantage Visuel (c'est juste du langage). Mais si le professeur reste bloqué ou fait une erreur sur le nombre « 130 » parce que l'image floue le cache, ce mot a un Fort Avantage Visuel.

Le papier a découvert que les mots à Fort Avantage Visuel sont rares (environ 10 % des mots), mais ce sont les seuls qui enseignent réellement à l'étudiant à regarder l'image.

Comment VA-OPD Fonctionne : La Méthode du « Projecteur »

La nouvelle méthode, appelée VA-OPD, modifie les règles d'entraînement afin que l'étudiant se concentre sur ces mots rares et importants. Elle le fait de deux façons ingénieuses :

1. La Prime « Meilleure Tentative » (Niveau Déroulement)

Parfois, l'étudiant génère plusieurs réponses différentes au même problème.

Ancienne Méthode : Traiter toutes les tentatives de manière égale.
Méthode VA-OPD : Elle vérifie quelle tentative s'est le plus appuyée sur l'image (avait le plus haut « Avantage Visuel »). Elle donne un poids bonus à cette tentative spécifique, disant à l'étudiant : « C'est celle où tu as vraiment regardé l'image ; fais particulièrement attention à apprendre de celle-ci. »

2. La « Section VIP » (Niveau Token)

À l'intérieur d'une seule réponse, la méthode sépare les mots en deux groupes :

Les VIPs (Fort VA) : Les mots qui dépendent de l'image (comme les nombres lus sur un graphique).
Les Réguliers (Faible VA) : Les mots de remplissage (comme « par conséquent », « est », « et »).

Au lieu de moyenner le signal d'apprentissage sur tous les mots (ce qui dilue les VIPs), VA-OPD calcule le score d'apprentissage pour les VIPs séparément. Cela garantit que l'étudiant reçoit une forte « poussette » pour apprendre les parties visuelles, sans que ce signal ne soit noyé par les milliers de mots de remplissage ennuyeux.

Les Résultats : Plus Intelligents, Pas Juste Plus Rapides

Les chercheurs ont testé cela sur des tâches de mathématiques et de raisonnement visuel. Voici ce qui s'est passé :

Meilleure Précision : Les étudiants entraînés avec VA-OPD ont obtenu de meilleurs scores que ceux entraînés avec l'ancienne méthode.
Vrai Apprentissage Visuel : La découverte la plus importante est que les étudiants n'ont pas seulement mémorisé les réponses. Lorsque les chercheurs ont vérifié, les étudiants VA-OPD ont commencé à s'appuyer davantage sur les images pour résoudre les problèmes. Leurs scores d'« Avantage Visuel » ont augmenté à mesure qu'ils devenaient plus intelligents.
Passage à l'Échelle : La méthode fonctionnait encore mieux lorsqu'on utilisait un professeur plus grand et plus intelligent ou plus de données d'entraînement. Elle ne s'est pas confuse ; elle est simplement devenue meilleure pour repérer les indices visuels importants.

Analogie de Résumé

Imaginez que vous enseignez à un enfant à identifier des fruits dans un panier.

Entraînement Standard : Vous montrez une image d'une pomme et dites : « C'est un fruit rouge, rond, qui pousse sur les arbres. » L'enfant mémorise la phrase « rouge, rond, pousse sur les arbres » mais n'apprend pas réellement à reconnaître la forme ou la couleur de la pomme.
Entraînement VA-OPD : Vous réalisez que l'enfant doit seulement prêter attention aux mots « rouge » et « rond » car ce sont les parties qui prouvent qu'il s'agit d'une pomme. Vous ignorez les mots « pousse sur les arbres » (qui pourraient s'appliquer aux poires aussi) et vous donnez à l'enfant une récompense spéciale chaque fois qu'il identifie correctement les parties « rouge » et « rond ».
Résultat : L'enfant apprend à réellement voir la pomme, pas juste à réciter la description.

En bref : Ce papier corrige un angle mort dans l'entraînement de l'IA en apprenant aux petits modèles à arrêter de copier le texte et à commencer à vraiment regarder les images.

Résumé Technique : Distillation On-Policy à Avantage Visuel pour les Modèles Vision-Language

1. Énoncé du Problème

La distillation de connaissances on-policy s'est avérée efficace pour compresser les grands modèles de langage (LLM) en entraînant un étudiant à correspondre à la distribution de sortie d'un enseignant sur ses propres déroulements générés. Cependant, l'application de ce paradigme aux modèles vision-language (VLM) révèle une inadéquation critique : la distillation standard traite tous les tokens de manière uniforme, échouant à distinguer entre l'étayage linguistique et les tokens qui dépendent véritablement d'une preuve visuelle fine.

Les auteurs observent que, dans les déroulements typiques des VLM, la grande majorité des tokens servent de modèles linguistiques ou de structures de raisonnement, tandis qu'une petite minorité est déterminée par des détails visuels (par exemple, des nombres spécifiques dans un diagramme). La minimisation standard de la divergence de Kullback-Leibler (KL) moyenne les gradients uniformément sur tous les tokens. Par conséquent, le signal de supervision fort présent dans les quelques tokens critiques pour la vision est dilué par l'abondance des tokens linguistiques environnants. En conséquence, bien que la précision de la sortie de l'étudiant puisse s'améliorer, sa dépendance sous-jacente à l'entrée visuelle ne se renforce pas ; l'étudiant apprend à imiter le texte de surface de l'enseignant sans réellement apprendre à prêter attention à l'image.

2. Méthodologie : Distillation On-Policy à Avantage Visuel (VA-OPD)

Pour remédier à cette dilution, les auteurs proposent la Distillation On-Policy à Avantage Visuel (VA-OPD), une méthode qui identifie et priorise explicitement les tokens nécessitant des détails visuels fins.

2.1 Avantage Visuel (VA)

L'outil diagnostique central est l'Avantage Visuel (VA), une métrique au niveau du token quantifiant la dépendance de l'enseignant aux détails visuels. Pour chaque token $y_t$ dans un déroulement généré par l'étudiant, le VA est calculé comme la différence de log-probabilité rectifiée de manière non négative entre le score de l'enseignant avec l'image originale ( $v$ ) et une image dégradée ( $\tilde{v}$ ) où les détails fins (par exemple, la reconnaissance optique de caractères, les petits symboles) sont détruits par sous-échantillonnage :
$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$
Un VA élevé indique que la prédiction du token dépend fortement des détails visuels fins, tandis qu'un VA faible suggère que le token repose sur des priors linguistiques ou des caractéristiques globales robustes de l'image.

2.2 Observations Clés

L'analyse empirique des déroulements de l'étudiant révèle deux propriétés critiques :

Sparsité : Le VA suit une loi de puissance ; les 10 % supérieurs des tokens portent environ 93 % de la masse totale du VA.
Concentration de la Supervision : Masquer la perte KL sur les tokens à fort VA entraîne une chute significative de la précision, tandis que masquer les tokens à faible VA ou aléatoires a un effet négligeable. Cela confirme que le signal de supervision visuelle est concentré dans une petite minorité de tokens.

2.3 L'Objectif VA-OPD

VA-OPD modifie l'objectif standard de distillation on-policy en appliquant le VA à deux granularités pour prévenir la dilution du signal :

Recalage au Niveau du Déroulement : Pour un ensemble de $K$ déroulements frères générés pour le même prompt, chaque déroulement se voit attribuer un poids doux basé sur son VA moyen de trajectoire par rapport à ses frères. Les déroulements avec une dépendance visuelle plus forte contribuent davantage au gradient.
KL Groupé au Niveau du Token : Au sein de chaque déroulement, les tokens sont triés par VA et divisés en un groupe à fort VA (fraction supérieure, par exemple 20 %) et un groupe à faible VA (le reste). La perte KL par token est moyennée séparément au sein de chaque groupe avant d'être sommée. Cela garantit que la contribution du gradient des tokens critiques à fort VA n'est pas réduite par la longueur totale de la séquence $T$ .

La fonction de perte finale combine ces composantes :
$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$
où $w^{(k)}$ est le poids du déroulement, et $\lambda$ équilibre les contributions des groupes à fort VA et à faible VA.

3. Contributions Clés

Identification du Problème de Dilution : Les auteurs démontrent que la distillation on-policy standard pour les VLM échoue à renforcer la dépendance visuelle car le poids KL uniforme dilue le signal de supervision visuelle concentré trouvé dans une petite minorité de tokens.
Introduction de l'Avantage Visuel (VA) : Ils proposent le VA comme une métrique contrefactuelle relative à l'enseignant pour quantifier la dépendance visuelle au niveau du token sans nécessiter d'annotations supplémentaires ni de modèles de récompense.
Cadre VA-OPD : Ils introduisent un objectif de distillation qui utilise le VA à deux niveaux (recalage des déroulements et KL groupé au niveau du token) pour concentrer le signal d'apprentissage sur les positions critiques pour la vision.
Validation Empirique : La méthode est validée sur trois tailles d'enseignant (4B, 8B, 32B), deux jeux de données (Geometry3K, ViRL39K) et huit benchmarks, montrant des améliorations constantes par rapport aux bases de référence standard.

4. Résultats Expérimentaux

Les auteurs ont évalué VA-OPD sur la famille Qwen3-VL (enseignant 8B, étudiant 2B) entraînée sur Geometry3K, avec des tests de généralisation sur ViRL39K et différentes tailles d'enseignant.

Gains de Performance : VA-OPD a surpassé la distillation OPD standard sur les huit benchmarks.
- Raisonnement Mathématique : Amélioration moyenne de +2,9 points.
- Compréhension Visuelle : Amélioration moyenne de +1,5 point.
- Benchmarks Spécifiques : Des gains notables ont été observés sur HallusionBench (+2,5) et AI2D (+2,4), des tâches fortement dépendantes des détails visuels fins. Les benchmarks permettant des raccourcis textuels (par exemple, MMStar) ont montré des gains plus faibles, cohérents avec l'accent mis par la méthode sur la dépendance visuelle.
Lois d'Échelle : Le gain de performance de VA-OPD par rapport à la distillation OPD standard a augmenté de manière monotone avec la taille de l'enseignant (de 4B à 32B) et l'échelle du jeu de données (de Geometry3K à ViRL39K), suggérant que les facteurs se combinent de manière cohérente.
Dépendance Visuelle : Pendant l'entraînement, le VA moyen des déroulements de l'étudiant a augmenté en parallèle avec la précision pour VA-OPD, tandis que la distillation OPD standard a montré une précision croissante avec un VA stagnant. Cela indique que VA-OPD atteint une véritable dépendance visuelle plutôt qu'une simple imitation de sortie.
Efficacité : VA-OPD a atteint la précision finale de la distillation OPD standard environ 3,0 fois plus vite en temps réel et a atteint un plafond de performance plus élevé avec des budgets de temps fixes.

5. Importance et Revendications

L'article revendique que VA-OPD représente la première méthode à intégrer la dépendance par token aux détails visuels fins directement dans la cible de distillation on-policy pour les VLM. Son importance réside dans :

Mécanisme : Il résout le problème de « dilution » en séparant explicitement les tokens critiques pour la vision de l'étayage linguistique pendant le processus de distillation.
Efficacité : Il ne nécessite aucune annotation supplémentaire, aucun modèle de récompense ni aucun changement dans le processus de génération de l'étudiant, ajoutant seulement un passage avant supplémentaire de l'enseignant par déroulement (avec des détails visuels dégradés).
Généralisabilité : La méthode améliore les performances à travers différentes échelles de modèles et volumes de données, suggérant qu'elle adresse une limitation fondamentale des stratégies actuelles de distillation des VLM plutôt qu'un artefact spécifique à un jeu de données.
Changement Qualitatif : Contrairement aux méthodes au moment de l'inférence qui modifient le décodage, VA-OPD modifie la cible d'entraînement pour garantir que l'étudiant apprend à « lire » l'image, comme en témoigne l'émergence de points chauds de VA sur les valeurs numériques et les caractéristiques des diagrammes dans les visualisations qualitatives.

Les auteurs restent modestes concernant les limites, notant que le VA est un proxy pour la dépendance visuelle basé sur des contrefactuels d'enseignant plutôt qu'une mesure directe des mécanismes d'attention internes, et que les gains sont plus prononcés sur les tâches intensives en vision.