💻 computer science

On Asymmetric Optimization of Reasoning and Perception in Vision-Language Model Post-Training

Ce papier identifie et résout le goulot d'étranglement post-entraînement où les modèles vision-langage améliorent davantage le raisonnement que la perception en introduisant un cadre diagnostique qui révèle des causes distinctes de cette asymétrie dans le fine-tuning supervisé et l'apprentissage par renforcement, proposant des interventions ciblées telles que la ré pondération dynamique des pertes et des récompenses conscientes de la perception pour améliorer considérablement les performances de bout en bout.

Auteurs originaux : Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : L'Étudiant « Intelligent mais Aveugle »

Imaginez que vous avez un étudiant brillant qui passe un test très difficile consistant à regarder une image, puis à résoudre un puzzle logique basé sur celle-ci.

Récemment, les enseignants (les chercheurs) ont utilisé des méthodes d'entraînement spéciales pour rendre ces étudiants meilleurs en raisonnement (résolution du puzzle logique). Les étudiants sont devenus incroyablement intelligents dans les domaines des mathématiques et de la logique.

Cependant, le document révèle un problème étrange : tandis que les étudiants deviennent plus intelligents en pensant, ils ne s'améliorent pas du tout en voyant. En fait, ils commencent à « halluciner » ou à mal interpréter l'image. C'est comme un détective qui est un génie pour résoudre des crimes mais qui continue d'identifier à tort le suspect sur la photo.

Les auteurs appellent cela l'« Optimisation Asymétrique ». L'entraînement favorise lourdement la partie « pensée » du cerveau tout en négligeant la partie « vision ».

L'Expérience : Une Classe Contrôlée

Pour comprendre pourquoi cela se produit, les chercheurs ne pouvaient pas simplement utiliser de vraies photos (qui sont désordonnées et difficiles à noter parfaitement). Au lieu de cela, ils ont construit un bac à sable numérique avec deux jeux spécifiques :

Coloriage de Graphes : Une image d'un réseau de points reliés par des lignes. La tâche consiste à colorier les points de sorte qu'aucun deux points connectés n'aient la même couleur.
Sudoku : Une image d'une grille de nombres qui doit être remplie correctement.

Comme ces éléments étaient générés par ordinateur, les chercheurs connaissaient la vraie réponse exacte pour ce à quoi l'image ressemblait (Perception) et la vraie logique exacte pour la résoudre (Raisonnement). Cela leur a permis de séparer les deux compétences et de voir exactement où l'étudiant échouait.

Ils ont testé deux types d'entraînement :

SFT (Affinement Supervisé) : Comme un enseignant montrant la clé de réponse correcte à l'étudiant et disant : « Mémorisez ceci. »
RL (Apprentissage par Renforcement) : Comme un jeu vidéo où l'étudiant gagne des points uniquement s'il obtient le score final correct, mais où l'enseignant ne lui dit pas comment il s'est trompé.

La Découverte : Deux Coupables Différents

Les chercheurs ont constaté que les deux méthodes d'entraînement causaient le problème de « vision », mais pour des raisons différentes.

1. Le Problème SFT : La Question du « Volume »

L'Analogie : Imaginez un étudiant rédigeant un long essai. L'enseignant note l'essai en fonction du nombre total de mots.

L'étudiant passe 95 % de l'essai à expliquer la logique (Raisonnement).
L'étudiant passe seulement 5 % de l'essai à décrire l'image (Perception).

Ce qui s'est passé : Parce que la partie « Perception » était si courte, le feedback de l'enseignant (le signal d'entraînement) était très faible pour cette partie. L'étudiant a appris la logique parfaitement car elle a reçu 95 % de l'attention, mais il a à peine appris à décrire l'image car elle n'a reçu que 5 % de l'attention.

La Solution : Les chercheurs ont essayé une Repondération de la Perte. C'est comme dire à l'enseignant : « Même si la description est courte, notez-la comme si elle représentait 50 % de l'essai. »

Résultat : Lorsqu'ils ont forcé le modèle à prêter plus d'attention à la partie « vision », l'étudiant s'est beaucoup amélioré à la fois en vision et en résolution du puzzle. Le score global a bondi de jusqu'à 18,2 points.

2. Le Problème RL : La Question de la « Récompense Bruitée »

L'Analogie : Imaginez un étudiant jouant à un jeu vidéo. Il ne reçoit un écran « Game Over » ou « Victoire » qu'à la toute fin. Il ne gagne pas de points pour des mouvements spécifiques.

Si l'étudiant devine mal l'image mais a de la chance et résout le puzzle quand même, il reçoit quand même l'écran « Victoire ».
Si l'étudiant voit l'image parfaitement mais fait une petite erreur de logique, il reçoit un « Game Over ».

Ce qui s'est passé : Le signal « Victoire » (la récompense) était fortement lié à la logique (Raisonnement) mais très faiblement lié à la description de l'image (Perception). Le modèle a appris : « Je n'ai pas besoin d'être parfait pour voir l'image ; je dois juste être bon pour deviner la logique. » Le signal pour la « vision » était trop bruyant pour en apprendre.

La Solution : Les chercheurs ont essayé une Augmentation de la Récompense. Ils ont ajouté un « bonus de points » spécifique uniquement pour avoir correctement décrit l'image, même si la logique finale était incorrecte.

Résultat : Cela a donné au modèle un signal clair pour améliorer sa vision. Le score global s'est amélioré de jusqu'à 6,0 points.
Découverte Bonus : Ils ont également constaté que si vous n'avez pas les « points bonus » parfaits (vérité terrain), vous pouvez utiliser une récompense « de substitution » (comme demander à une IA plus intelligente de noter la description de l'image). Même une estimation approximative de la récompense a aidé à améliorer le score de 3,2 points.

Le Compromis : Équilibrer la Balance

Le document a également découvert un équilibre délicat.

Si vous forcez le modèle à se concentrer trop sur la vision, il devient moins bon en pensée.
Si vous lui laissez vous concentrer trop sur la pensée, il devient moins bon en vision.

Le point idéal a été trouvé en modérément surpondérant la partie « vision ». Vous ne voulez pas ignorer la logique, mais vous ne pouvez pas laisser la partie vision être une pensée secondaire.

Résumé des Points Clés

Le Problème : L'entraînement actuel des IA rend les modèles excellents en raisonnement mais mauvais en perception, créant un goulot d'étranglement où le modèle ne peut pas résoudre de problèmes car il ne peut pas « voir » correctement l'entrée.
La Cause (SFT) : La partie « vision » de la réponse est trop courte, elle est donc ignorée lors de l'entraînement standard. Solution : Lui donner plus de poids dans la notation.
La Cause (RL) : Le score final ne dit pas au modèle s'il a vu l'image correctement, seulement si la réponse finale était juste. Solution : Ajouter des récompenses spécifiques pour avoir vu l'image correctement.
Le Résultat : En corrigeant ces déséquilibres spécifiques, les modèles sont devenus nettement meilleurs dans l'ensemble de la tâche (performance de bout en bout), prouvant que l'on ne peut pas simplement entraîner pour la « pensée » et s'attendre à ce que la « vision » s'améliore automatiquement.

Résumé technique : Optimisation asymétrique du raisonnement et de la perception dans le post-entraînement des modèles vision-langage

1. Énoncé du problème

Les techniques de post-entraînement, spécifiquement le fine-tuning supervisé (SFT) et l'apprentissage par renforcement (RL), ont considérablement amélioré les capacités de raisonnement des modèles vision-langage (VLM) de pointe. Cependant, ces gains ne se sont pas traduits proportionnellement par des améliorations des capacités de perception. Des études récentes indiquent que le post-entraînement peut entraîner des améliorations limitées, voire une dégradation des performances de perception, créant ainsi un goulot d'étranglement pour le raisonnement visuel de bout en bout. La question centrale abordée par ce travail est : Pourquoi le post-entraînement favorise-t-il disproportionnément le raisonnement par rapport à la perception, et comment cette asymétrie peut-elle être atténuée ?

Les auteurs soutiennent que les erreurs de perception limitent sévèrement l'efficacité du raisonnement avancé. Pour investiguer cela, ils introduisent un cadre de diagnostic contrôlé qui dissocie la perception du raisonnement, permettant l'évaluation et l'optimisation indépendantes de chaque composante.

2. Méthodologie

2.1 Cadre de diagnostic contrôlé

Les auteurs proposent un cadre conçu pour séparer la perception ( $p$ ) et le raisonnement ( $r$ ) au sein de la sortie du modèle.

Sorties dissociées : La séquence de sortie est structurée comme $y = [p, r]$ , où $p$ est une transcription textuelle des informations visuelles et $r$ est le processus de raisonnement, séparés par des tokens spéciaux. Cela impose un ordre « perception avant raisonnement ».
Métriques d'évaluation :
- Précision de la perception ( $a_p$ ) : Mesurée en comparant la perception générée par le modèle $p$ à une représentation canonique de vérité terrain $p^*$ .
- Précision du raisonnement contrefactuel ( $a_r$ ) : Pour isoler la capacité de raisonnement des erreurs de perception, le modèle est conditionné sur la perception de vérité terrain $p^*$ pour générer un raisonnement $r'$ . La précision est ensuite mesurée comme $Acc(r' | p^*)$ .
- Précision de bout en bout ( $a$ ) : La précision standard de l'ensemble du pipeline.
Tâches synthétiques : Pour garantir des annotations de vérité terrain et une évaluation programmatique, les auteurs utilisent deux tâches synthétiques :
1. Coloration de graphes (GC) : Images d'entrées de graphes ; $p^*$ est la liste des arêtes ; la justesse nécessite une coloration valide des nœuds.
2. Sudoku : Images d'entrées de grilles ; $p^*$ est la grille partiellement remplie ; la justesse nécessite une solution valide.
  Ces tâches sont rendues programmatiquement à partir de problèmes basés sur du texte pour maintenir une $p^*$ canonique.

2.2 Paradigmes d'entraînement

L'étude évalue deux méthodes de post-entraînement dominantes :

Fine-tuning supervisé (SFT) : Optimise la perte d'entropie croisée moyennée sur les tokens sur la séquence de sortie.
Apprentissage par renforcement (RL) : Utilise l'optimisation de politique relative par groupes (GRPO) avec la précision de bout en bout comme signal de récompense principal.

2.3 Mécanismes hypothétiques et interventions

Les auteurs investiguent deux mécanismes spécifiques à l'origine de l'asymétrie :

Hypothèse 1 : Déséquilibre des tokens (SFT)
- Mécanisme : Dans la supervision par chaîne de pensée (CoT), les tokens de perception occupent une fraction significativement plus petite de la sortie totale par rapport aux tokens de raisonnement. Puisque le SFT utilise une perte moyennée sur les tokens, la perception reçoit un signal d'optimisation plus faible.
- Intervention : Repondération de la perte. La perte SFT est modifiée en $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$ , où $\lambda$ augmente le poids des tokens de perception. Ils testent également NGDiff, une méthode dynamique d'équilibrage multi-tâches basée sur les normes de gradient.
Hypothèse 2 : Couplage des récompenses (RL)
- Mécanisme : La récompense de résultat (précision de bout en bout) corrèle plus fortement avec la justesse du raisonnement qu'avec la justesse de la perception. La perception n'influence la récompense que si le raisonnement ultérieur est également correct, conduisant à une attribution de crédit bruitée ou désalignée pour la perception.
- Intervention : Augmentation de la récompense. La fonction de récompense est modifiée en $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$ , ajoutant explicitement un signal de perception. Ils évaluent également des récompenses de substitution (similarité CLIP, auto-récompense, récompenses basées sur un enseignant) pour les scénarios où les récompenses de perception de vérité terrain ne sont pas disponibles.

3. Résultats expérimentaux

3.1 Configuration empirique

Les expériences ont été menées sur Qwen3-VL-2B et InternVL3.5-2B en utilisant les tâches GC et Sudoku. Les jeux de données comprenaient 2 000 instances d'entraînement SFT et 16 000 instances d'entraînement RL par tâche.

3.2 Résultats sur le SFT

Confirmation de l'asymétrie : Le SFT standard améliore considérablement la précision du raisonnement tout en produisant des gains minimes en précision de la perception.
Validation du déséquilibre des tokens : L'analyse a révélé que la perception ne représente que ~2,5 % des tokens dans les traces CoT, contribuant uniquement à 1,3 % de la perte totale et à 8,5 % de la norme de gradient.
Efficacité des interventions :
- L'augmentation du poids de la perception ( $\lambda$ ) améliore la précision de la perception mais crée un compromis où un surpoids excessif nuit au raisonnement.
- Équilibre optimal : La précision de bout en bout atteint un pic avec un surpoids modéré de la perception.
- Résultats : La repondération de la perte a amélioré la précision de bout en bout de 10,0 à 13,8 points par rapport au SFT standard. La méthode dynamique NGDiff a encore amélioré cela, atteignant des gains allant jusqu'à 18,2 points sans réglage manuel des hyperparamètres.

3.3 Résultats sur le RL

Confirmation de l'asymétrie : Le RL améliore également davantage le raisonnement que la perception.
Rejet du déséquilibre des tokens : Contrairement au SFT, le repondération des probabilités de tokens dans l'objectif RL n'a pas atténué l'asymétrie et a souvent déstabilisé l'entraînement. Cela indique que le nombre de tokens n'est pas le moteur principal en RL.
Validation du couplage des récompenses : L'analyse de corrélation de Pearson a montré que la récompense de résultat corrèle fortement avec le raisonnement ( $r \approx 0,65\text{--}1,00$ ) mais faiblement avec la perception ( $r \approx 0,34\text{--}0,43$ ).
Efficacité des interventions :
- Augmentation de la récompense : L'ajout d'une récompense de perception ( $\alpha > 0$ ) a amélioré la précision de la perception. Comme pour le SFT, un compromis existe, mais les performances de bout en bout atteignent un pic pour un $\alpha$ non nul.
- Résultats : L'augmentation de la récompense a amélioré la précision de bout en bout de jusqu'à 6,0 points par rapport au RL standard.
- Récompenses de substitution : Lorsque les récompenses de perception de vérité terrain n'étaient pas disponibles, les récompenses basées sur un enseignant (utilisant un modèle plus puissant pour générer $p^*$ ) ont fourni le signal le plus fiable, générant une amélioration de 3,2 points. La similarité basée sur CLIP a fourni un signal négligeable.

4. Contributions clés

Cadre de diagnostic : Introduction d'un cadre contrôlé utilisant des tâches synthétiques pour dissocier et évaluer indépendamment la perception et le raisonnement dans le post-entraînement des VLM.
Identification des mécanismes : Identification d'une asymétrie perception-raisonnement cohérente à travers le SFT et le RL, traçant les causes à des mécanismes distincts : déséquilibre des tokens dans le SFT et couplage des récompenses dans le RL.
Interventions ciblées : Démonstration que des interventions spécifiques et conscientes du paradigme peuvent rééquilibrer ces composantes :
- SFT : Repondération de la perte (statique ou dynamique via NGDiff).
- RL : Augmentation de la récompense consciente de la perception (utilisant la vérité terrain ou des substituts fiables).
- Ces interventions ont amélioré les performances de raisonnement visuel de bout en bout de jusqu'à 18,2 points (SFT) et 6,0 points (RL).

5. Importance et affirmations

L'article affirme que l'asymétrie observée est une conséquence fondamentale des objectifs de post-entraînement par défaut plutôt qu'un artefact spécifique au modèle. Les auteurs soutiennent que se fier uniquement aux objectifs standards de SFT ou de RL est insuffisant pour un raisonnement visuel de bout en bout robuste, car la perception reste le goulot d'étranglement dominant.

L'importance de ce travail réside dans la fourniture de stratégies concrètes et actionnables pour atténuer ce déséquilibre. En diagnostiquant les modes d'échec spécifiques (rareté des tokens dans le SFT, signaux de récompense faibles dans le RL), les auteurs suggèrent que les futurs pipelines de post-entraînement des VLM doivent intégrer des mécanismes d'équilibrage explicites — tels que la repondération de la perte ou des récompenses conscientes de la perception — pour débloquer le plein potentiel du raisonnement visuel. L'étude souligne que ces interventions sont pratiques et peuvent être intégrées dans des pipelines réels dès lors que la supervision de la perception ou des signaux proxy sont disponibles.

Limites : Les auteurs notent que l'étude repose sur des tâches synthétiques (Coloration de graphes et Sudoku) pour isoler les variables. Bien que cette abstraction limite le benchmarking direct sur la diversité du monde réel, elle est nécessaire pour établir des mécanismes causaux qui sont obscurcis dans des données réelles complexes et ambiguës. Les mécanismes proposés (déséquilibre des tokens et couplage des récompenses) sont présentés comme des propriétés générales des objectifs de post-entraînement, suggérant que les interventions sont applicables au-delà du cadre synthétique.