RL makes MLLMs see better than SFT

Cette étude démontre que l'apprentissage par renforcement améliore significativement les représentations visuelles des modèles de langage multimodaux par rapport au fine-tuning supervisé, conduisant à la proposition de PIVOT, une méthode efficace et peu coûteuse pour optimiser les encodeurs de vision.

L'essentiel

🎨 Le Secret d'un MLLM : Pourquoi le "Reinforcement Learning" rend les yeux plus perçants

Imaginez que vous construisez un robot super-intelligent capable de voir et de parler. C'est ce qu'on appelle un MLLM (Modèle de Langage Multimodal). Pour fonctionner, ce robot a besoin de deux choses :

1. Un cerveau (le modèle de langage, comme un humain très cultivé).
2. Des yeux (le "vision encoder", une caméra connectée à un cerveau).

Jusqu'à présent, les chercheurs pensaient que si le "cerveau" était très grand et intelligent, les "yeux" n'avaient pas besoin d'être perfectionnés. Ils pensaient que la qualité de la vision venait uniquement de la taille du cerveau.

Mais cette étude dit : "Attendez une minute !"

Les chercheurs ont découvert que la façon dont on entraîne le robot change radicalement la qualité de ses yeux. Ils ont comparé deux méthodes d'entraînement :

• La méthode classique (SFT) : C'est comme un professeur qui donne les bonnes réponses. "Regarde cette photo, c'est un chat. Apprends par cœur."
• La méthode nouvelle (RL / DPO) : C'est comme un jeu de "plus ou moins". Le robot propose deux réponses. Le professeur dit : "La réponse A est mieux que la réponse B. Pourquoi ? Apprends la différence."

Voici les découvertes clés, expliquées avec des analogies :

1. Le "Reinforcement Learning" (RL) fait voir plus net

Les chercheurs ont découvert que la méthode du "jeu de plus ou moins" (RL) rend le robot bien meilleur pour comprendre les images complexes que la méthode classique.

• L'analogie : Imaginez un étudiant qui révise pour un examen.
  • Avec la méthode classique (SFT), il lit simplement le livre de cours. Il connaît les faits, mais il peut être confus sur les détails.
  • Avec la méthode RL, on lui montre deux réponses : une bonne et une mauvaise. Il doit expliquer pourquoi l'une est meilleure. Cela l'oblige à regarder les détails fins (les ombres, les formes, les textures) pour faire la différence.
• Le résultat : Le robot entraîné avec RL voit les images avec beaucoup plus de précision, surtout pour des tâches difficiles comme lire du texte sur un panneau ou comprendre un graphique.

2. Les "yeux" sont réécrits par le "cerveau"

C'est la découverte la plus surprenante. En entraînant le robot avec cette méthode de "choix préférentiel", ce n'est pas seulement le cerveau qui change. Les yeux eux-mêmes sont rééduqués !

• L'analogie : C'est comme si vous appreniez à un photographe à prendre de meilleures photos non pas en changeant son appareil, mais en lui donnant des critiques très précises sur ses photos. Après un moment, son œil (son cerveau visuel) commence à voir le monde différemment : il se concentre sur les zones importantes et ignore le bruit de fond.
• La preuve : Quand ils ont retiré le "cerveau" du robot et ont testé ses "yeux" seuls, ils ont vu que ces yeux étaient devenus de véritables experts, capables de mieux classifier des images que des caméras bien plus grosses et plus chères.

3. La recette magique : PIVOT

Les chercheurs ont pris ce constat et ont créé une recette simple qu'ils appellent PIVOT.

• Le concept : Au lieu de passer des mois et des années à entraîner une caméra géante (ce qui coûte des millions de dollars et énormément d'électricité), on prend une caméra standard, on la connecte à un petit cerveau, et on lui fait jouer le jeu du "choix préférentiel" (RL).
• Le résultat incroyable : Cette petite caméra, une fois "PIVOTée", devient plus performante que des caméras géantes qui ont été entraînées avec des quantités massives de données.
• L'économie : C'est comme si vous transformiez une vieille voiture de ville en une Ferrari de course en changeant simplement le style de conduite du pilote, sans avoir besoin de changer le moteur. Cela coûte moins de 1% de l'énergie nécessaire pour entraîner les caméras habituelles.

En résumé

Cette étude nous apprend que pour faire voir un robot, il ne suffit pas de lui donner un gros cerveau. Il faut lui apprendre à comparer et à choisir entre différentes réponses.

• Avant : On pensait que "plus grand = mieux".
• Maintenant : On sait que "mieux entraîné (via le choix) = beaucoup mieux".

Grâce à cette méthode (PIVOT), nous pouvons créer des robots qui voient le monde avec une clarté incroyable, en utilisant beaucoup moins de ressources. C'est une révolution pour l'avenir de l'intelligence artificielle visuelle ! 🚀👁️

Résumé technique

Titre : RL rend les MLLM plus performants visuellement que le SFT

Auteurs : Junha Song, Sangdoo Yun, Dongyoon Han, Jaegul Choo, Byeongho Heo (KAIST & NAVER AI Lab)
Date : Avril 2026

---

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) actuels reposent sur l'hypothèse dominante que leurs capacités sont principalement héritées de leur modèle de langage (LLM) sous-jacent, laissant le encodeur visuel dans l'ombre. La recherche se concentre souvent sur l'alignement du langage via le Supervised Fine-Tuning (SFT), négligeant l'impact des stratégies d'entraînement sur la perception visuelle elle-même.

Avec l'essor du Reinforcement Learning (RL), notamment via des méthodes comme l'Optimisation Directe des Préférences (DPO), une transition s'opère dans l'entraînement des MLLM. Cependant, une question critique reste sans réponse : comment le RL (par opposition au SFT) modifie-t-il les représentations visuelles internes du modèle ? Il manque une analyse systématique comparant l'impact du SFT et du RL sur la capacité du modèle à "voir" et à comprendre les images, au-delà de la simple génération de texte.

2. Méthodologie

Les auteurs proposent une approche rigoureuse en trois étapes pour isoler et analyser l'impact des stratégies d'entraînement :

A. Comparaison Contrôlée SFT vs. RL (DPO)

• Configuration : Utilisation de l'architecture LLaVA-OneVision avec différents LLM (Qwen2.5 de 0.5B à 7B) et différents encodeurs visuels (SigLIP2 de 86M à 1B paramètres).
• Stratégies : Comparaison directe entre un entraînement post-entraînement par SFT (sur des paires image-réponse) et par DPO (sur des paires image-réponse choisie/rejetée), en utilisant le même nombre d'échantillons pour garantir l'équité.
• Évaluation : Tests sur 16 benchmarks couvrant quatre catégories : VQA Générale, Connaissance, OCR & Graphiques, et VQA Centrée sur la Vision.

B. Analyse des Représentations Visuelles (Hors MLLM)

Pour comprendre ce qui se passe "sous le capot", les auteurs détachent l'encodeur visuel du MLLM après l'entraînement et l'évaluent de manière autonome :

• Classification ImageNet : Évaluation par "linear probing" pour mesurer la qualité des caractéristiques visuelles brutes.
• Segmentation Sémantique : Utilisation de l'ensemble de données ADE20K avec un classifieur MLP pour évaluer la capacité de localisation fine des objets.
• Visualisation des Gradients (Grad-CAM) : Analyse de la propagation des signaux de gradient vers l'encodeur visuel pour voir quelles régions de l'image sont activées lors de l'optimisation.

C. Proposition de PIVOT (Preference-Instructed Vision OpTimization)

Les auteurs reformulent leurs découvertes en une méthode pratique : PIVOT.

• Concept : Entraîner un encodeur visuel existant (ex: SigLIP, CLIP, MAE) en utilisant un LLM et une optimisation par préférence (DPO) comme objectif principal, avant de le figer.
• Objectif : Créer un encodeur visuel "MLLM-ready" qui a appris à aligner ses représentations visuelles avec les préférences humaines via le RL, sans nécessiter un pré-entraînement massif coûteux.

3. Résultats Clés

A. Supériorité du RL sur les tâches visuelles

• Le DPO surpasse systématiquement le SFT, en particulier sur les tâches fortement dépendantes de la vision (OCR, graphiques, VQA centrée sur la vision).
• L'écart de performance est significatif (ex: +4.2% à +10.6% sur les tâches OCR/Graphiques selon la taille du modèle), tandis que l'avantage est minime sur les tâches de connaissance pure (Knowledge VQA).
• Le RL est plus efficace en termes de données : un modèle DPO entraîné sur 3K échantillons surpasse un modèle SFT entraîné sur 40K échantillons.

B. Transformation des Représentations Visuelles

• Représentations plus fortes et localisées : L'analyse de l'encodeur visuel détaché montre que le DPO produit des représentations visuelles de meilleure qualité que le SFT.
  • ImageNet : Gain de +1.83% à +1.96% en précision Top-1 pour les encodeurs entraînés avec DPO.
  • Segmentation : Les encodeurs DPO montrent une meilleure précision de localisation (Patch-level recall) et génèrent des cartes de segmentation plus proches de la vérité terrain.
• Visualisation des Gradients : Les gradients issus du DPO sont concentrés sur les régions sémantiquement pertinentes de l'image (ce qui répond à la question), tandis que les gradients du SFT sont plus dispersés et bruyants. Cela suggère que l'objectif contrastif du DPO force le modèle à affiner sa compréhension visuelle.

C. Efficacité de PIVOT

• Performance : Un encodeur SigLIP1 (plus ancien et plus petit) entraîné avec PIVOT surpasse un encodeur SigLIP2 (plus récent et plus grand) non entraîné, et même des versions plus grandes de SigLIP2.
  • Exemple : SigLIP1-So/14 + PIVOT > SigLIP2-So/16 (en score moyen VQA).
• Coût : PIVOT nécessite moins de 1% du coût computationnel du pré-entraînement visuel standard (ex: 18h sur 8 GPU H100 vs des milliers de TPU pour SigLIP2).
• Généralité : La méthode fonctionne sur divers encodeurs (CLIP, DINOv2, MAE, modèles supervisés ImageNet), prouvant que même les meilleurs encodeurs actuels ont un potentiel inexploité pour les MLLM.

4. Contributions Principales

1. Analyse Fondamentale : Première étude approfondie démontrant que la stratégie de post-entraînement (SFT vs RL) redéfinit fondamentalement les représentations visuelles d'un MLLM, et non seulement ses capacités linguistiques.
2. Preuve Empirique du RL Visuel : Démonstration que le RL (DPO) génère des représentations visuelles plus fines, plus localisées et plus robustes que le SFT, validé par des benchmarks de vision pure (ImageNet, Segmentation).
3. Méthode PIVOT : Introduction d'une recette simple et efficace pour optimiser les encodeurs visuels existants via le RL, permettant de surpasser des modèles beaucoup plus grands et coûteux avec une fraction du coût de calcul.
4. Validation Multi-Algorithmes : Confirmation que les avantages du RL ne sont pas limités au DPO, mais s'étendent à d'autres algorithmes comme GRPO et PPO.

5. Signification et Impact

Ce travail remet en question le paradigme actuel de développement des MLLM qui privilégie l'augmentation de la taille du LLM ou du pré-entraînement visuel massif. Il démontre que :

• L'alignement par préférence (RL) est un outil puissant pour l'apprentissage visuel, capable d'extraire des représentations plus riches que l'apprentissage supervisé classique.
• Il existe une marge d'amélioration significative pour les encodeurs visuels modernes (même les SOTA comme SigLIP2) lorsqu'ils sont adaptés spécifiquement aux besoins des MLLM via le RL.
• PIVOT offre une voie économiquement viable pour améliorer les capacités visuelles des modèles multimodaux, rendant accessible des performances de pointe sans les coûts exorbitants du pré-entraînement traditionnel.

En résumé, l'article établit que pour faire "voir" mieux aux MLLM, il ne suffit pas d'avoir un gros LLM ou un gros encodeur pré-entraîné ; il est crucial d'utiliser des stratégies d'alignement par préférence (RL) pour sculpter les représentations visuelles de manière optimale.