Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs

Cette étude diagnostique le « fossé de modalité » qui réduit les performances des modèles multimodaux lors du traitement de texte en images, identifie les causes de cette dégradation comme des erreurs de lecture amplifiées par le rendu visuel, et propose une méthode d'auto-distillation efficace pour combler cet écart sans oublier les connaissances antérieures.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

📸 Le Problème : L'œil qui lit, mais le cerveau qui trébuche

Imaginez que vous avez un super-héros très intelligent, capable de répondre à n'importe quelle question.

• Scénario A : Vous lui donnez un texte écrit sur un papier. Il le lit, réfléchit et répond parfaitement.
• Scénario B : Vous prenez une photo de ce même texte avec votre téléphone, et vous montrez la photo au super-héros.

Eh bien, le super-héros devient soudainement beaucoup moins intelligent ! Il fait des erreurs de calcul, oublie des chiffres, ou ne comprend plus la logique. C'est ce que les chercheurs appellent le "fossé de modalité" (la différence de performance entre le texte brut et l'image).

La question de cette étude est simple : Pourquoi ce super-héros devient-il "bête" quand il doit lire une image au lieu d'un texte ?

---

🔍 L'Enquête : Ce n'est pas un problème de "réflexion", c'est un problème de "lecture"

Les chercheurs ont mis en place une grande enquête avec 7 modèles d'intelligence artificielle différents (nos super-héros) et 7 types de tests (maths, sciences, code, etc.). Ils ont découvert trois choses surprenantes :

1. Le coupable : Le "style" de l'image (La police d'écriture)

C'est comme si vous demandiez à quelqu'un de lire un livre écrit dans une police d'écriture bizarre, avec des couleurs inverties ou une écriture manuscrite illisible.

• Résultat : Si l'image ressemble à un document PDF réel (comme un article de journal), les modèles vont très bien.
• Mais : Si l'image est générée artificiellement avec une police d'écriture "moche" ou une résolution bizarre, les modèles paniquent.
• L'analogie : C'est comme si un lecteur de livres comprenait parfaitement un roman imprimé en Times New Roman, mais se perdait complètement si le même roman était écrit en "Comic Sans" ou en écriture manuscrite. Le problème n'est pas la compréhension, c'est la lecture.

2. Le vrai problème : Les erreurs de "lecture", pas de "pensée"

Les chercheurs ont analysé des milliers d'erreurs. Ils ont vu que :

• Quand le modèle lit un texte, il ne fait pas d'erreur de logique.
• Quand il lit une image, il commence à faire des erreurs de lecture (il confond un "6" avec un "8", ou ne voit pas un signe "+").
• Le résultat : Comme il a mal lu les chiffres, ses calculs mathématiques deviennent faux. Mais si on lui donne le texte corrigé, il retrouve sa logique parfaite.
• En résumé : L'image ne rend pas le modèle moins intelligent, elle lui rend la lecture difficile.

3. La chute de la "pensée à voix haute"

Quand on lit un texte, les modèles ont l'habitude de faire un "raisonnement étape par étape" (comme un élève qui écrit ses calculs au brouillon).

• En mode image : Ils arrêtent de faire ces étapes. Ils sautent directement à la réponse, souvent au hasard. C'est comme si, en voyant une photo d'un problème de maths, ils avaient peur de se tromper et arrêtaient de réfléchir, préférant deviner.

---

🛠️ La Solution : L'entraînement par "Miroir" (Auto-distillation)

Comment réparer ce super-héros ? Les chercheurs ont eu une idée brillante : l'auto-distillation.

Imaginez que vous apprenez à un élève à lire une photo en lui montrant d'abord comment il a résolu le problème quand il avait le texte sous les yeux.

1. On prend le modèle.
2. On lui montre la photo du problème.
3. Mais on lui dit : "Écoute, quand j'ai eu le texte, j'ai réfléchi comme ceci (voici les étapes de raisonnement). Maintenant, regarde la photo et essaie de faire exactement les mêmes étapes de réflexion."

C'est comme si le modèle se formait lui-même en utilisant ses propres souvenirs de "bonnes réponses" pour apprendre à lire les images.

Le résultat est spectaculaire :

• Avant l'entraînement : Le modèle avait 30% de réussite sur les maths en mode image.
• Après l'entraînement : Il a bondi à 92%.
• Et le plus beau : Il n'a pas oublié ses autres compétences. Il est devenu meilleur sans perdre ses connaissances précédentes.

---

💡 La Leçon à retenir

Cette étude nous dit deux choses importantes pour l'avenir de l'IA :

1. Ne jugez pas un livre à sa couverture (ni une IA à son image) : Si une IA échoue sur une image, ce n'est pas forcément parce qu'elle est "bête". C'est souvent parce que l'image est mal rendue (mauvaise police, mauvaise résolution) ou parce qu'elle a oublié de "réfléchir" étape par étape.
2. On peut réparer ça facilement : On n'a pas besoin de reconstruire toute l'IA de zéro. Il suffit de lui apprendre à appliquer sa logique habituelle aux images.

En gros, les modèles d'IA savent déjà "penser". Il faut juste leur apprendre à mieux "lire" ce qu'ils voient sur les écrans !

Résumé technique

Voici un résumé technique détaillé de l'article "Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs".

1. Problématique : Le "Fossé de Modalité" (Modality Gap)

Les modèles de langage multimodaux (MLLM) actuels peuvent traiter du texte présenté sous forme d'images (pixels), mais ils affichent souvent des performances nettement inférieures par rapport au même contenu fourni sous forme de jetons textuels natifs. Ce phénomène, appelé "fossé de modalité", est documenté dans des tâches de mathématiques, de codage et de connaissances.

Cependant, les travaux existants se concentrent soit sur la documentation de ce fossé, soit sur la création de nouvelles architectures pour le contourner, sans expliquer systématiquement pourquoi il apparaît dans les modèles actuels, ni comment le combler avec une intervention minimale. De plus, les évaluations précédentes reposent presque exclusivement sur du texte synthétiquement rendu, ce qui peut confondre les artefacts de rendu avec des déficits de perception réels.

2. Méthodologie

Les auteurs ont mené une étude diagnostique rigoureuse combinant évaluation comparative, analyse d'erreurs qualitative et apprentissage par distillation.

• Évaluation Comparative :

  • Modèles : 7 MLLMs évalués (incluant Qwen2.5-VL, Qwen3-VL, InternVL3/3.5, Pixtral-12B et GPT-5.2).
  • Benchmarks : 7 jeux de données couvrant des connaissances (MMLU, GPQA), du raisonnement scientifique (ARC), des mathématiques (GSM8K), du codage (HumanEval) et de la compréhension de documents réels (QASPER, SQuAD).
  • Modes d'entrée : 5 configurations comparées :
    1. Pure Text (référence).
    2. Pure Image (texte rendu en image).
    3. Instr.+Image (instruction textuelle + image).
    4. OCR-1P (extraction de texte et raisonnement en une seule passe).
    5. OCR-2P (pipeline à deux étapes : extraction OCR puis raisonnement sur le texte extrait).
  • Données : Utilisation de rendus synthétiques et d'images de documents réels (PDF d'arXiv, captures d'écran Wikipédia) pour distinguer les artefacts de rendu des déficits inhérents.

• Analyse d'Erreurs (Grounded Theory) :

  • Analyse qualitative de plus de 4 000 erreurs via une méthode de "théorie ancrée" (grounded theory).
  • Codage itératif (codage ouvert, comparaison constante, codage axial) pour classer les erreurs en catégories (calcul, format, raisonnement, connaissances, etc.).

• Expérimentation sur le Rendu :

  • Étude de l'impact de la police (font), de la résolution et du schéma de couleurs sur la performance.

• Proposition de Solution (Auto-distillation) :

  • Entraînement du modèle sur ses propres traces de raisonnement en mode texte, couplées aux entrées images, pour aligner le chemin visuel sur le chemin textuel.

3. Contributions Clés et Résultats

A. Le fossé est dépendant de la tâche et des données

• Rendu Synthétique vs Réel : Sur des rendus synthétiques, le fossé est énorme (ex: chute de >60 points sur GSM8K pour certains modèles). En revanche, sur des images de documents réels (PDF, Wikipédia), les modèles atteignent souvent des performances égales ou supérieures au mode texte. Cela suggère que le fossé est partiellement dû à un décalage de distribution entre les rendus d'évaluation et les données de pré-entraînement.
• Facteurs de confusion critiques : Le choix de la police (font) et la résolution sont des facteurs déterminants. Un changement de police peut faire varier la précision de 47 points de pourcentage. Les polices manuscrites dégradent fortement les performances, tandis que les polices monospaces ou inversées ont moins d'impact.

B. Diagnostic des Erreurs : "Lire, pas Penser"

L'analyse des 4 000 erreurs révèle une asymétrie fondamentale :

• Amplification des erreurs de lecture : Le mode image augmente spécifiquement les erreurs de calcul (x1.5) et les erreurs de formatage. Cela indique une difficulté à extraire précisément les informations textuelles des pixels.
• Stabilité du raisonnement : Les erreurs conceptuelles, factuelles et de raisonnement logique restent globalement inchangées entre le texte et l'image.
• Effondrement du Chain-of-Thought (CoT) : En mode image, certains modèles (ex: Qwen3-VL-8B) produisent des réponses drastiquement plus courtes, sautant les étapes de raisonnement intermédiaires. Cet "effondrement" du CoT contribue directement aux erreurs de calcul, car les modèles ne vérifient plus leurs étapes.

C. Limites de l'OCR

Les résultats montrent que la qualité de l'OCR (mesurée par le taux d'erreur de caractères) est un mauvais prédicteur de la performance globale en mode image (corrélation faible de 0,238). Les erreurs sur quelques tokens critiques (opérateurs, noms de variables) sont plus dommageables que l'erreur globale d'OCR. De plus, l'OCR-2P (séparation totale lecture/raisonnement) détruit souvent la capacité de génération de code car il perd les indices structurels (indentation, espacement).

D. Solution : Auto-distillation

Pour combler le fossé sans réarchitecturer le modèle, les auteurs proposent une méthode d'auto-distillation :

• Principe : Le modèle est entraîné à reproduire ses propres traces de raisonnement (CoT) en mode texte, mais en prenant l'image comme entrée.
• Résultats sur GSM8K : Cette méthode fait passer la précision en mode image de 30,71 % à 92,72 %, comblant presque entièrement l'écart avec le mode texte (93,56 %).
• Ablation : L'adaptation du modèle de langage (LM) est le facteur clé (plus que l'adaptateur visuel). L'entraînement sur un seul benchmark (GSM8K) ne provoque pas d'oubli catastrophique et transfère les gains à d'autres benchmarks (ARC, MMLU, HumanEval).

4. Signification et Impact

Cette étude apporte un changement de paradigme dans la compréhension des MLLMs :

1. Réévaluation du fossé : Le fossé de modalité n'est pas une incapacité fondamentale des modèles à "penser" via les pixels, mais plutôt un problème de lecture (extraction de texte) et d'alignement des distributions d'entraînement.
2. Importance du rendu : Les benchmarks visuels doivent impérativement contrôler et rapporter les paramètres de rendu (police, résolution), car ils influencent les résultats autant que l'architecture du modèle.
3. Efficacité de la solution : Il est possible de combler ce fossé de manière pratique et efficace par un fine-tuning ciblé (auto-distillation) plutôt que par des révisions architecturales complexes. Cela ouvre la voie à une meilleure compréhension du texte visuel dans les modèles existants, en particulier pour les applications réelles (documents PDF, captures d'écran) où les modèles fonctionnent déjà bien.

En résumé, les auteurs concluent que "le mode image altère la lecture, pas la pensée", et que l'alignement des capacités de raisonnement textuel avec les entrées visuelles est la clé pour débloquer le plein potentiel des MLLMs.