💬 NLP

Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding

Cette étude révèle un décalage entre les représentations internes et les réponses générées par les modèles vision-langage dans la compréhension de documents visuels, démontrant que le fine-tuning des couches intermédiaires permet d'améliorer à la fois la précision des représentations et celle des réponses tout en réduisant cet écart.

Auteurs originaux : Haruka Kawasaki, Ryota Tanaka, Kyosuke Nishida

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haruka Kawasaki, Ryota Tanaka, Kyosuke Nishida

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Secret des Documents Visuels : Ce que le Modèle Pense vs Ce qu'il Dit

Imaginez que vous avez un super-intelligent (un modèle d'IA appelé LVLM) qui est excellent pour lire des documents complexes : des factures, des graphiques, des formulaires administraires. On lui pose une question, et il répond.

Mais les chercheurs de NTT se sont demandé : « Est-ce que ce super-intelligent comprend vraiment ce qu'il voit, ou est-ce qu'il devine juste la bonne réponse ? »

Pour le savoir, ils ont fait une expérience très curieuse. Voici ce qu'ils ont découvert, expliqué avec des analogies simples.

1. Le Problème : Le "Silence" de la Réponse

Habituellement, on juge l'intelligence d'un modèle par sa réponse finale. C'est comme noter un élève uniquement sur sa copie finale.

Le problème : Parfois, l'élève a tout compris dans sa tête, mais il écrit une mauvaise réponse parce qu'il a peur de se tromper, ou parce qu'il a oublié comment formuler sa pensée.
La découverte des chercheurs : Ils ont regardé "à l'intérieur" du cerveau du modèle (dans ses différentes couches de traitement). Ils ont vu que le modèle savait la bonne réponse bien avant de l'écrire, mais qu'il ne parvenait pas toujours à la sortir correctement.
L'analogie : C'est comme si vous aviez une réponse parfaite dans votre tête, mais que votre bouche (la génération de texte) bégayait ou disait n'importe quoi. Il y a un fossé entre ce que le modèle sait et ce qu'il dit.

2. L'Enquête : Où se cache la vérité ?

Pour comprendre ce qui se passe, les chercheurs ont utilisé une technique appelée "sondage linéaire" (linear probing).

L'analogie du détective : Imaginez que le modèle est une usine de traitement de l'information avec 60 étages (des couches). L'information entre au rez-de-chaussée (l'image) et sort au dernier étage (la réponse).
Les chercheurs ont installé un détective sur chaque étage pour voir si la réponse était déjà claire à ce niveau-là.
La surprise : Ils s'attendaient à ce que la réponse soit la plus claire au tout dernier étage (le sommet de l'usine).
La réalité : Non ! La réponse était souvent la plus claire et la plus facile à lire au milieu de l'usine (les couches intermédiaires). Au dernier étage, l'information était toujours là, mais elle était un peu "brouillée" ou mélangée à d'autres pensées inutiles.

3. La Solution : Ne pas tout réapprendre

Jusqu'à présent, pour améliorer ces modèles, on les forçait à réapprendre tout de A à Z (toutes les couches). C'est comme si on demandait à un chef cuisinier de réapprendre à éplucher les pommes de terre et à faire la vaisselle juste pour améliorer son plat de résistance. C'est long et inefficace.

Les chercheurs ont eu une idée brillante : Pourquoi ne pas s'entraîner uniquement sur les étages où la réponse est la plus claire ?

L'expérience : Ils ont pris le modèle et l'ont entraîné spécifiquement sur les "étages intermédiaires" (le milieu de l'usine).
Le résultat :
1. Le modèle a mieux répondu (meilleure précision).
2. Le fossé entre ce qu'il savait et ce qu'il disait s'est réduit.
3. Gagnant de temps : Ils ont appris moins de choses (moins de paramètres), donc l'entraînement a été beaucoup plus rapide et moins coûteux en énergie.

🌟 En Résumé : La Leçon du Jour

Ne jugez pas un livre à sa couverture : Ce qu'un modèle dit n'est pas toujours ce qu'il sait vraiment. Il peut avoir la bonne réponse "en interne" sans réussir à la formuler.
Le trésor est au milieu : Pour les documents visuels, la compréhension la plus forte se trouve souvent au milieu du processus de réflexion, pas à la toute fin.
L'entraînement ciblé est la clé : Au lieu de rééduquer tout le cerveau de l'IA, il suffit de renforcer les zones spécifiques où la compréhension est déjà bonne. C'est plus efficace, plus rapide, et cela rend l'IA plus fiable.

En bref : Les chercheurs ont prouvé qu'on peut rendre les IA plus intelligentes et plus honnêtes (en alignant ce qu'elles pensent avec ce qu'elles disent) en ciblant intelligemment leur entraînement, plutôt que de tout casser pour tout reconstruire.

1. Problématique

La compréhension de documents visuels (VDU) est une tâche complexe pour les grands modèles de langage-vision (LVLM), nécessitant l'intégration de la perception visuelle, de la reconnaissance de texte et du raisonnement sur des mises en page structurées.

Limitation actuelle : L'évaluation des LVLMs repose presque exclusivement sur la justesse des réponses générées. Cependant, une réponse correcte ne garantit pas que le modèle a véritablement capturé et encodé les informations nécessaires en interne.
Hypothèse centrale : Il existe un écart significatif entre les représentations internes (ce que le modèle "sait" ou encode dans ses couches cachées) et les réponses générées (ce que le modèle "dit"). De plus, il est incertain si les informations les plus pertinentes se trouvent dans la dernière couche du modèle (comme souvent supposé) ou dans des couches intermédiaires.

2. Méthodologie

Les auteurs utilisent une approche basée sur le sondage linéaire (linear probing) pour analyser les représentations internes des LVLMs à travers toutes leurs couches.

A. Sondage Linéaire (Linear Probing)

Principe : Pour chaque couche du LLM (Large Language Model) au sein du LVLM, un classifieur linéaire simple est entraîné (les paramètres du LVLM restent figés) pour prédire la réponse à une tâche binaire à partir des états cachés.
Entrées du classifieur : Les auteurs testent différents types de jetons (tokens) :
- Image-token : Jetons correspondant aux embeddings visuels.
- Text-token : Jetons correspondant au texte de la question.
- All-token : Moyenne de tous les jetons.
- Last-token : Le dernier jeton de la séquence (généralement utilisé pour la génération).
Tâches d'évaluation : Quatre tâches binaires couvrant différents aspects de la VDU :
1. Reconnaissance d'attributs visuels (couleur, forme).
2. Reconnaissance de mots (orthographe dans l'image).
3. Compréhension de la structure (identification de composants de document).
4. Compréhension de figures (raisonnement sur des graphiques).

B. Mesure de l'Écart (Gap)

L'écart est défini mathématiquement comme la différence entre la précision maximale du sondage linéaire sur toutes les couches et la précision de la réponse générée par le modèle :
$\text{Gap} = \max_{l \in L} (A_{LP}(l)) - A_{resp}$
Où $A_{LP}(l)$ est la précision du sondage à la couche $l$ et $A_{resp}$ la précision de la réponse.

C. Stratégies de Fine-Tuning

Pour combler cet écart, les auteurs proposent de cibler spécifiquement les couches intermédiaires identifiées comme contenant les informations les plus linéairement séparables. Ils comparent :

Le Fine-tuning complet (toutes les couches).
Le Fine-tuning sélectif de groupes de couches (Inférieures, Moyennes, Supérieures) ou de combinaisons (ex: Moyennes + Supérieures) en une ou deux étapes.

3. Contributions Clés

Analyse couche par couche : Première étude détaillée utilisant le sondage linéaire pour cartographier la représentation des informations dans les LVLMs pour la VDU.
Démonstration de l'écart : Preuve empirique que les représentations internes contiennent souvent plus d'informations utiles que ce qui est exprimé dans les réponses finales, créant un "gap" persistant même après un fine-tuning complet.
Localisation de l'information : Mise en évidence que les informations nécessaires à la résolution des tâches sont souvent mieux encodées de manière linéaire dans les couches intermédiaires plutôt que dans la dernière couche.
Stratégie d'optimisation : Démonstration que le fine-tuning ciblé des couches intermédiaires améliore à la fois la précision du sondage et la précision de la réponse, tout en réduisant l'écart plus efficacement que le fine-tuning complet.

4. Résultats Expérimentaux

A. Existence et Nature de l'Écart

Écart significatif : Pour tous les modèles testés (Qwen2.5-VL, Gemma3, LLaVA-NeXT) et toutes les tâches, la précision du sondage linéaire dépasse systématiquement la précision de la réponse.
Rôle des jetons : Le jeton last-token (dernier jeton) offre généralement la meilleure précision de sondage, mais celle-ci chute souvent dans les dernières couches, suggérant que l'information de réponse est optimale dans les couches intermédiaires avant d'être diluée par des étapes de raisonnement supplémentaires ou de prédiction de prochain jeton.
Dynamique des couches :
- Les couches inférieures traitent le visuel de base.
- Les couches intermédiaires encodent fortement les informations nécessaires à la réponse (pics de précision du sondage).
- Les couches supérieures se concentrent sur le traitement linguistique, ce qui peut parfois "brouiller" les signaux linéaires de la réponse correcte.

B. Impact du Fine-Tuning Ciblé

Insuffisance du Fine-Tuning Complet : Le fine-tuning de toutes les couches améliore la précision de réponse, mais ne réduit pas complètement l'écart avec les représentations internes.
Supériorité du Ciblage des Couches Moyennes :
- Le fine-tuning des couches intermédiaires (Middle) ou des combinaisons incluant ces couches (ex: L-M, M-U) surpasse le fine-tuning complet en termes de précision de réponse et de sondage.
- Réduction de l'écart : Ces stratégies réduisent significativement le "Gap". Par exemple, pour la reconnaissance d'attributs visuels, l'écart est réduit de ~24% (base) à ~2-3% avec un ciblage optimal.
- Efficacité : Cette approche permet d'obtenir de meilleures performances avec moins de paramètres entraînés (réduction d'environ 20-35% du temps d'entraînement et des paramètres par rapport au full fine-tuning).

5. Signification et Implications

Fiabilité et Interprétabilité : Ce travail montre que l'évaluation basée uniquement sur la génération de texte est insuffisante pour juger de la compréhension réelle d'un modèle. Les représentations internes peuvent révéler une connaissance latente non exploitée.
Nouvelle Stratégie d'Entraînement : L'étude suggère que pour des tâches complexes comme la VDU, il est plus efficace de cibler les couches intermédiaires qui agissent comme un point de convergence pour les informations visuelles et sémantiques, plutôt que de simplement entraîner l'ensemble du réseau.
Limites et Perspectives : Bien que le sondage linéaire soit efficace pour les tâches binaires, il pourrait être moins adapté au raisonnement complexe libre. L'article ouvre la voie à de nouvelles méthodes de sondage non-linéaires pour mieux comprendre les mécanismes de raisonnement profond.

En résumé, cet article démontre que les LVLMs "savent" souvent plus qu'ils ne le disent, et que l'optimisation de leurs couches intermédiaires est la clé pour aligner leurs capacités internes avec leurs performances de sortie.