🤖 AI

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

Cet article introduit le benchmark FaithC4 pour démontrer que les modèles vision-langage réécrivent souvent des textes imparfaits en formes plausibles plutôt que de les transcrire fidèlement, révélant ainsi des modèles de dégradation distincts selon les types de modèles et identifiant les représentations de couches ainsi que les longueurs de mots spécifiques qui déclenchent ce comportement de réécriture.

Auteurs originaux : Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Publié 2026-07-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à lire une note manuscrite de votre grand-mère. Vous attendez du robot qu'il agisse comme une photocopieuse ultra-précise, capturant chaque gribouillis, chaque tache et chaque mot mal orthographié exactement tel qu'il apparaît. C'est le travail de l'OCR (Reconnaissance Optique de Caractères), une technologie qui existe depuis des décennies pour transformer des images de texte en mots numériques. Mais récemment, un nouveau genre de robot est arrivé : le Modèle Vision-Langage (VLM). Voyez ces derniers comme des robots qui ne se contentent pas de « voir » les lettres, mais qui « réfléchissent » aussi à ce que la phrase devrait signifier, combinant une caméra avec un cerveau très intelligent entraîné sur l'intégralité d'Internet.

La grande question est la suivante : quand ces robots intelligents voient un mot mal formé, copient-ils fidèlement ou essaient-ils de le « corriger » ? C'est un peu comme l'effet de la « typoglycémie » que les humains expérimentent, où nous pouvons toujours lire une phrase même si les lettres du milieu des mots sont mélangées, parce que notre cerveau devine le mot voulu. Bien que cela soit utile pour les humains, cela peut être un désastre pour un robot si vous avez besoin d'une copie parfaite et littérale d'un contrat juridique ou d'une lettre historique. Si le robot décide de « corriger » une faute de frappe qui faisait partie du document original, il réécrit l'histoire au lieu de l'enregistrer. Ce document explore si ces nouveaux robots IA sont des scribes fidèles ou des éditeurs trop zélés.

Les VLM lisent-ils ou réécrivent-ils ?

Dans cette étude, des chercheurs d'Amazon ont cherché à tester une habitude spécifique de ces Modèles Vision-Langage (VLM) : lorsqu'ils voient un mot qui semble un peu étrange, le lisent-ils exactement tel qu'il est, ou le réécrivent-ils secrètement pour qu'il ait plus de sens ?

Pour le découvrir, l'équipe a créé un terrain de jeu spécial appelé FaithC4. Imaginez qu'ils aient pris des milliers de pages de texte propres et normales en anglais, chinois et coréen. Ensuite, ils ont joué à un jeu de « téléphone arabe » avec les mots avant de les transformer en images. Ils ont pris 8 % des mots éligibles et les ont déformés de trois manières créatives :

Mélange (Scramble) : Ils ont brassé les lettres intérieures (comme transformer « standard » en « sdanartd »).
Aléatoire (Random) : Ils ont remplacé des lettres par d'autres totalement aléatoires (comme « xkpmewqi »).
Visuel (Visual) : Ils ont remplacé des lettres par d'autres qui lui ressemblent presque (comme transformer un « a » en « c » ou un « o » en « 0 »).

Ils ont ensuite montré ces images « cassées » à 15 systèmes différents. Ces systèmes se répartissent en trois groupes :

La Vieille Garde : Les outils OCR traditionnels (comme Tesseract) qui regardent simplement les pixels et disent « cela ressemble à un 'a' ».
Les Spécialistes : Les VLM entraînés spécifiquement pour la lecture de documents.
Les Généralistes : Les grands VLM puissants (comme Qwen, GPT-4V et Gemini) qui sont doués pour tout, des mathématiques à la poésie.

Les résultats : Les robots « intelligents » sont trop intelligents

Les conclusions ont été surprenantes et un peu inquiétantes pour quiconque a besoin de copies parfaites. Les chercheurs ont découvert que plus le robot est « intelligent », plus il est susceptible de réécrire le texte.

La Vieille Garde (OCR traditionnel) : Ces outils étaient les plus fidèles. Lorsque le texte était déformé, ils changeaient à peine leur réponse. Leur taux d'erreur n'a augmenté que de moins de 0,6 point de pourcentage. Ils voyaient simplement le désordre et copiaaient le désordre.
Les Spécialistes : Ils faisaient un peu mieux que les généralistes, mais effectuaient tout de même des modifications. Leurs erreurs ont augmenté de 0,2 à 2 points de pourcentage.
Les Généralistes : Ils étaient les moins bons pour être fidèles. Lorsque le texte était mélangé ou visuellement altéré, leurs taux d'erreur bondissaient jusqu'à 4,5 points de pourcentage.

Pourquoi ? Parce que ces modèles à usage général sont si doués pour prédire ce à quoi une phrase devrait ressembler qu'ils ignorent souvent ce qui est réellement écrit. S'ils voient « prbolem », ils affichent avec assurance « problem », même si l'image indiquait clairement « prbolem ». C'est comme un élève qui connaît si bien la réponse à un problème de mathématiques qu'il ignore l'erreur griffonnée par le professeur au tableau et écrit simplement la bonne réponse.

Le mécanisme caché : Quand la réécriture se produit-elle ?

Pour comprendre pourquoi cela arrive, les chercheurs ont observé l'intérieur du cerveau de l'un de ces modèles, Qwen3-VL-4B, couche par couche. Ils voulaient voir si le robot était « aveugle » à l'erreur ou s'il choisissait simplement de l'ignorer.

Ils ont découvert une règle fascinante : Le robot réécrit le mot uniquement lorsqu'il « pense » que le mot lui semble familier.

Si la représentation interne du mot mélangé reste très proche du mot original (comme une photo floue qui ressemble encore à un chat), le robot se dit : « Oh, c'est définitivement un 'chat' ! » et le réécrit.
Mais si le mélange est si mauvais que la représentation interne dévie loin de l'original (la photo n'est plus qu'une tache informe), le robot arrête de deviner et finit par lire ce qu'il voit.

Cela explique pourquoi la longueur des mots est si importante. Les mots courts (4 à 6 lettres) sont réécrits jusqu'à 10 % du temps car il est facile pour le robot de deviner l'original. Mais dès qu'un mot atteint 8 caractères ou plus, la réécriture tombe à 0 %. Le mélange est trop important pour que le « cerveau de devinette » du robot puisse récupérer l'original, alors il abandonne et transcrit fidèlement.

L'effet de ricochet

Voici la partie la plus surprenante : déformer seulement quelques mots ne nuit pas uniquement à ces mots spécifiques. Les chercheurs ont découvert que la corruption de seulement 5 % des mots d'un document a fait bondir les erreurs sur les mots parfaits et intacts de 5 à 10 fois pour les modèles à usage général.

C'est comme si le robot était tellement perturbé par une seule faute de frappe qu'il commençait à mal lire tout le paragraphe environnant. Les systèmes OCR traditionnels n'avaient pas ce problème ; ils restaient calmes et précis, même entourés de chaos.

Ce que cela signifie

L'article conclut que, bien que ces nouveaux modèles d'IA sophistiqués soient incroyables pour comprendre les documents et répondre à des questions, ils ne sont pas fiables pour les tâches exigeant une copie littérale et parfaite du texte. Si vous numérisez un manuscrit historique, vérifiez un contrat juridique ou analysez des dossiers médicaux où chaque faute de frappe compte, vous devriez vous en tenir à l'OCR traditionnel ou à des outils spécialisés. Les VLM à usage général sont trop impatients de « vous aider » en corrigeant des choses qui ne devraient pas l'être.

Les chercheurs suggèrent que nous devons être prudents quant à l'utilisation de ces modèles. Ce n'est pas parce qu'un modèle peut lire un document qu'il le lirara fidèlement. Pour l'instant, si vous voulez la vérité exactement telle qu'elle a été écrite, les vieux robots sont encore les scribes les plus honnêtes.

Résumé technique : Les VLM lisent-ils ou réécrivent-ils ? Sur la fidélité de la transcription dans les modèles vision-langage

Énoncé du problème

Les modèles vision-langage (VLM) remplacent de plus en plus les pipelines traditionnels de reconnaissance optique de caractères (OCR) pour la compréhension de documents grâce à leur capacité à gérer la reconnaissance de texte, l'analyse de mise en page et les tâches en aval au sein d'un seul modèle. Cependant, les benchmarks d'OCR standards, qui reposent sur du texte propre, ne parviennent pas à capturer un défaut comportemental critique : les VLM agissent souvent comme des « réécrivains silencieux » plutôt que comme des transcripteurs fidèles. Face à des entrées imparfaites (fautes de frappe, artefacts visuels ou caractères peu clairs), les VLM ont tendance à produire ce qu'ils s'attendent à voir en se basant sur les priors linguistiques, plutôt que ce qui est réellement écrit. Ce comportement, rappelant l'effet de typoglycémie dans la lecture humaine, pose des risques importants pour les domaines exigeant une transcription littérale, tels que les documents juridiques, les dossiers médicaux et les manuscrits historiques. La recherche actuelle n'a pas étudié systématiquement ce comportement de réécriture, car les benchmarks existants se concentrent sur la reconnaissance de textes propres.

Méthodologie

Pour combler cette lacune, les auteurs introduisent FaithC4, un benchmark de perturbation multilingue conçu pour mesurer la fidélité de la transcription sous des entrées imparfaites.

Construction du jeu de données : Les auteurs ont extrait du texte brut du Colossal Clean Crawled Corpus (C4) et l'ont rendu sous forme d'images de documents d'une seule page. Ils ont appliqué des perturbations contrôlées à 8 % des mots éligibles (ceux ayant $\ge$ 4 caractères) à travers trois langues : l'anglais (EN), le chinois (ZH) et le coréen (KO). Les familles de perturbations incluent :
- Scramble (Mélange) : Les caractères internes sont mélangés tout en préservant la première et la dernière lettre (ex : « standard » $\to$ « sdanartd »).
- Substitution aléatoire : Les caractères sont remplacés par des lettres aléatoires issues du même script.
- Substitution visuelle : Les caractères sont remplacés par des alternatives visuellement similaires (ex : « standard » $\to$ « stsndord »).
- Le texte perturbé sert de vérité terrain ; la sortie du modèle est comparée à celui-ci pour déterminer s'il a fidèlement transcrit l'erreur ou s'il a « réécrit » vers le mot original.
Systèmes évalués : L'étude évalue 15 systèmes répartis en trois catégories :
1. VLM à usage général : Modèles à poids ouverts (ex : Qwen3-VL, InternVL, Gemma) et à poids fermés (ex : GPT-5.4-mini, Gemini).
2. VLM spécialisés en OCR : Modèles affinés pour l'extraction de documents (ex : MinerU, DeepSeek-OCR).
3. OCR traditionnel : Pipelines au niveau du caractère (Tesseract, docTR).
Métriques d'évaluation :
- Taux d'erreur de mots (WER) : Mesure la précision au niveau du mot sensible à l'ordre (ou Taux d'erreur de caractères, CER, pour le chinois).
- Similitude de distance d'édition (EDS) : Mesure la similitude au niveau des caractères.
- Classification des erreurs : Les erreurs sur les mots perturbés sont classées comme Réécrit (correspondant au mot original non perturbé), Proche (modifications mineures), Modéré ou Faux.
Sondage mécaniste : Les auteurs effectuent un sondage couche par couche sur Qwen3-VL-4B pour identifier l'origine de la réécriture. Ils analysent la similitude cosinus des sorties du réseau de propagation avant (FFN) entre les entrées originales et perturbées, et mesurent les poids d'attention sur les patchs de mots mis en évidence.

Résultats clés

1. Dégradation des performances et hiérarchie de robustesse

L'étude révèle un ordre de robustesse constant en trois niveaux à travers les trois langues, corrélé à la force du prior linguistique d'un modèle :

OCR traditionnel : Le plus robuste, avec une dégradation $< 0,6$ point de pourcentage (pp) en WER/CER. Ils transcrivent caractère par caractère sans outrepasser les preuves visuelles.
VLM spécialisés en OCR : Présentent une dégradation modérée (0,2–2,0 pp), conservant certains priors linguistiques mais moins que les modèles généraux.
VLM à usage général : Souffrent de la plus grande dégradation (jusqu'à 4,5 pp). Par exemple, l'InternVL3.5-4B a subi une dégradation de 4,45 pp sous perturbation visuelle en anglais, tandis que Gemini-3-Flash était une exception avec une dégradation plus faible (0,23–0,60 pp).

2. Comportement de réécriture

Taux de réécriture : Les VLM à usage général réécrivent une fraction substantielle des mots perturbés. Par exemple, sous perturbation de type mélange, Gemini-2.5-Flash a réécrit 64,6 % des erreurs, tandis que Qwen3-VL en a réécrit 29,2 %. L'OCR traditionnel a réécrit 0 %.
Propagation d'erreurs non locales : Perturber seulement ~4,7 % des mots a provoqué une augmentation de 5 à 10 fois du taux d'erreur sur le reste du texte non perturbé pour les VLM à usage général, alors que l'OCR traditionnel n'a montré qu'une amplification de 1,7 à 3,1 $\times$ . Cela suggère que la réécriture est un mode de défaillance non local.
Cohérence translingue : La hiérarchie de dégradation se maintient pour l'anglais, le chinois et le coréen, bien que le type de perturbation le plus dommageable varie selon le script (ex : la substitution aléatoire est la plus dommageable pour les VLM chinois à usage général).

3. Aperçus mécanistes (Qwen3-VL-4B)

Le sondage des couches internes de Qwen3-VL-4B a révélé que la réécriture n'est pas causée par un échec de détection de la perturbation :

Attention vs Représentation : Le modèle alloue plus d'attention aux patchs d'image du mot perturbé dans les couches précoces et tardives, indiquant qu'il « voit » la corruption.
Le mécanisme de porte (Gating) : La réécriture ne se produit que lorsque la représentation FFN interne du mot perturbé reste proche de l'encodage original au niveau de la dernière couche.
- Si la représentation diverge suffisamment (faible similitude cosinus), le modèle transcrit fidèlement.
- Si la représentation reste proche (similitude élevée), le prior linguistique supplante l'évidence visuelle pour « corriger » le mot.
Effet de la longueur des mots : La réécriture dépend fortement de la longueur des mots. Les mots courts (4–6 caractères) sont réécrits jusqu'à 10 % du temps. Il existe un seuil critique à 8 caractères, où le taux de réécriture tombe à 0 %. Les mots plus courts causent moins de perturbation à la représentation interne, permettant au prior linguistique de les reconnaître et de les « corriger ».

Signification et affirmations

L'article affirme que FaithC4 expose une limitation systématique des VLM que les benchmarks de textes propres ne peuvent détecter : la tendance à réécrire silencieusement le texte imparfait en fonction des priors linguistiques. Les auteurs soutiennent que pour les applications exigeant une transcription littérale (juridique, médicale, historique), l'OCR traditionnel ou les VLM spécialisés en OCR soigneusement sélectionnés restent le choix le plus sûr, car les VLM à usage général introduisent des erreurs de réécriture systématiques.

L'étude établit que le comportement de « réécriture » n'est pas une hallucination au sens traditionnel du terme (génération d'objets inexistants), mais un mode de défaillance spécifique où le prior linguistique du modèle supplante l'évidence visuelle lorsque la perturbation est assez subtile pour laisser la représentation interne reconnaissable. Ce comportement est régulé par l'ampleur du décalage dans la représentation interne du modèle, et non par la quantité d'attention allouée à l'entrée.