Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning

L'étude démontre que le biais de rapport inhérent aux données d'entraînement des modèles vision-langage empêche l'émergence de capacités de raisonnement par la simple mise à l'échelle, soulignant la nécessité d'une curation intentionnelle des données pour capturer les informations tacites.

L'essentiel

🎨 Le Titre : "La Taille ne sauve pas la Pragmatique"

Imaginez que vous essayez d'apprendre à un enfant à dessiner en lui montrant des millions de photos. Plus vous lui montrez de photos, plus il devrait devenir un génie, non ? C'est ce que pensaient les créateurs des intelligences artificielles (IA) visuelles.

Mais cet article nous dit : "Non, ça ne marche pas comme ça." Le problème n'est pas le nombre de photos, mais comment les humains décrivent ces photos.

🗣️ Le Problème : Le "Biais de Rapport" (ou la paresse des descriptions)

Pour entraîner ces IA, on utilise des milliards de photos trouvées sur internet, accompagnées de légendes écrites par des humains.

L'analogie du "Café du Commerce" :
Imaginez que vous êtes dans un café avec un ami. Vous voyez un chat assis sur un canapé.

• Ce que vous dites naturellement : "Regarde ce chat !"
• Ce que l'IA a besoin d'entendre pour être intelligente : "Le chat est assis sur le canapé, il est à gauche de la lampe, il y a trois coussins, et il n'est pas en train de dormir."

Les humains, par nature, sont paresseux quand ils décrivent des images. On omet les détails évidents (comme le nombre d'objets, la position exacte, ou ce qui n'est pas là) parce que ça semble inutile dans une conversation normale. C'est ce que les chercheurs appellent le biais de rapport.

L'article identifie quatre choses que les humains oublient presque toujours de dire :

1. L'espace : "À gauche de", "au-dessus de".
2. Le temps : "Avant", "après".
3. Le comptage : "Il y a 5 pommes" (on dit juste "des pommes").
4. La négation : "Il n'y a pas de chien" (on ne le dit jamais si on ne voit pas de chien).

📉 Le Résultat : Des IA qui "comptent" mal

Les chercheurs ont regardé les bases de données géantes utilisées pour entraîner les IA (comme OpenCLIP, LLaVA, Molmo).

• Le constat : Même avec des milliards de photos, les mots comme "gauche", "avant", "pas" ou "cinq" sont extrêmement rares dans les légendes.
• La conséquence : Les IA sont excellentes pour dire "C'est un chat" ou "C'est rouge", mais elles sont nulles pour dire "Le chat est sous la table" ou "Il y a trois chats".

🚫 L'Idée Reçue : "Plus c'est gros, mieux c'est" ?

Beaucoup pensaient que si on augmentait la taille de l'IA (plus de paramètres) et la quantité de données (plus de photos), l'IA finirait par "comprendre" ces concepts par magie.

L'analogie du "Marteau géant" :
C'est comme si vous essayiez d'écraser une noix avec un marteau de 10 tonnes. Plus vous frappez fort (plus de données), plus vous faites du bruit, mais la noix ne s'ouvre pas si vous ne changez pas de méthode.
Les chercheurs ont prouvé que multiplier par 100 la taille de l'IA ne suffit pas. L'IA restera bête sur ces points précis, car elle n'a jamais vu ces concepts dans ses données d'entraînement. C'est comme essayer d'apprendre à un élève à faire des maths en lui donnant un livre qui ne contient que des histoires de chats, même si le livre fait 10 000 pages.

🛠️ La Solution : Changer les "Instructions"

Alors, comment on fait ? Il faut arrêter de laisser les humains écrire ce qu'ils veulent. Il faut leur donner des instructions précises.

L'analogie du "Chef d'orchestre" :
Au lieu de demander à un musicien de "jouer un peu de musique", le chef lui dit : "Joue une note grave, puis une note aiguë, et compte jusqu'à trois entre les deux".

Les chercheurs ont fait une expérience :

1. Ils ont demandé à des humains de décrire des photos en leur disant : "N'oubliez pas de dire combien d'objets il y a, où ils sont placés, et ce qui n'est pas là."
2. Résultat : Les descriptions sont devenues beaucoup plus riches et précises.
3. L'effet sur l'IA : Quand ils ont entraîné une IA avec ces nouvelles descriptions, l'IA est devenue soudainement beaucoup plus intelligente pour compter et raisonner.

💡 En Résumé

• Le problème : Les IA sont "bêtes" en logique visuelle (compter, localiser, nier) non pas parce qu'elles sont trop petites, mais parce que les humains qui écrivent les légendes oublient de donner ces détails.
• La fausse solution : Jeter plus de données et de puissance de calcul ne résoudra pas le problème.
• La vraie solution : Il faut être intentionnel. Il faut donner des instructions claires aux humains (ou aux autres IA) pour qu'ils décrivent exactement ce dont l'IA a besoin pour apprendre à raisonner.

C'est un rappel important : pour rendre les IA plus intelligentes, il ne suffit pas de les nourrir avec plus de nourriture (données), il faut leur donner la bonne nourriture (des données bien décrites).

Résumé technique

1. Problématique

Les modèles de vision-langage (VLM) actuels, bien que performants sur des benchmarks standardisés, échouent systématiquement sur des tâches de raisonnement fondamentales pour l'humain : le raisonnement spatial, temporel, la négation et le comptage.

Les auteurs postulent que ces échecs ne sont pas dus à une limitation architecturale des modèles, mais à un biais de rapport (reporting bias) inhérent aux données d'entraînement. Ce biais découle de la manière dont les humains décrivent naturellement des images (par exemple, dans les textes alternatifs ou les légendes web) : ils omettent systématiquement des informations "tacites" jugées non pertinentes dans un contexte conversationnel standard, conformément aux maximes de Grice (être concis, pertinent, ne pas donner d'informations superflues). Par conséquent, même des corpus à l'échelle du web (milliards de données) manquent cruellement d'exemples supervisant ces types de raisonnement spécifiques.

2. Méthodologie

L'étude adopte une approche rigoureuse combinant analyse linguistique, investigation de données et expérimentation empirique :

• Cadre Théorique : Les auteurs s'appuient sur la linguistique, la pragmatique (notamment les maximes de conversation de Grice) et les sciences cognitives pour formuler l'hypothèse que les humains omettent naturellement les prépositions spatiales/temporelles, les comptes exacts et les négations lorsqu'ils légendent des images sans instruction spécifique.
• Analyse de Corpus : Ils analysent la fréquence de mots-clés liés à ces quatre types de raisonnement dans des corpus open-source massifs : LAION-2B, LLaVA-1.5 et Molmo. Ils distinguent la présence de mots-clés de leur "véritable opérationnalisation" (c'est-à-dire si le mot-clé décrit réellement la relation dans l'image) via un échantillonnage manuel.
• Création de Benchmarks : Quatre benchmarks ont été curatés pour évaluer spécifiquement ces compétences (spatial, comptage, négation, temporel) sur des modèles contrastifs (ex: OpenCLIP) et génératifs (ex: LLaVA, Molmo).
• Études d'Échelle (Scaling Laws) : Les auteurs testent si l'augmentation de la taille des modèles, du volume de données ou de la diversité multilingue (traduction de légendes non-anglaises) permet l'émergence de ces compétences.
• Étude Utilisateur et Instructions : Une étude contrôlée a été menée sur Prolific où des annotateurs ont légendé le même jeu d'images (COCO) avec différentes instructions (standard vs. instructions spécifiques demandant de l'information tacite).
• Fine-tuning : Pour valider l'efficacité de la mitigation du biais, les auteurs ont fine-tuné un modèle (LLaVA-1.5) sur un corpus enrichi en données de comptage (39% de données de comptage vs 6% dans les données originales) pour observer l'amélioration des performances.

3. Contributions Clés

1. Identification du Biais de Rapport : Démonstration que le biais de rapport est omniprésent même dans les corpus web à grande échelle, entraînant une sous-représentation critique des concepts de raisonnement (ex: seulement 0,1% de relations spatiales dans LAION).
2. Échec de l'Échelle (Scaling) : Preuve empirique que l'augmentation de la taille des modèles, du volume de données ou de la diversité linguistique ne suffit pas à faire émerger ces compétences de raisonnement. Les lois d'échelle montrent que le coût computationnel nécessaire pour atteindre la performance humaine par simple mise à l'échelle serait "ingérable" (intractable).
3. Rôle des Instructions d'Annotateurs : Démonstration que des instructions explicites peuvent contrer ce biais. En demandant spécifiquement aux annotateurs de décrire les positions, les comptes ou les négations, la fréquence de ces concepts dans les données générées augmente drastiquement (jusqu'à 3-4 fois).
4. Validation par Fine-tuning : Confirmation que l'augmentation de la représentation de ces concepts dans les données d'entraînement (via des instructions ciblées) améliore directement les performances des modèles sur les tâches de raisonnement correspondantes.

4. Résultats Principaux

• Performance des Modèles : Les modèles actuels (OpenCLIP, LLaVA, Molmo, GPT-4o) obtiennent des scores bien inférieurs à la performance humaine, particulièrement sur la négation (où les modèles échouent souvent en ignorant le "non") et le raisonnement temporel.
• Analyse des Données (Tableau 1) :
  • LAION : Très faible occurrence de raisonnement spatial (0,1% estimé vrai), comptage (1,7%) et négation (0,1%).
  • LLaVA-1.5 / Molmo : Bien que légèrement meilleurs grâce à des instructions d'entraînement, ils souffrent toujours d'une sous-représentation, notamment pour la négation et le temporel.
• Impact de l'Échelle (Figure 3) : Contrairement aux tâches de perception (comme ImageNet) où la perte diminue rapidement avec l'échelle, les courbes de raisonnement (surtout négation et spatial) sont plates. Augmenter les paramètres ou les données n'améliore pas significativement les performances.
• Diversité Multilingue : L'ajout de légendes traduites d'autres langues n'améliore pas les performances, prouvant que le biais de rapport est un phénomène humain universel, pas spécifique à l'anglais.
• Efficacité des Instructions (Tableau 3) :
  • Instructions COCO (standard) : 2% de négation, 2% de temporel.
  • Instructions "Ours" (spécifiques) : 52% de négation, 44% de temporel.
• Résultats de Fine-tuning (Tableau 4) : Un modèle fine-tuné sur un corpus avec 39% de données de comptage (générées via instructions ciblées) a vu ses performances passer de 49,8% à 54,4%, surpassant le fine-tuning sur des données standards, prouvant que la qualité et la nature des données priment sur la quantité brute.

5. Signification et Implications

Ce travail remet en question le paradigme dominant selon lequel "plus de données et plus de modèles" résoudront automatiquement les problèmes de raisonnement des IA.

• Changement de Paradigme : La solution ne réside pas dans l'échelle aveugle, mais dans une curation intentionnelle des données. Il faut concevoir des protocoles de collecte de données qui forcent l'expression d'informations tacites.
• Importance de la Pragmatique : Les modèles VLM apprennent les biais de communication humaine. Pour apprendre à raisonner, ils doivent être exposés à des données où les humains sont contraints ou incités à lever ces omissions pragmatiques.
• Données Synthétiques : Le biais de rapport affecte aussi les données générées par des LLM (qui sont eux-mêmes entraînés sur des données humaines biaisées). Les instructions données aux LLM pour générer des données sont donc aussi critiques que celles données aux humains.
• Recommandations Futures : Les auteurs appellent à développer des méthodes de collecte de données qui incluent systématiquement des instructions pour couvrir les lacunes de raisonnement (spatial, temporel, négation, comptage) plutôt que de compter sur l'émergence spontanée.

En résumé, l'article démontre que la pragmatique humaine (ce que nous choisissons de dire ou de taire) est un goulot d'étranglement plus sévère que la capacité de calcul, et que surmonter ce biais nécessite une ingénierie des données délibérée et ciblée.