Résumé technique : Phantasia artificielle : Imagerie mentale émergente dans les grands modèles de langage

Énoncé du problème

L'article aborde une question fondamentale en sciences cognitives : l'imagerie mentale visuelle peut-elle être pilotée uniquement par le langage, ou dépend-elle strictement de représentations picturales (imagées) ? La science cognitive traditionnelle postule que l'imagerie mentale opère sur des représentations imagées, une vision soutenue par la métaphore de « l'œil de l'esprit ». Cependant, l'existence d'aphantasiens (individus dépourvus d'imagerie visuelle consciente mais capables d'accomplir des tâches spatiales et dépendantes de l'imagerie) remet en cause la nécessité de formats picturaux.

Les auteurs examinent si les grands modèles de langage (LLM), principalement entraînés sur des données propositionnelles (linguistiques) et dépourvus de capacités de traitement visuel intrinsèques en mode texte seul, peuvent résoudre des tâches conçues pour être résolues exclusivement par une imagerie mentale picturale. Si les LLM réussissent, cela suggérerait l'existence d'une « phantasia artificielle » — une forme émergente et non picturale d'imagerie mentale pilotée par un raisonnement propositionnel.

Méthodologie

Conception de la tâche

L'étude a utilisé une version étendue de la tâche classique de « reconstruction d'objets » développée par Finke, Pinker et Farah (1989).

• Stimuli : Les chercheurs ont créé 60 ensembles d'instructions.
  • 12 éléments ont été adaptés de l'étude originale de Finke et al. (modifiés pour plus de clarté).
  • 48 éléments étaient des exemples nouveaux et sur mesure, créés spécifiquement pour cette étude afin de garantir leur absence des données d'entraînement des modèles. Ils impliquaient des transformations compositionnelles complexes (par exemple, rotation de lettres, attachement de formes, mise en miroir) où l'objet final (par exemple, un parapluie, une souris d'ordinateur) ne pouvait être identifié qu'après simulation mentale de toutes les étapes.
• Procédure : Les sujets (humains et LLM) ont été invités à imaginer une série de transformations et à identifier l'« image » résultante.
• Référence humaine : 100 participants humains ont accompli la tâche via des instructions audio (pour prévenir tout biais visuel lié au texte à l'écran) et ont été évalués à l'aide du Questionnaire de vivacité de l'imagerie visuelle (VVIQ).
• Tests LLM : L'étude a testé un large éventail de modèles de pointe, notamment :
  • Propriétaires : OpenAI (o3, o3-Pro, o4-mini, GPT-5, GPT-4.1, ChatGPT-4o), Google (Gemini 3 Pro, 2.5 Pro, 2.0 Flash) et Anthropic (Claude Opus 4.1, Sonnet 4).
  • Poids ouverts : Qwen 3, Qwen 3 VL, DeepSeek R1 et gpt-oss-120b.
• Variations expérimentales :
  • Génération assistée par image : Certains modèles ont été incités à générer des images intermédiaires à l'aide d'outils (par exemple, GPT-image-1, génération d'images de Gemini) pour tester si des aides picturales amélioraient les performances.
  • Effort de raisonnement : L'allocation de « jetons de raisonnement » (minimal, faible, moyen, élevé) a été variée pour les modèles OpenAI afin de tester l'impact des chaînes de raisonnement étendues.
  • Contexte : Les modèles ont été testés à la fois en contexte unique (toutes les instructions dans un seul prompt) et en contexte multiple (nouveau contexte par ensemble d'instructions).

Évaluation

• Notation : Un système de notation pondéré a été employé. 376 évaluateurs humains naïfs ont évalué la « pertinence » de la réponse du modèle ou de l'humain par rapport à une image cible canonique sur une échelle de 5 points.
• Validation par des experts : Les auteurs ont fourni des notes « d'experts » indépendantes. Le score final était une moyenne pondérée des notes issues du crowdsourcing et des évaluations d'experts.
• Analyse statistique : Des tests U de Mann-Whitney et des tests de rangs signés de Wilcoxon ont été utilisés pour comparer les performances des modèles à la référence humaine et entre eux, avec des corrections de Bonferroni pour les comparaisons multiples.

Résultats clés

1. Performance supérieure des modèles de pointe

Les modèles de raisonnement les plus avancés ont nettement surpassé la référence humaine (score humain moyen : 2,85/5).

• Gemini 3 Pro a obtenu le score moyen le plus élevé (3,65, $p < .0001$).
• GPT-5 (3,35, $p = .0004$) et la famille o3 (o3-Pro : 3,31, $p < .0001$ ; o3 : 3,13, $p = .0067$) ont également dépassé significativement les humains.
• Les modèles plus anciens ou moins capables (par exemple, ChatGPT-4o, Gemini 2.0 Flash, Qwen 3) ont obtenu des performances significativement inférieures à celles des humains ou n'ont pas atteint la référence.

2. Impact du raisonnement et des aides visuelles

• Jetons de raisonnement : Les performances étaient positivement corrélées à l'effort de raisonnement. GPT-5 avec un raisonnement « élevé » (3,35) a nettement surpassé le raisonnement « minimal » (2,04).
• Génération assistée par image : Contrairement à l'hypothèse selon laquelle les aides visuelles seraient bénéfiques, l'ajout de capacités de génération d'images (par exemple, o3 avec GPT-image-1) a diminué les performances par rapport au raisonnement en texte seul. Cela suggère que les erreurs de génération compositionnelle inhérentes aux modèles d'images actuels ont entravé la tâche, et que le traitement purement linguistique s'est avéré plus efficace.
• Contexte : L'apprentissage en contexte (contexte unique vs contexte multiple) n'a montré aucune différence significative dans les performances.

3. Limites des modèles open-source

Les modèles à poids ouverts ont obtenu de mauvaises performances, aucun ne répondant à la référence humaine. Qwen 3 (moyenne 1,58) et Qwen 3 VL (moyenne 1,99) n'ont montré aucune différence significative, suggérant que l'étape d'alignement vision-langage dans Qwen 3 VL n'a pas conféré d'avantage significatif pour cette tâche propositionnelle spécifique.

4. Incertitude et stratégie

• Incertitude : Contrairement aux humains, qui ont fréquemment répondu par « Je ne sais pas » (54 occurrences), les LLM n'ont jamais exprimé d'incertitude, hallucinant souvent des réponses même sur les éléments les plus difficiles.
• Parallèle avec l'aphantasie : L'étude a noté que la forte performance des LLM (dépourvus d'imagerie visuelle) reflète la performance des humains aphantasiens, qui réussissent également des tâches d'imagerie sans représentations picturales.

Contributions clés

1. Preuve de la phantasia artificielle : L'article fournit des preuves empiriques que les LLM peuvent résoudre des tâches complexes d'imagerie mentale en utilisant uniquement des représentations propositionnelles (linguistiques), remettant en cause la vision selon laquelle les formats picturaux sont nécessaires à une telle cognition.
2. Nouvelle référence : Les auteurs ont introduit 48 éléments nouveaux, non issus des données d'entraînement, pour des tâches d'imagerie mentale, créant une référence robuste pour évaluer les capacités de raisonnement émergentes des LLM.
3. Réévaluation des formats d'imagerie mentale : Les résultats suggèrent que l'imagerie mentale « visuelle » n'est peut-être pas une capacité monolithique mais peut être réalisée par un raisonnement spatial au sein d'un cadre propositionnel, soutenant la distinction entre imagerie d'objet et imagerie spatiale.
4. Insight méthodologique : L'étude démontre que forcer les modèles à générer des images intermédiaires peut dégrader les performances sur des tâches de raisonnement compositionnel, mettant en lumière les limites actuelles de la génération d'images dans les flux de travail logiques multi-étapes.

Signification et affirmations

Les auteurs affirment que leurs résultats « ravivent le débat sur l'exigence d'un format pictural dans l'imagerie mentale ». Ils soutiennent que le succès des LLM de pointe (spécifiquement les modèles de raisonnement comme o3, GPT-5 et Gemini 3 Pro) indique une capacité cognitive émergente où le langage seul suffit à simuler et manipuler des relations spatiales traditionnellement considérées comme nécessitant un « œil de l'esprit ».

L'article postule que ces modèles ne reposent pas sur des représentations picturales cachées mais plutôt sur un raisonnement propositionnel et des incorporations linguistiques pour construire des agencements spatiaux. Cela remet en cause la vision classique selon laquelle l'imagerie mentale visuelle est exclusivement picturale. De plus, l'étude suggère que l'écart entre les performances humaines et artificielles dans ce domaine se réduit, les modèles les plus avancés dépassant désormais les capacités humaines dans des tâches d'imagerie spécifiques et structurées.

Les auteurs restent modestes quant au mécanisme, reconnaissant que si les modèles réussissent, la représentation interne exacte (pure propositionnelle vs propositionnelle avec des priors visio-linguistiques) reste un sujet d'investigation ultérieure. Ils concluent que ces résultats offrent une nouvelle perspective tant pour la communauté de l'IA, concernant les capacités émergentes des modèles de raisonnement, que pour la communauté des sciences cognitives, concernant la nature de l'imagerie mentale humaine et les stratégies utilisées par les aphantasiens.