GEB-Bench: Abstract Structures Told in Many Voices

Le Test du Grand Métamorphe

Imaginez que vous regardiez un delta de rivière se répandant dans l'océan. Maintenant, imaginez que vous regardiez un éclair dentelé frappant le ciel. Pour un humain, ces deux choses sont totalement différentes : l'une est faite d'eau et de sable, l'autre de feu et d'air. Mais si vous plissez les yeux pour observer la forme des ramifications, vous pourriez réaliser qu'elles partagent le même secret de conception. Toutes deux suivent un motif de division et d'étalement que les mathématiciens appellent un « fractal » ou un type spécifique de structure de ramification. Cette capacité à voir le squelette invisible sous la surface désordonnée est ce que nous appelons le raisonnement abstrait. C'est le super-pouvoir qui nous permet de comprendre qu'une histoire sur un roi et une histoire sur un programme informatique traitent toutes deux du « pouvoir », même si les mots sont totalement différents.

Pendant longtemps, les scientifiques se sont demandé si l'intelligence artificielle (IA) possédait ce super-pouvoir. Nous avons construit des modèles capables de nommer un chat sur une photo ou d'écrire un poème sur la lune, mais peuvent-ils réellement voir les structures profondes et cachées qui relient un fleuve, une histoire, une équation mathématique et un code informatique ? C'est la grande question. Si une IA ne peut pas faire cela, elle n'est qu'un perroquet très sophistiqué qui imite des motifs sans comprendre le « pourquoi » ou le « comment » derrière eux. C'est comme avoir un robot qui peut réciter la recette d'un gâteau mais qui ne comprend pas ce que signifie réellement « cuisiner ».

Le Défi des « Multiples Voix »

Voici entré GEB-BENCH, un nouveau test complexe conçu pour voir si les modèles d'IA peuvent repérer ces formes cachées. Les créateurs l'ont nommé d'après un livre célèbre intitulé Gödel, Escher, Bach, qui traite justement de la manière dont les mêmes idées étranges et bouclées apparaissent en mathématiques, en art et en musique. Le test repose sur une idée simple mais sournoise : prendre une seule forme abstraite (comme une boucle, une spirale ou une image miroir) et raconter la même histoire à travers quatre « voix » complètement différentes.

Voyez cela comme un jeu de « Téléphone arabe », mais au lieu de chuchoter un message, vous traduisez une forme.

1. La Voix de la Scène : Une image d'une chose naturelle, comme un coquillage de nautile ou un delta de rivière, où la forme est cachée dans la composition.
2. La Voix de l'Histoire : Un court conte populaire où la forme est cachée dans la manière dont l'histoire est racontée. Par exemple, l'histoire pourrait être un « canon de crabe », où la seconde moitié de l'histoire est la première moitié lue à l'envers, mot pour mot.
3. La Voix Mathématique : Un théorème mathématique pur et précis qui décrit la forme à l'aide de symboles.
4. La Voix du Squelette : Un dessin au trait dépouillé, comme un fil de fer, qui montre la forme sans détails superflus.

Le piège ? Les concepteurs du test ont éliminé tout le « superflu ». Ils se sont assurés que le delta de la rivière et l'éclair ne partageaient aucune couleur ou texture. Ils se sont assurés que les histoires n'utilisaient pas les mêmes mots. La seule chose qui compte est la structure invisible. L'IA doit regarder l'image d'un fleuve et dire : « Ah, c'est la même forme que ce théorème mathématique ! » ou « Cette histoire raconte la même plaisanterie structurelle que ce dessin au trait. »

Les Résultats : La « Taxe » de Traduction

Les chercheurs ont testé 37 modèles d'IA différents, des plus petits modèles open-source aux modèles « frontières » massifs et ultra-intelligents des grandes entreprises technologiques. Ils ont découvert quelque chose de fascinant et d'un peu décevant : l'IA est douée pour reconnaître une forme dans une voix, mais incapable de la transporter vers une autre.

Imaginez que vous soyez très doué pour reconnaître un ami lorsqu'il porte sa veste rouge préférée (la « Voix Mathématique »). Mais si ce même ami se présente en costume de clown (la « Voix de l'Histoire ») ou en tenue de camouflage (la « Voix de la Scène »), vous pourriez ne pas le reconnaître du tout. Les modèles d'IA pouvaient souvent identifier la forme lorsqu'elle était présentée sous la forme d'une équation mathématique propre ou d'un dessin simple. Mais dès qu'ils devaient traduire cette forme en une scène naturelle ou un conte populaire, leurs performances s'effondraient.

L'article appelle cela la « taxe de mapping » (taxe de correspondance). Chaque modèle, quelle que soit sa puissance, doit payer cette taxe. Même les modèles les plus avancés, qui sont généralement considérés comme la « frontière » de l'IA, peinent à relier les points entre une image et une histoire. L'étude a révélé que si ces modèles pouvaient reconnaître la forme dans la voix mathématique environ 86 % du temps, leur capacité à faire correspondre cette même forme à une voix narrative tombait à environ 44 %. C'est un écart énorme.

Le Piège de la « Géométrie Formelle »

Voici la partie vraiment incroyable : l'IA n'a pas simplement deviné au hasard. Lorsqu'elle se trompait, elle commettait des erreurs spécifiques qui suivaient un schéma logique. L'article appelle cela la « géométrie formelle ».

Imaginez que vous essayiez de faire la différence entre une « boucle » (un cercle) et une « boucle étrange » (un cercle qui se tord sur lui-même de manière confuse). Les modèles d'IA confondaient souvent ces deux-là. Ils ne se confondaient pas parce que les images se ressemblaient ; ils se confondaient parce que les règles mathématiques définissant ces deux formes sont voisines. C'est comme si vous appreniez à conduire et que vous confondiez sans cesse un « stop » avec un panneau « cédez le passage » parce qu'ils sont tous deux des octogones rouges, même si les règles d'utilisation sont différentes.

L'étude a montré que les erreurs de l'IA étaient beaucoup plus prévisibles sur la base de ces règles mathématiques que sur l'apparence réelle des images pour un humain. Si vous montriez à l'IA une image qui ressemblait à une « boucle étrange », elle l'appellerait souvent une « boucle » car, dans le monde des mathématiques, ces deux concepts sont côte à côte. Cela suggère que l'IA ne se contente pas de « voir » l'image ; elle essaie de la faire correspondre à une bibliothèque de concepts mathématiques, mais elle reste bloquée sur les détails techniques.

Le Problème de la « Surface »

Les chercheurs ont également découvert que le « bruit » du monde réel rend les choses plus difficiles pour l'IA. Ils ont testé les modèles avec des images allant d'un simple dessin au trait (très propre) à une photographie réaliste et encombrée (très désordonnée). À mesure que les images devenaient plus réalistes et « bruitées », les performances de l'IA se dégradaient.

C'est comme essayer d'entendre une chanson dans une pièce calme par rapport à un concert bruyant et bondé. L'IA peut entendre la mélodie (la structure) dans la pièce calme, mais le bruit de la foule (les détails de surface de la photo) l'étouffe. L'étude a montré que posséder un modèle plus grand et plus puissant ne rendait pas l'IA immunisée contre ce bruit ; cela lui donnait simplement un peu plus de « marge de manœuvre » pour gérer le désordre. Cela ne résolvait pas le problème ; cela ne faisait que retarder le crash.

L'Essentiel

La conclusion la plus importante de cet article est que reconnaître une structure et la traduire à travers différents mondes sont deux compétences distinctes. Les modèles d'IA que nous possédons aujourd'hui deviennent très doués pour reconnaître des structures lorsqu'elles sont présentées clairement (comme dans les mathématiques ou les diagrammes simples). Mais ils ont encore du mal à prendre cette compréhension et à l'appliquer aux scènes naturelles et aux histoires, qui sont désordonnées, complexes et variées.

L'article ne dit pas que l'IA est « cassée » ou qu'elle n'apprendra jamais. Il dit simplement qu'actuellement, il existe un écart spécifique et mesurable. Les modèles peuvent voir la forme dans le livre de mathématiques, mais ils ne peuvent pas encore voir la même forme dans le delta d'un fleuve ou dans un conte populaire. Et tant qu'ils ne pourront pas combler cet écart, ils passeront à côté du véritable moment d'illumination du raisonnement abstrait : la capacité de voir que le fleuve, l'histoire et les mathématiques chantent tous la même chanson, juste avec des voix différentes.