Human-Level Reasoning: A Comparative Study of Large Language Models on Logical and Abstract Reasoning
Cette étude évalue et compare les capacités de raisonnement logique et abstrait de neuf grands modèles de langage par rapport aux performances humaines à l'aide de huit questions conçues sur mesure, révélant des lacunes significatives dans les capacités déductives des modèles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez une pièce remplie de bibliothécaires incroyablement talentueux. Ces bibliothécaires (les modèles de langage étendu, ou LLM) ont lu presque tous les livres du monde. Ils peuvent réciter des faits, écrire des poèmes et traduire des langues plus vite que quiconque. Mais la question que pose ce document est la suivante : comprennent-ils réellement ce qu'ils lisent, ou sont-ils simplement très doués pour deviner le mot suivant dans une phrase ?
Pour le découvrir, l'auteur, Benjamin Grando Moreira, a mis en place une « salle de sport de la logique » et a invité 15 de ces bibliothécaires numériques à affronter un groupe d'étudiants et de professeurs humains.
Voici un résumé simple de ce qui s'est passé, en utilisant quelques métaphores de la vie quotidienne.
Le Test : Une boîte à énigmes, pas un quiz de culture générale
Au lieu de demander aux modèles « Qui était le premier président ? » (ce qu'ils peuvent répondre par mémoire), le chercheur leur a donné 8 puzzles complexes. Ces puzzles étaient comme des énigmes qui nécessitaient aux modèles de découvrir des règles cachées, et non de simplement rappeler des faits.
Voyez cela comme ceci :
- Le Cerveau Humain est comme un détective qui examine les indices, relie les points et dit : « Aha ! Je vois le schéma ! »
- Le Cerveau de l'IA est comme une machine de reconnaissance de formes ultra-rapide qui dit : « J'ai déjà vu ce mot, donc je vais deviner le mot suivant en fonction de ce qui suit habituellement. »
Les 8 Défis (Le « Parcours d'obstacles »)
Le document a testé les modèles sur des choses comme :
- L'énigme du jour de la semaine : Si « SUN + 1 = MON », que vaut « TUE + 2 » ? (La plupart des modèles ont réussi, mais certains ont été confus par les abréviations).
- La chanson de l'éléphant : Un motif absurde où le nombre de fois que l'on dit « bother » change selon que le nombre d'éléphants est impair ou pair. Les humains ont vu le motif facilement ; beaucoup d'IA se sont bloquées sur la répétition.
- Le code secret : Un simple décalage de lettres (comme A qui devient B). La plupart des modèles ont déchiffré cela, mais certains se sont trompés sur la casse (majuscules/minuscules).
- La question de mathématiques piège : « Combien font 3 + 3 x 5 ? » La réponse correcte est 18. Mais le test proposait des options comme 16, 20, 30 et 45. 18 n'était même pas une option !
- Le rebondissement : Beaucoup de modèles (et certains humains) ont été confus. Ils ont vu que le calcul était juste mais que les options étaient fausses, et certains ont simplement choisi la réponse la plus « proche » au lieu de dire : « Hé, aucune de ces réponses n'est correcte. »
- Le mystère du mois : C'était le plus difficile. Il demandait de trouver un code caché pour le mois de « Mai ». Le code consistait à élever le numéro du mois au carré (5 au carré = 25) et à compter les lettres du mot « May » (4 lettres), puis à coller les deux pour obtenir 254.
- Le résultat : Les humains s'en sont bien sortis, mais les IA ont principalement échoué. Elles ont essayé d'utiliser des formules mathématiques complexes qui ne correspondaient pas, plutôt que de voir l'astuce simple du « collage de nombres ».
- Le changement de langue : Faire correspondre les abréviations des mois en portugais avec les noms en espagnol. Les humains ont eu du mal ici s'ils ne connaissaient pas l'espagnol, mais les IA (qui connaissent de nombreuses langues) ont excellé.
- Le jour bilingue : Un mélange de jours de la semaine en anglais et en portugais avec une règle cachée sur le moment de changer de langue. Les humains comme les IA ont trouvé cela difficile.
- Le code binaire : Additionner des nombres qui ressemblent à de la base 10 (comme 1000) mais qui sont en fait en base 2 (binaire). Seuls les modèles les plus intelligents ont réalisé : « Attendez, ce ne sont pas des nombres normaux ! » et ont résolu le problème.
Le Tableau des Scores : Qui a gagné ?
Le chercheur a attribué des points pour :
- 10 points : Obtenir la bonne réponse.
- 5 points : Obtenir la bonne logique, même si le chiffre final est faux.
- 0 point : Se tromper ou abandonner.
Les Résultats :
- Les Humains : Les professeurs (les experts) ont le mieux réussi globalement, surtout sur les puzzles complexes. Les étudiants ont bien réussi mais ont davantage lutté avec les énigmes abstraites.
- Les IA : En moyenne, les IA ont marqué environ 73 points sur 100, tandis que les humains ont marqué environ 70.
- Attendez, les IA ont gagné ? Oui, légèrement ! Mais voici le piège : les IA étaient excellentes sur les choses faciles (comme connaître les mois dans différentes langues) et médiocres sur les choses étranges et abstraites (comme la chanson de l'éléphant ou le code numérique caché).
- Les meilleurs modèles d'IA (comme GPT-4o et Claude) ont obtenu des scores proches de la perfection, mais les modèles plus faibles (comme Sabiá 3) ont obtenu des scores très bas.
La Grande Conclusion
Le document conclut que ces modèles d'IA sont comme des perroquets brillants. Ils peuvent imiter la conversation humaine et résoudre des problèmes standards parfaitement. Cependant, lorsqu'on leur demande de sortir des sentiers battus, de repérer un motif étrange ou de réaliser qu'une question est un piège, ils trébuchent souvent.
- Les Humains sont meilleurs en « intelligence fluide » — capable de comprendre de nouvelles règles à la volée.
- Les IA sont meilleures en « intelligence cristallisée » — utilisant la masse énorme de données qu'elles ont déjà mémorisées.
L'étude montre que même si l'IA devient effrayante de talent pour parler, elle n'a pas encore tout à fait maîtrisé l'art de penser comme un humain le fait, surtout lorsque les règles du jeu sont cachées ou inhabituelles. L'IA est toujours principalement en train de deviner en fonction de ce qu'elle a déjà vu, plutôt que de véritablement comprendre la logique derrière le puzzle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.