Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities
Cet article étudie comment différentes notations de représentation des connaissances formelles et une nouvelle méthode de catégorisation syllogistique (SEF) améliorent les capacités de raisonnement syllogistique des petits modèles de langage, offrant une alternative compétitive et plus rapide aux entrées en langage naturel grâce au cadre open-source Common Logic Grammar Construction (CLGC).
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot comment penser. Vous pourriez supposer que si vous donnez simplement au robot assez de livres à lire, il finira par comprendre comment résoudre une énigme logique, comme une devinette ou un problème de mathématiques. Mais voici le piège : les robots (ou « Modèles de Langage », comme les appellent les scientifiques) sont comme des perroquets super rapides. Ils sont incroyables pour imiter la parole et l'écriture humaines, mais quand vous leur demandez de suivre des règles logiques strictes, ils s'embrouillent souvent. Ils peuvent deviner la réponse en se basant sur la façon dont la phrase sonne plutôt que sur ce qu'elle signifie réellement. C'est un gros problème car nous voulons que ces outils d'IA soient des assistants fiables, et non de simples compagnons bavards qui inventent des faits. Pour corriger cela, les chercheurs essaient d'apprendre à ces robots à « parler » différentes langues. Certaines langues sont comme nos mots de tous les jours (le Langage Naturel), tandis que d'autres ressemblent à des formules mathématiques strictes ou à du code (les Notations Formelles). La grande question est : est-ce que parler un code logique strict aide le robot à mieux réfléchir que de parler l'anglais normal ?
Cet article, intitulé « Are you Talking Logic to Me? » (Me parlez-vous de logique ?), plonge directement dans cette question. Les auteurs, une équipe de chercheurs de France, ont décidé de tester si changer la « langue » utilisée par le robot pour résoudre des énigmes logiques pouvait le rendre plus intelligent. Ils se sont concentrés sur un type spécifique d'énigme appelé « syllogisme ». Voyez le syllogisme comme une chaîne logique en trois parties : « Tous les chats sont poilus. Fluffy est un chat. Donc Flfluffy est poilu. » Si le robot ne peut pas réussir cela, il ne peut pas être fiable pour des tâches plus complexes. Les chercheurs ont pris des ensembles de données existants de ces énigmes et les ont traduits en plusieurs langues « formelles », allant de la logique informatique standard (comme la FOL) à des codes plus abstraits et riches en symboles (comme le TFLPLUS), et même quelques versions simplifiées qu'ils ont inventées appelées « MINIFOL ». Ils ont ensuite testé ces énigmes sur des « Petits Modèles de Langage » (SLM) — qui sont les versions légères et économes en énergie des modèles d'IA géants dont on entend parler aux informations.
L'équipe n'a pas seulement jeté les énigmes aux robots ; elle a essayé deux méthodes d'enseignement différentes. Premièrement, ils ont utilisé le « Fine-Tuning Supervisé » (SFT), ce qui revient à donner au robot un cours intensif où ils lui montrent les énigmes et les bonnes réponses encore et encore jusqu'à ce qu'il apprenne le modèle. Deuxièmement, ils ont utilisé des tests en « Zero-Shot » (ZS), où ils tendent simplement une nouvelle énigme au robot avec un ensemble d'instructions, lui demandant de comprendre sur le moment sans pratique préalable. Ils ont également essayé d'ajouter des « fiches de référence » aux instructions, donnant au robot une définition du type d'énigme (comme « Ceci est un syllogisme disjonctif ») pour voir si ce contexte supplémentaire l'aidait.
Qu'ont-ils trouvé ? Il s'avère que la « langue » parlée par le robot compte énormément, mais cela dépend de la quantité d'études qu'il a faites. Lorsque les robots recevaient un cours intensif (SFT), les résultats étaient surprenants. Sur de plus petits ensembles de données, les langues les plus abstraites et riches en symboles (comme le TFLPLUS) fonctionnaient en fait mieux que l'anglais normal, même si les robots avaient vu beaucoup plus d'anglais lors de leur entraînement initial. Les chercheurs suggèrent que cela pourrait être dû au fait que les symboles de ces langues abstraites sont plus simples et moins déroutants à traiter pour le robot. Cependant, lorsque l'ensemble de données devenait plus important, les robots commençaient à préférer un mélange d'anglais et d'un code compact (CLIF). Cette combinaison semblait rendre les robots plus prudents et moins susceptibles de deviner par erreur, surtout quand la réponse était « Inconnu ».
Dans les tests « Zero-Shot », où les robots devaient se fier à ce qu'ils savaient déjà, les résultats étaient un peu plus mitigés. La meilleure langue dépendait entièrement du modèle de robot spécifique qui était testé. Certains modèles, qui avaient été entraînés sur beaucoup de données mathématiques et logiques, réussissaient mieux avec les codes abstraits. D'autres, entraînés principalement sur du texte, réussissaient mieux avec des formats de type anglais. Curieusement, ajouter ces définitions de « fiches de référence » aux instructions a aidé certains modèles mais en a desservi d'autres, suggérant qu'il n'existe pas de « remède miracle » linguistique pour tous les robots.
L'une des découvertes les plus intéressantes concernait la vitesse. Les robots résolvaient les énigmes beaucoup plus rapidement en utilisant les langues compactes et basées sur des symboles par rapport à l'anglais normal. C'est comme la différence entre lire une longue histoire sinueuse pour trouver un fait spécifique et chercher un nombre dans un tableau court et net. Les langues abstraites étaient non seulement plus rapides à traiter, mais elles menaient aussi parfois à un raisonnement plus précis. Les auteurs concluent que, bien que nous ne puissions pas simplement choisir une langue parfaite pour toutes les IA, utiliser un mélange de langage naturel et de codes formels pourrait être la clé pour construire des systèmes de raisonnement plus intelligents et plus fiables. Ils ont même publié un outil gratuit appelé « CLGC » qui permet à n'importe qui de traduire automatiquement ces énigmes logiques en différents formats, dans l'espoir d'aider d'autres chercheurs à explorer davantage ce « langage de la logique ». En fin de compte, l'article suggère qu'enseigner à l'IA comment penser ne consiste pas seulement à lui donner plus de données ; c'est lui apprendre à parler la bonne langue pour la tâche à accomplir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.