Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models
Cet article introduit RuleWorld, un benchmark à grande échelle pour évaluer le raisonnement procédural au niveau des étapes, et propose DynaRule, un cadre de bout en bout qui améliore considérablement les performances des LLM sur des tâches de raisonnement multi-étapes complexes en injectant et en ré-attendant dynamiquement aux règles au sein du cache KV.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les modèles de langage de grande taille sont les moteurs d'une nouvelle génération d'intelligence artificielle, capables d'écrire des histoires, de résoudre des problèmes mathématiques et de traduire des langues avec une fluidité stupéfiante. Ils fonctionnent en absorbant de vastes quantités de texte, en apprenant les motifs statistiques de la manière dont les mots s'assemblent pour former du sens. Pendant des années, les chercheurs ont testé ces modèles sur leur capacité à se rappeler des faits, comme savoir que Paris est la capitale de la France. Mais il existe un autre type de connaissance qui est tout aussi vital pour la pensée du monde réel : la connaissance procédurale. Il ne s'agit pas de savoir ce qui est vrai, mais de savoir comment agir ou raisonner sur la base d'un ensemble d'instructions. Imaginez un avocat qui doit appliquer un ensemble de lois spécifique et complexe à une nouvelle affaire, ou un médecin suivant un protocole détaillé pour diagnostiquer une maladie rare. Dans ces situations, la réponse n'est pas stockée en mémoire ; elle doit être trouvée, sélectionnée et appliquée étape par étape à partir d'un vaste manuel de règles externe. La question posée au domaine est de savoir si ces modèles puissants peuvent réellement apprendre à faire cela, ou s'ils se contentent de prétendre comprendre les règles tout en s'appuyant sur leurs suppositions internes.
Pour répondre à cela, une équipe de chercheurs a créé un terrain d'essai massif appelé RuleWorld. Au lieu de donner aux modèles quelques règles pour résoudre un seul puzzle, ils ont construit une bibliothèque contenant près de cinq millions de règles abstraites. Ces règles sont délibérément étranges et sans rapport avec la vie quotidienne, telles que « si une créature entre dans une forêt, elle prend feu », afin de garantir que les modèles ne puissent pas utiliser leur propre connaissance interne. Les règles sont écrites de deux manières : sous forme d'énoncés logiques formels et sous forme de phrases en anglais courant. Les chercheurs ont ensuite conçu trois types de défis pour tester les modèles. Le premier était simple : trouver une règle pour répondre à une question. Le second était plus complexe : répondre à plusieurs questions à la fois, chacune nécessitant des règles différentes. Le troisième était le plus difficile : résoudre une chaîne de problèmes où la réponse de la première étape devient le point de départ de la suivante, nécessitant au modèle de suivre sa progression à travers une longue séquence d'étapes logiques.
Lorsqu'ils ont testé les modèles existants sur ce nouveau benchmark, les résultats ont été tranchants. Même les modèles les plus avancés ont éprouvé des difficultés lorsque le nombre de règles disponibles augmentait. Lorsqu'ils étaient contraints de choisir parmi un pool de milliers de règles, ils saisissaient souvent les mauvaises ou se perdaient au milieu d'une chaîne multi-étapes. Les méthodes standards qui tentent d'aider les modèles en cherchant le texte pertinent avant de répondre se sont révélées fragiles ; elles trouvaient la bonne règle pour la première étape mais échouaient à mettre à jour leur recherche pour la seconde, entraînant une cascade d'erreurs. Les modèles essayaient essentiellement de garder l'intégralité du manuel de règles dans leur tête à la fois, une tâche qui dépassait leur capacité à se concentrer sur ce qui importait à chaque moment spécifique.
Pour résoudre cela, les chercheurs ont développé un nouveau système appelé DynaRule. Au lieu de traiter les règles comme une liste statique à lire une seule fois, DynaRule apprend au modèle à traiter les règles comme une ressource dynamique qu'il peut explorer et mettre à jour au fur et à mesure qu'il réfléchit. Le système fonctionne en intégrant les règles directement dans la structure de la mémoire interne du modèle, un processus qui permet au modèle d'y accéder sans ralentir. Crucialement, le modèle est entraîné pour reconnaître quand il doit changer de rythme. Il apprend à émettre un signal interne spécial, une commande de « recherche » mentale, chaque fois qu'il termine une étape de raisonnement et qu'il doit trouver la règle suivante. Lorsque ce signal est déclenché, le modèle réévalue instantanément l'ensemble de la bibliothèque de règles, écartant celles qu'il a utilisées précédemment et concentrant son attention sur le nouvel ensemble de règles requis pour l'étape actuelle. Cela transforme l'acte de trouver une règle d'une recherche ponctuelle en un processus continu et apprenable qui évolue avec la chaîne de raisonnement.
Les résultats de cette approche ont été significatifs. Sur le benchmark RuleWorld, DynaRule a systématiquement surpassé toutes les autres méthodes, y compris celles utilisant de puissants outils de recherche externes. Face à un pool de dix mille règles, le nouveau système a maintenu un haut niveau de précision, identifiant correctement la bonne règle plus de quatre-vingt-cinq pour cent du temps dès la première tentative, tandis que les autres méthodes voyaient leurs performances s'effondrer. Dans les tâches nécessitant plusieurs étapes, DynaRule a amélioré la précision moyenne de près de vingt points par rapport aux meilleures alternatives existantes. Le système a prouvé qu'en apprenant à un modèle à gérer activement sa propre attention sur un grand ensemble d'instructions, celui-ci pouvait naviguer de manière fiable dans des paysages logiques complexes. Les chercheurs ont constaté que le modèle ne se contentait pas de mémoriser les règles ; il apprenait une méthode générale pour les localiser et les appliquer, même lorsqu'il était testé sur des règles qu'il n'avait jamais vues auparavant. Cela suggère que l'écart entre la vaste connaissance interne d'un modèle et sa capacité à suivre des instructions externes peut être comblé, à condition que le modèle dispose d'un moyen de mettre à jour dynamiquement sa focalisation au fur et à mesure que la tâche se déroule.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.