Dans la vaste bibliothèque numérique du savoir humain, les grands modèles de langage sont devenus des outils puissants pour trouver des réponses. Ces systèmes, entraînés sur d'énormes quantités de textes, peuvent générer des réponses fluides à presque toutes les questions. Cependant, ils éprouvent parfois des difficultés lorsqu'une question nécessite de rassembler des faits provenant de différents endroits, comme relier un lieu spécifique à la biographie d'une personne par une chaîne de détails intermédiaires. Pour résoudre cela, les chercheurs ont développé une méthode appelée génération augmentée par récupération (RAG - retrieval-augmented generation). Cette approche permet au modèle de faire une pause dans sa réflexion, de rechercher des documents pertinents dans une base de données et d'utiliser ces faits frais pour construire sa réponse. C'est comme donner à un étudiant un manuel à consulter pendant un examen, plutôt que de compter uniquement sur sa mémoire.

Le défi surgit lorsque la réponse nécessite plusieurs étapes. Une recherche simple peut trouver un document mentionnant un nom, mais pas le fait spécifique nécessaire pour résoudre l'énigme. Le modèle doit alors poser une question de suivi, trouver un autre document et lier les deux ensemble. Des tentatives récentes pour apprendre aux ordinateurs à effectuer cette recherche multi-étapes se sont appuyées sur une méthode d'entraînement où l'ordinateur n'est récompensé que s'il obtient la réponse finale correcte. Cela crée un problème caché : l'ordinateur peut deviner la bonne réponse par chance ou en utilisant des faits qu'il connaissait déjà, sans jamais réellement trouver les documents spécifiques qui prouvent que la réponse est vraie. Il apprend à contourner le processus prévu plutôt qu'à apprendre la matière.

Une équipe de chercheurs a introduit un nouveau cadre appelé GTA-RAG pour corriger ce problème. Au lieu d'attendre de voir si la réponse finale est correcte, ils ont conçu un système qui récompense l'ordinateur pour avoir trouvé la bonne preuve en cours de route. Ils ont construit une carte de leur base de connaissances, reliant les documents aux personnes, lieux et choses mentionnés à l'intérieur de ceux-ci. À partir de cette carte, ils ont créé des milliers de problèmes d'entraînement où le chemin vers la réponse était clairement défini. Ils ont ensuite entraîné l'ordinateur à suivre ces chemins, le récompensant chaque fois qu'il récupérait avec succès une nouvelle pièce du puzzle. Cette méthode garantit que l'ordinateur apprend à traquer les documents spécifiques dont il a besoin, plutôt que de simplement deviner le résultat final.

Les chercheurs ont testé cette approche sur une variété de questions difficiles qui nécessitaient de lier plusieurs faits. Ils ont comparé leur nouveau système à d'autres méthodes avancées qui avaient été entraînées à l'aide de l'ancien système de récompense basé uniquement sur la « réponse ». Les résultats ont montré une différence claire. En utilisant la nouvelle méthode, l'ordinateur était nettement plus performant pour trouver la chaîne complète de preuves nécessaires pour soutenir une réponse. Dans les tests impliquant des questions complexes à plusieurs étapes, le système a amélioré sa capacité à localiser les documents corrects par une marge substantielle, atteignant un taux de couverture de plus de 82 % pour les preuves nécessaires, contre environ 68 % pour les anciennes méthodes.

Crucialement, l'étude a montré que cette amélioration ne provenait pas du fait que l'ordinateur effectuait plus de tentatives de recherche ou perdait du temps sur des impasses. En fait, le nouveau système trouvait souvent l'information correcte avec moins de recherches. Il a appris à être plus précis, sachant exactement quel document chercher à chaque étape. Les chercheurs ont également vérifié que l'ordinateur ne se contentait pas de mémoriser les questions d'entraînement. Lorsqu'il était testé sur de nouvelles questions inédites, il continuait à mieux performer, démontnant qu'il avait véritablement appris la compétence de collecte de preuves. Le système fonctionnait bien même lorsque l'ordinateur était plus petit, suggérant que la méthode d'entraînement est plus importante que la taille du cerveau qui l'anime.

L'une des découvertes les plus importantes fut que le système a cessé de prendre des raccourcis. Dans les méthodes d'entraînement précédentes, un ordinateur pouvait parfois arriver à la bonne réponse même s'il avait ignoré les documents les plus importants, simplement parce qu'il avait deviné correctement. La nouvelle méthode d'entraînement rendait impossible l'obtention d'un score élevé sans récupérer la chaîne complète de preuves. Les chercheurs ont observé que l'ordinateur devenait beaucoup plus fidèle aux faits, s'assurant que chaque réponse était étayée par les documents qu'il avait réellement trouvés. Ce passage du devin à le raisonnement fondé sur des preuves est une étape significative vers une intelligence artificielle qui doit être fiable et précise.

Le succès de cette approche repose sur un type spécifique de carte qui connecte les documents aux entités qu'ils contiennent. Les chercheurs ont construit cette carte en lisant leur collection de textes et en extrayant des faits, tels que « Thomas Jefferson vivait à Monticello ». Ils ont ensuite utilisé cette carte pour générer des questions d'entraînement où la réponse dépendait du suivi d'un chemin spécifique à travers les documents. Avant d'utiliser ces questions d'entraînement pour entraîner l'ordinateur, ils ont effectué une vérification pour s'assurer que l'ordinateur pouvait réellement trouver les documents censés être trouvés. Si l'ordinateur échouait à localiser un document lors de cette vérification, la question d'entraînement était écartée. Cette étape de validation a permis de garantir que l'entraînement était basé sur des tâches réalistes et réalisables.

Les chercheurs ont testé leur système sur cinq ensembles différents de questions, allant de simples requêtes factuelles à des énigmes complexes nécessitant trois étapes ou plus de raisonnement. Sur les questions simples, le nouveau système a performé aussi bien que les meilleures méthodes existantes. Cependant, sur les questions complexes à plusieurs étapes, il a nettement surpassé les autres. Par exemple, sur un ensemble de données appelé HotpotQA, connu pour ses questions multi-sauts difficiles, le nouveau système a obtenu un score de 52,9, battant nettement la meilleure méthode basée sur l'apprentissage par renforcement (RL) précédente. Cet écart s'est creusé lorsque le système a été testé sur d'autres ensembles de données complexes, prouvant que l'amélioration était constante à travers différents types de problèmes difficiles.

L'étude a également examiné ce qui se passait lorsqu'ils retiraient des parties spécifiques de leur nouveau système. Lorsqu'ils ont cessé de récompenser l'ordinateur pour la découverte de preuves en cours de route pour ne récompenser que la réponse finale, la capacité du système à trouver la chaîne complète de documents a chuté brutalement. Cela a confirmé que le nouveau système de récompense était le moteur clé de l'amélioration. De même, lorsqu'ils ont supprimé l'étape vérifiant si les documents étaient réellement récupérables, les performances du système ont décliné, montrant que le processus de validation était essentiel pour créer des données d'entraînement de haute qualité. Ces tests ont prouvé que l'ensemble du cadre fonctionnait de concert pour créer un apprenant plus efficace.

Ce travail suggère que la manière dont nous enseignons aux ordinateurs à chercher l'information est tout aussi importante que l'information elle-même. En fournissant des orientations claires, étape par étape, sur la façon de trouver des preuves, plutôt que de simplement juger le résultat final, les chercheurs peuvent entraîner les modèles à être plus fiables et précis. Le système ne repose pas sur le fait que l'ordinateur possède une immense quantité de connaissances internes ; au contraire, il enseigne à l'ordinateur comment utiliser efficacement des outils externes. Ceci est partic partulièrement important pour les applications où la précision est critique, comme le diagnostic médical ou la recherche juridique, où une mauvaise supposition pourrait avoir des conséquences graves.

Les chercheurs reconnaissent que leur méthode dépend de la qualité de la carte qu'ils ont construite. Si la carte est incomplète ou contient des erreurs, l'ordinateur pourrait ne pas être capable d'apprendre les chemins corrects. Ils ont également noté que leurs expériences étaient concentrées sur des questions en domaine ouvert, et il reste à voir comment cette approche fonctionne dans des domaines plus spécialisés ou avec des types de données différents. Cependant, les résultats jusqu'à présent sont prometteurs, montrant qu'une approche structurée de l'entraînement peut conduire à des améliorations significatives dans la manière dont l'intelligence artificielle gère les tâches de raisonnement complexe.

En fin de compte, l'étude démontre qu'il est possible d'apprendre à un ordinateur à penser comme un chercheur. En récompensant le processus de collecte de preuves, et non seulement la conclusion finale, le système apprend à être minutieux et précis. Il cesse de deviner et commence à vérifier. Ce changement représente un mouvement vers une intelligence artificielle plus digne de confiance, qui construit ses réponses sur une base solide de faits plutôt que sur la seule probabilité. Les chercheurs ont rendu leur code disponible, permettant à d'autres de s'appuyer sur ce travail et de perfectionner davantage la manière dont les machines interagissent avec la connaissance du monde.