Dans le monde de l'intelligence artificielle, les grands modèles de langage agissent comme de vastes bibliothèques de connaissances humaines, capables de répondre à des questions complexes et d'écrire des histoires. Cependant, ces esprits numériques ont un angle mort important : ils oublient souvent des faits sur lesquels ils n'ont pas été entraînés, ou inventent des détails qui semblent vrais mais qui sont en réalité faux. Pour corriger cela, les chercheurs ont développé une méthode appelée génération augmentée par récupération. Imaginez un étudiant passant un examen qui est autorisé à ouvrir un manuel scolaire. Au lieu de se fier uniquement à sa mémoire, l'étudiant cherche la réponse dans le livre avant de l'écrire. Cela permet de maintenir les réponses ancrées dans la réalité. Une version plus avancée de cette approche utilise un « graphe de connaissances », qui organise l'information comme une carte, reliant les personnes, les lieux et les événements par des lignes pour montrer comment ils sont liés. Cela aide le système à trouver des indices situés à plusieurs étapes de la question originale, plutôt que de simplement chercher la correspondance la plus évidente.

Malgré ces avancées, la plupart des systèmes actuels traitent chaque nouvelle question comme si c'était la première fois que le système la voyait. Même si le système vient de résoudre un casse-tête difficile concernant une figure historique spécifique, dès que la question suivante arrive, le système abandonne le raisonnement qu'il vient d'utiliser. Il repart de zéro, ignorant le fait qu'il a déjà résolu un chemin similaire. C'est inefficace, comme un voyageur qui s'arrête dans chaque nouvelle ville pour demander son chemin vers un endroit qu'il a visité la veille, au lieu de se souvenir de l'itinéraire qu'il vient d'emprunter. Une équipe de chercheurs de l'Université de Beihang en Chine a proposé une solution à ce problème. Ils ont créé un système appelé LivingRAG, qui permet à une intelligence artificielle de tenir un carnet de ses propres raisonnements réussis. En écrivant ce qui a fonctionné et en réutilisant ces notes pour de futures questions, le système devient plus intelligent avec le temps, répondant aux questions avec plus de précision tout en utilisant moins de ressources informatiques.

L'idée centrale derrière LivingRAG est de donner au système une mémoire scriptible qu'il peut mettre à jour au fur et et à mesure de son travail. Lorsque le système répond à une question, il ne se contente pas de produire une réponse finale et de passer à autre chose. Au lieu de cela, il marque une pause pour vérifier si le chemin qu'il a emprunté pour trouver cette réponse était solide. Il vérifie que les faits qu'il a utilisés sont réellement soutenus par les documents qu'il a récupérés. Si le raisonnement est cohérent et que la question n'est pas une simple répétition de quelque chose qu'il a déjà résolu, le système sauvegarde un résumé compact de cette expérience. Ce résumé comprend une carte des informations les plus importantes et un bref aperçu de la manière dont la réponse a été construite. Ce processus transforme une interaction ponctuelle en une bibliothèque croissante de connaissances vérifiées.

Les chercheurs ont testé cette approche en soumettant au système un flux de questions, simulant la manière dont un utilisateur réel pourrait interagir avec un chatbot sur plusieurs jours. Ils ont constaté que les questions liées apparaissent souvent par grappes. Parfois, un utilisateur pose une question sur une personne spécifique, puis plus tard, pose une question sur une autre personne qui vivait dans la même ville ou la même époque. D'autres fois, les questions suivent le même schéma logique, comme comparer deux événements différents, même si les détails diffèrent. Dans leurs expériences, le système a découvert qu'il pouvait réutiliser ces schémas fréquemment. Par exemple, sur un ensemble de données impliquant des questions multi-étapes complexes, le système a été capable de réutiliser le chemin de raisonnement d'une question précédente pour la quasi-totalité des requêtes connexes ultérieures. Cela signifiait que le système n'avait pas besoin de redécouvrir les connexions entre les faits à chaque fois.

Les résultats ont montré que cette méthode d'apprentissage par l'expérience rendait le système nettement meilleur pour répondre aux questions. Comparé à d'autres systèmes performants qui ne sauvegardent pas leur raisonnement, LivingRAG a obtenu une précision plus élevée sur plusieurs tests de référence standards. Dans un test impliquant des questions sur des figures et des événements historiques, le système a amélioré son taux de bonnes réponses, passant d'environ 84 % à 87 %. Dans un autre test axé sur des questions de support client, l'amélioration était encore plus marquée, bondissant de 66 % à plus de 70 %. Ces gains ne concernaient pas seulement l'obtention de la bonne réponse ; ils s'accompagnaient également d'un avantage secondaire d'efficacité. Parce que le système pouvait réutiliser l'« échafaudage » ou la structure d'une réponse précédente, il n'avait pas besoin de générer autant de nouveau texte pour expliquer son raisonnement. Cela a réduit la quantité de données que le système devait traiter, ce qui a, en retour, abaissé le coût estimé de fonctionnement du système.

Pour s'assurer que le système n'apprenait pas de ses propres erreurs, les chercheurs ont intégré des contrôles de qualité stricts avant de sauvegarder toute expérience. Le système n'écrit une nouvelle entrée dans sa mémoire que si la réponse est étayée par les preuves trouvées dans les documents. Si le système devine la bonne réponse mais que les documents ne la soutiennent pas réellement, l'expérience est rejetée. Cela empêche le système de renforcer les erreurs ou de stocker des informations redondantes qui n'apportent aucune valeur nouvelle. L'étude a révélé que le système était sélectif, ne stockant qu'environ 27 % des expériences candidates qu'il considérait. Cette sélectivité garantissait que la mémoire reste une collection d'idées de haute qualité et vérifiées, plutôt qu'un journal encombré de chaque tentative.

Les chercheurs ont également observé comment les performances du système évoluaient au fil du temps. Au tout début d'une session, lorsque la mémoire était vide, le système se comportait de manière similaire aux modèles standards. Cependant, à mesure qu'il répondait à davantage de questions et remplissait sa mémoire d'expériences vérifiées, il commençait à utiliser ces succès passés pour guider ses recherches futures. Le système apprenait à chercher plus rapidement dans les bons endroits et à structurer ses réponses plus efficacement. Cela suggère que la valeur du système augmente à mesure qu'il est utilisé, ce qui le rend particulièrement adapté aux environnements où les utilisateurs posent un flux continu de questions liées. L'étude n'a pas prétendu que cette méthode résout tous les problèmes ou qu'elle fonctionne parfaitement dans toutes les situations, mais elle a démontré que donner à un système la capacité d'apprendre de son propre raisonnement vérifié est un moyen pratique et efficace d'améliorer ses performances.

Les implications de ce travail vont au-delà de la simple amélioration des réponses. En réduissant la quantité de texte que le système doit générer, la méthode diminue également l'énergie et la puissance de calcul nécessaires pour faire fonctionner ces modèles. C'est une considération cruciale à mesure que l'intelligence artificielle s'intègre dans la vie quotidienne. Les chercheurs ont noté que si leur système fonctionne bien sur des ensembles de questions contrôlés, l'utilisation en conditions réelles pourrait présenter des défis, tels que des faits changeant avec le temps ou des questions devenant plus éparses et moins prévisibles. Ils ont suggéré que les futures versions de tels systèmes pourraient devoir inclure des moyens de mettre à jour ou de supprimer les anciens souvenirs lorsque de nouvelles informations deviennent disponibles. Pour l'instant, cependant, l'étude fournit une preuve claire qu'une intelligence artificielle peut être rendue plus capable et plus efficace simplement en lui permettant de se souvenir de ce qu'elle a déjà appris.