NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering
NoSy-RAG est un cadre de génération augmentée par récupération neuro-symbolique modulaire qui synthétise des modules Prolog attribuables à partir de textes récupérés afin de fournir des réponses transparentes et déterministes ainsi que de détecter automatiquement le contexte utilisateur manquant, atteignant une précision supérieure aux bases de référence RAG standard sur le benchmark ShARC.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de résoudre un mystère, mais au lieu d'un détective, vous avez un assistant robotique incroyablement intelligent et bavard. Ce robot a lu presque tous les livres de la bibliothèque et peut donner la réponse à presque n'importe quelle question. C'est ce qu'on appelle un « Grand Modèle de Langage » (LLM). Cependant, il y a un piège : parfois, ce robot invente des choses, ou « hallucine », et lorsqu'il explique son raisonnement, cela ressemble à un rêve brumeux plutôt qu'à une carte claire. Vous ne pouvez pas toujours savoir pourquoi il vous a donné une réponse ou s'il a réellement lu la bonne page de la bibliothèque. C'est un problème majeur dans des domaines sérieux comme le droit ou la médecine, où vous devez savoir exactement d'où provient l'information et être certain qu'elle est vraie. Pour résoudre cela, les scientifiques tentent de combiner ces robots bavards avec le « raisonnement symbolique » — un type de logique informatique qui fonctionne comme une démonstration mathématique stricte et étape par étape. Considérez cela comme le fait de donner au robot une liste de contrôle rigide à suivre pour qu'il ne puisse pas simplement deviner. La grande question est : pouvons-nous créer un robot qui soit à la fois assez bavard pour nous comprendre et assez strict pour être digne de confiance ?
Entrez dans NeSy-RAG, un nouveau cadre proposé par Jonas Gann et Michael Gertz qui tente de résoudre ce casse-tête. Imaginez que la bibliothèque du robot est un immense entrepôt rempli de feuilles volantes (fragments de texte). Habituellement, quand vous posez une question, le robot saisit quelques feuilles, les lit et devine la réponse. NeSy-RAG fait quelque chose de différent. Lorsqu'il saisit une feuille, il ne se contente pas de la lire ; il la traduit instantanément en un minuscule « puzzle logique » autonome, écrit dans un langage appelé Prolog. C'est comme transformer un paragraphe de texte en un ensemble de règles strictes de type « Si-Alors ». Par exemple, si le texte dit : « Vous pouvez réclamer des prestations si vous avez plus de 18 ans », le système transforme cela en une règle : si âge > 18, alors éligible.
C'est ici que cela devient ingénieux. Le système construit toute une collection de ces puzzles logiques à partir des documents qu'il trouve. Mais au lieu d'essayer de résoudre toute la bibliothèque désordonnée à la fois, il utilise une astuce spéciale appelée « prédicats de 0-arité ». Considérez cela comme le fait de transformer chaque règle complexe en une simple question de type « Oui/Non », comme « La personne a-t-elle plus de 18 ans ? » ou « La personne est-elle citoyenne ? ». Le robot utilise ensuite une recherche intelligente pour trouver uniquement les questions spécifiques de type « Oui/Non » qui correspondent à votre requête. Il les assemble en une requête logique finale et l'exécute. Comme il exécute un programme logique, la réponse est déterministe — elle est soit vraie, soit fausse, sans place pour le doute. Mieux encore, le système conserve un « reçu » parfait pour chaque étape, montrant exactement quel morceau de texte a conduit à quelle règle, afin que vous puissiez remonter la trace de la réponse jusqu'à sa source.
Mais que se passe-t-il si le robot manque d'informations ? Par exemple, vous demandez : « Suis-je éligible ? » mais le robot ne connaît pas votre âge. Un robot normal pourrait simplement deviner « Oui » ou « Non » et espérer que cela fonctionne. NeSy-RAG, cependant, possède un « détecteur de lacunes de connaissances ». Il examine son puzzle logique et réalise : « Hé, il me manque une valeur pour la variable 'âge' ! ». Au lieu de deviner, il s'arrête et vous demande : « Quel âge avez-vous ? ». Il continue de poser ces questions de suivi ciblées jusqu'à ce qu'il possède toutes les pièces pour résoudre le puzzle. Cela empêche le robot d'inventer des faits.
Les chercheurs ont testé ce système sur un ensemble de données appelé ShARC, qui contient des questions juridiques sur les prestations gouvernementales du Royaume-Uni. Ils n'ont pas entraîné le système sur ces données spécifiques ; ils l'ont simplement laissé comprendre le tout à la volée. Les résultats étaient prometteurs. NeSy-RAG a obtenu la bonne réponse 61,1 % du temps. C'était nettement supérieur à un système de « chatbot classique » qui tentait de faire la même chose sans les règles logiques, lequel n'a réussi que 42,8 % du temps. Le nouveau système était également plus rapide, prenant en moyenne 7,4 secondes par question contre 11,4 secondes pour l'approche standard du chatbot.
Cependant, l'article prend soin de ne pas présenter cela comme une solution parfaite. Le système est encore un prototype. Parfois, il se montre un peu trop prudent. S'il n'est pas sûr à 100 % d'un fait manquant, il demandera plus d'informations même lorsqu'il n'est pas strictement nécessaire de le faire, ce qui l'amène à dire « j'ai besoin de plus d'infos » (ce que les chercheurs appellent « plus ») au lieu de donner un « Oui » ou un « Non » définitif. En fait, il a mal classé environ 31 % des réponses « Oui » en les classant comme « plus », ce qui suggère qu'il génère trop de drapeaux « information manquante ». Bien que cela soit un peu agaçant pour la rapidité, les auteurs notent que dans des situations à enjeux élevés comme le droit, il est plus sûr d'être prudent que d'être sereinement erroné. Le système a également un peu de mal avec les questions « non pertinentes », se trompant parfois sur le fait qu'un fragment de texte était ou non lié à la question.
En résumé, NeSy-RAG montre qu'en transformant le texte en puzzles logiques stricts et en demandant les informations manquantes, nous pouvons construire une IA plus transparente, plus précise et moins susceptible de mentir. Ce n'est pas encore une solution miracle qui résout tout parfaitement, mais c'est un grand pas vers la création d'assistants IA auxquels on peut réellement confier la vérité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.