TRACE: Trustworthy Retrieval-Augmented Conversational Engine

Imaginez que vous essayez de trouver un trésor spécifique et caché dans un grenier géant et désordonné. Ce grenier est rempli de vieilles boîtes, certaines avec des étiquettes claires, d'autres avec des étiquettes déchirées, et d'autres encore sans aucune étiquette. Maintenant, imaginez que vous avez un assistant robotique super intelligent qui adore raconter des histoires. Si vous demandez au robot : « Où est la pièce d'or dans le grenier ? », il pourrait devenir si enthousiaste à l'idée de raconter une histoire sur les pièces d'or qu'il invente un emplacement qui n'existe pas, ou pointe une boîte qui contient en réalité de vieilles chaussettes. C'est le problème de nombreux chatbots d'IA modernes : ils sont excellents pour parler, mais ils inventent parfois des choses lorsqu'ils doivent trouver des faits réels.

Ce document vit dans le monde de la « récupération » (retrieval), ce qui est juste un mot sophistiqué pour l'acte de chercher des informations avant de répondre à une question. Il traite également des « contraintes », qui sont les règles spécifiques que vous donnez à une recherche, comme « ne regarde que dans les boîtes rouges » ou « ne regarde que dans les boîtes de 1990 ». La grande question que les chercheurs posent est la suivante : si nous réparons la partie recherche pour que le robot ne regarde que les vraies boîtes dans le grenier, le robot arrêtera-t-il de raconter des histoires ? Ils veulent savoir si un meilleur moteur de recherche est la recette secrète pour rendre l'IA digne de confiance, surtout quand les gens ont besoin d'aide pour trouver des services du monde réel comme des banques alimentaires.

Les chercheurs ont construit un nouveau système appelé TRACE (Trustworthy Retrieval-Augmented Conversational Engine) pour tester cette idée. Considérez TRACE comme un bibliothécaire très strict qui refuse de laisser le robot parler tant qu'il n'a pas physiquement vérifié les fiches de la bibliothèque. Lorsqu'un utilisateur pose une question comme : « Où puis-je obtenir de la nourriture dans le comté de Sedgwick si je n'ai pas de carte d'identité ? », TRACE ne laisse pas le robot deviner. D'abord, il décompose la question en deux parties : les règles « structurelles » (comme le comté spécifique) et les règles « sémantiques » (comme l'exigence de la carte d'identité).

Pour trouver les bonnes réponses, TRACE utilise une carte « duale ». Une partie de la carte est un Graphe de Connaissances (Knowledge Graph), qui est comme un réseau de points connectés montrant exactement où se trouvent les choses (Ville → Comté → Banque alimentaire). L'autre partie est un Plongement Vectoriel (Vector Embedding), qui est comme un nuage flou de sens qui comprend les descriptions textuelles de qui peut recevoir de l'aide. Le système utilise d'abord le réseau strict pour trouver une petite liste de candidats qui correspondent aux règles de localisation. Ensuite, il vérifie les nuages flous pour voir si ces candidats correspondent également aux autres règles. Si la liste est vide, il prend le lot suivant de candidats et réessaie. Ce n'est qu'une fois qu'il possède une liste vérifiée qu'il laisse l'IA chatbot rédiger la réponse finale.

L'équipe a testé ce système en utilisant un répertoire réel d'environ 800 banques alimentaires et un ensemble de 1 000 questions imaginaires pour voir comment il fonctionnait. Ils ont testé cela avec 15 modèles d'IA différents, allant des plus petits aux plus grands, et les ont même comparés à un modèle « propriétaire » célèbre (GPT 5.5). Ils ont également testé différentes versions de leur « carte », incluant une version sans aucun graphe (juste du texte brut) et une autre combinant la localisation et les horaires en un super-graphe.

Les résultats étaient très clairs et suggèrent que la qualité de la recherche importe plus que la taille du cerveau derrière le chatbot. Lorsqu'ils ont utilisé la meilleure version de leur carte (KG-3, qui combinait la localisation et les horaires), le système est devenu bien meilleur pour suivre les règles. Par exemple, la « satisfaction des contraintes » moyenne (la fréquence à laquelle la réponse suivait réellement les règles de l'utilisateur) est passée d'environ 64 % avec une recherche basique à près de 88 % avec la carte avancée. Plus important encore, le nombre de fois où l'IA inventait une fausse banque alimentaire (une « hallucination ») a chuté de manière spectaculaire, passant d'environ 10 % à seulement 2 %.

Peut-être la découverte la plus intéressante est que, à mesure que la recherche devenait meilleure, les différences entre l'IA la plus intelligente et la plus petite commençaient à disparaître. Quand la recherche était désordonnée, les grands modèles coûteux étaient bien meilleurs que les petits. Mais quand la recherche était stricte et précise, même les modèles minuscules performaient presque aussi bien que les géants. Cela suggère que dans les situations où vous avez besoin de trouver des informations réelles et vérifiées, avoir un excellent bibliothécaire (récupération) est plus important que d'avoir un génie qui sait parler (le LLM). Le document conclut que pour que les chatbots de service public soient dignes de confiance, nous devons nous concentrer sur la réparation de la récupération d'abord, car c'est la clé pour empêcher l'IA d'inventer des choses.