Dans le monde de l'intelligence artificielle, les grands modèles de langage sont devenus remarquablement fluides pour rédiger des textes. Ils peuvent répondre à des questions, résumer des histoires et tenir des conversations en prédisant le mot suivant dans une phrase en se basant sur des motifs appris à partir de vastes quantités de données. Cependant, ces modèles présentent une faiblesse fondamentale : ils ne font pas la différence entre un fait vrai et une phrase qui semble simplement plausible. Pour corriger cela, les ingénieurs ont développé une méthode appelée génération augmentée par récupération. Cette approche donne au modèle un ensemble de documents à lire avant qu'il ne réponde, le forçant à ancrer sa réponse dans des preuves réelles plutôt que de se fier uniquement à sa propre mémoire. Pourtant, un nouveau problème surgit avec cette méthode. Lorsque le système recherche des preuves, il trouve souvent un paragraphe de texte où la réponse est enfouie à l'intérieur d'une phrase. Le modèle doit alors agir comme un détective, extrayant le fait spécifique de la prose. Ce faisant, il peut facilement mal interpréter le contexte ou reconstruire la valeur de manière incorrecte, menant à des réponses qui sont fluides mais subtilement fausses.

Pour résoudre ce problème, des chercheurs de l'Université de Salerne, en Italie, ont construit un nouveau système appelé ORACOLO. Ils voulaient savoir s'ils pouvaient rendre la recherche de faits plus précise en utilisant une carte de connaissances formelle, connue sous le nom d'ontologie, au lieu de simplement chercher à travers du texte brut. Une ontologie est une base de données structurée où les faits sont stockés sous forme de connexions claires et isolées, comme le catalogue de cartes d'une bibliothèque où chaque livre est répertorié avec son auteur et son année dans un format rigide. Le défi est que ces catalogues sont difficiles à interroger pour les gens ordinaires car ils nécessitent un langage spécialisé et formel. L'équipe a combiné le meilleur des deux mondes : elle a utilisé un réseau neuronal, un type d'intelligence artificielle doué pour comprendre le langage humain, pour traduire la question d'un utilisateur en une requête formelle. Ensuite, elle a utilisé un moteur symbolique, un programme informatique strict, pour exécuter cette requête contre la carte structurée. Si la carte renvoyait une réponse claire, le système l'utilisait. Si la carte ne renvoyait rien, le système revenait à la méthode traditionnelle de recherche dans des paragraphes de texte. Cette approche hybride leur a permis de tester si la carte structurée pouvait fournir des faits plus précis que la recherche textuelle, même lorsque les deux méthodes utilisaient le même modèle de langage pour rédiger la réponse finale.

Les chercheurs ont testé ce système sur un catalogue de bibliothèque réel de l'Université de Lugano, en Suisse. Ce catalogue contenait près de cent mille faits sur des livres, incluant les titres, les auteurs, les dates de publication et les résumés de contenu. Ils ont créé un ensemble de questions basées sur ce catalogue, allant de demandes simples comme « Qui a écrit ce livre ? » à des chaînes d'informations plus complexes. Ils ont ensuite comparé leur nouveau système à une version standard qui n'utilisait que la recherche textuelle, en s'assurant que les deux systèmes utilisaient exactement le même modèle de langage pour générer la réponse finale. C'était une étape cruciale, car cela signifiait que toute différence dans les résultats provenait de la manière dont l'information était trouvée, et non de l'intelligence de l'écrivain. Les résultats ont montré une amélioration claire de la précision. Le nouveau système identifiait correctement les faits spécifiques dans la réponse beaucoup plus souvent que le système utilisant uniquement le texte. Alors que le système basé sur le texte parvenait à la bonne réponse environ vingt-neuf pour cent du temps, le nouveau système a porté ce chiffre à près de quarante-sept pour cent.

L'étude a révélé que cette amélioration provenait spécifiquement de la capacité à récupérer des faits exacts. Lorsque la question demandait une seule information, telle que le nom d'un auteur ou une année de publication, le nouveau système était nettement meilleur. Il performait également bien lorsque la question nécessitait de lier deux informations ensemble. Cependant, l'avantage disparaissait lorsque la question exigeait que le système raisonne sur les faits, comme inférer un thème à partir du contenu d'un livre. Dans ces cas, les deux systèmes performaient de manière similaire. Cela suggère que la nouvelle architecture ne rend pas l'ordinateur plus intelligent pour réfléchir ; elle le rend plutôt meilleur pour trouver les matières premières exactes dont il a besoin pour réfléchir. Le système a également prouvé que la carte structurée ne rendait pas les réponses plus « fidèles » à la preuve de la manière dont la recherche textuelle le faisait. Les deux systèmes étaient également bons pour s'en tenir aux informations qui leur étaient données. La différence était simplement que le nouveau système recevait des informations plus précises dès le départ.

Une découverte clé de la recherche fut la manière dont le système gérait ses propres erreurs. Les chercheurs ont découvert que la carte formelle ne fonctionnait pas toujours. Dans environ vingt-quatre pour cent des cas, la traduction du langage humain vers la requête formelle a échoué, ou la requête n'a renvoyé aucun résultat. Dans ces moments, le système n'a pas abandonné. Il a détecté l'échec et a immédiatement basculé sur la méthode de recherche textuelle pour trouver une réponse. Ce filet de sécurité signifiait que le système pouvait toujours fournir une réponse même lorsque la carte stricte ne pouvait pas le faire. Cependant, les chercheurs ont également constaté que le système était plus précis lorsque la carte formelle fonctionnait correctement. Lorsque le système dépendait du repli textuel, l'amélioration de la précision était beaucoup plus faible. Cela a confirmé que la carte structurée était la source de la précision, tandis que la recherche textuelle servait de sauvegarde fiable.

L'étude a également mis en lumière un problème surprenant concernant la mesure de la qualité de ces systèmes. Une métrique courante utilisée pour évaluer les réponses est la « pertinence », qui vérifie si la réponse correspond au sujet de la question. Les chercheurs ont découvert qu'un système qui commettait aucune erreur factuelle mais qui se contentait de deviner avec fluidité pouvait obtenir un score de pertinence plus élevé que leur système précis. Cela se produisait parce que le système qui devinait rédigeait des réponses longues et fluides qui semblaient parfaites, tandis que le système précis donnait parfois des réponses courtes et directes ou refusait de répondre lorsqu'il ne trouvait pas les faits. Cela suggère que les scores de pertinence peuvent être trompeurs, récompensant le style au détriment de la substance. Les chercheurs ont conclu que pour réellement évaluer ces systèmes, nous devons regarder si les faits sont corrects, et non seulement si la réponse semble bonne.

Enfin, l'équipe a examiné le coût de fonctionnement de ce nouveau système. Le processus de traduction d'une question, de vérification par rapport à la carte, puis de rédaction de la réponse a pris considérablement plus de temps que de simplement demander au modèle de langage de deviner. En moyenne, le nouveau système mettait environ 292 secondes pour répondre à une seule question, contre environ trente-cinq secondes pour le système basé sur le texte uniquement. Les chercheurs ont noté que ce délai était principalement dû au temps nécessaire aux modèles de langage pour traiter l'information, et non au temps pour vérifier la carte. Ils ont trouvé qu'une étape spécifique de leur processus, qui tentait de décomposer les questions complexes en parties plus petites, ralentissait en réalité le système sans améliorer les résultats. Supprimer cette étape a réduit le temps de manière significative sans nuire à la précision. Cela suggère que, bien que le système soit actuellement trop lent pour une utilisation interactive instantanée, il pourrait être pratique pour des situations où la précision est plus importante que la vitesse, comme la vérification de registres historiques ou la vérification de données institutionnelles. Ce travail démontre qu'en combinant la flexibilité du langage humain avec la précision des données structurées, nous pouvons construire des systèmes bien plus fiables que ceux qui ne reposent que sur le langage.