GPTKB 2.0: Browsing, Querying, and Auditing a Disambiguated LLM-Derived Knowledge Base

Imaginez l'internet comme une immense bibliothèque chaotique où chaque livre est écrit par un auteur différent, et parfois, deux livres ont exactement le même titre mais racontent des histoires complètement différentes. Dans le monde de l'intelligence artificielle, les « Grands Modèles de Langage » (LLM) sont comme des bibliothécaires super intelligents qui ont lu presque tous les livres de cette bibliothèque. Ils peuvent répondre à des questions, écrire des histoires et résoudre des problèmes parce qu'ils ont mémorisé les motifs de tout ce texte. Cependant, il y a un piège : ces bibliothécaires IA ne savent pas toujours de quel « Munich » vous parlez — la célèbre ville allemande ou le film de 2005. Ils peuvent aussi traiter « New York » et « The Big Apple » comme deux endroits totalement différents, alors qu'ils sont les mêmes. Cette confusion est appelée le problème de la « désambiguïsation ». Pendant des années, des scientifiques ont essayé de transformer la mémoire interne désordonnée de l'IA en une carte de faits propre et organisée, mais cela a été comme essayer de trier un tas de pièces de puzzle mélangées sans l'image sur la boîte.

Maintenant, une équipe de chercheurs a construit un nouvel outil appelé GPTKB 2.0 pour résoudre ce problème de tri. Voyez cela comme une encyclopédie magique et auto-correctrice que l'IA a construite pour elle-même, mais avec une nuance : elle ne se contente pas de lister des faits ; elle tient un journal détaillé de comment elle a décidé de ce qui est vrai et de ce qui est une erreur. Au lieu de simplement dire « Munich est une ville », ce nouveau système demande : « Quel Munich ? Celui en Europe ou celui d'un film ? » et crée ensuite une entrée distincte et claire pour chacun d'eux. Il réalise également que « The Big Apple » et « New York City » sont la même chose et les fusionne en une seule entrée parfaite. Le résultat est une base de données massive et organisée contenant plus de 38 millions de faits sur 1,6 million de choses uniques. Mais la véritable magie n'est pas seulement la taille ; c'est la transparence. Les chercheurs ont créé un site web où n'importe qui peut regarder à l'intérieur du cerveau de l'IA, voir les questions exactes qu'elle s'est posées, observer comment elle a décidé de fusionner ou de séparer des faits, et même lui poser des questions en langage courant. Cela transforme la connaissance cachée de l'IA en une carte au trésor publique et inspectable que vous pouvez explorer, interroger et qui inspire confiance car vous voyez exactement comment chaque fait a été découvert.

La Grande Idée : Une Encyclopédie IA Auto-Correctrice

Le cœur de cet article est la création de GPTKB 2.0, une base de connaissances massive (une collection structurée de faits) entièrement construite à partir du « cerveau » d'un Grand Modèle de Langage. Contrairement aux tentatives plus anciennes qui extrayaient simplement les mots tels qu'ils apparaissaient (ce qui menait à la confusion entre les homonymes comme « Munich la ville » et « Munich le film »), ce nouveau système effectue une désambiguïsation à la volée. Il agit comme un détective qui, chaque fois qu'il trouve un nouveau fait, demande : « Qui est-ce vraiment ? » et vérifie le contexte avant de l'inscrire.

L'article présente une démo web qui rend ce processus entièrement visible. Vous pouvez parcourir la base de données, suivre les liens entre les faits et, surtout, auditer la « provenance » de chaque fait. Cela signifie que vous pouvez voir les termes de surface que l'IA a vus, les correspondances candidates qu'elle a envisagées et la décision spécifique qu'elle a prise pour soit fusionner deux noms (synonymie), soit les garder séparés (homonymie).

Comment ça marche : Le Détective Récursif

La construction de GPTKB 2.0 est un pipeline récursif guidé par le contexte. Imaginez l'IA commençant avec une entité de départ unique, comme « Budapest ». Elle demande au LLM des faits sur Budapest. Lorsque le LLM répond avec un nouvel objet, par exemple « Munich », le système n'écrit pas simplement « Munich ». Il examine la phrase : « Budapest a une ville sœur, Munich. » Il sait qu'il s'agit de la ville, et non du film.

Le processus comprend quatre étapes principales :

1. Élicitation : L'IA demande au LLM des faits basés sur une entité spécifique et sa description.
2. Reconnaissance d'Entités Nommées (NER) : Elle détermine si un nouveau mot est un nombre littéral ou une entité du monde réel.
3. Désambiguïsation : C'est la star du spectacle. Le système compare la nouvelle mention par rapport aux entrées existantes dans la base de données. Si le contexte correspond à un « Budapest » existant, il crée un lien. S'il s'agit d'un nouveau « Munich » (le film), il crée un nouvel identifiant.
4. Consolidation : Il fusionne les noms synonymes (comme « The Big Apple » et « New York City ») en une seule entrée canonique.

L'article argumente explicitement contre l'ancienne méthode consistant à utiliser les « chaînes de surface » (simplement le nom) comme identifiants. Ils montrent que sans contexte, les chaînes de surface échouent de deux manières : elles confluent les homonymes (traitant des choses différentes comme étant la même) et elles fragmentent les synonymes (traitant la même chose comme étant différente). GPTKB 2.0 rejette cela en utilisant l'« élicitation triple » (la phrase dont provient le fait) et la description des entités existantes comme contexte pour prendre la bonne décision.

Les Chiffres : Une Carte Massive et Propre

L'échelle de ce projet est stupéante. L'article rapporte que GPTKB 2.0 contient :

• 38,4 millions de triplets (faits sous la forme Sujet-Prédicat-Objet).
• 1,6 million d'entités canonisées (choses uniques et désambiguïsées).
• 207 633 relations consolidées (types de connexions).
• 66 523 classes consolidées (catégories de choses).

Il est intéressant de noter qu'environ 36,8 % de ces entités sont nouvelles par rapport aux bases de données existantes comme Wikidata, ce qui signifie que le LLM a découvert des faits qui n'étaient pas auparavant présents dans les bases de données structurées.

L'Interface Web : La Transparence est la Fonctionnalité Clé

La partie la plus unique de cet article est l'interface web à l'adresse https://gptkb.org/. Ce n'est pas seulement un moteur de recherche ; c'est une « boîte de verre » dans le raisonnement de l'IA.

• Décisions Traçables : Si vous cliquez sur une entité comme « Hyde Park », vous pouvez voir exactement comment le système a décidé qu'il s'agissait de celui de Londres et non d'un autre. Vous pouvez voir la liste des candidats que l'IA a envisagés et pourquoi elle les a rejetés.
• Fusion de Synonymes : Si vous cliquez sur « The Big Apple », l'interface vous montre qu'il a été fusionné avec « New York City ». Vous pouvez même cliquer pour voir le prompt spécifique que l'IA a utilisé pour prendre cette décision.
• Liaison d'Entités : Vous pouvez taper votre propre texte, et le système liera les noms de votre texte aux entrées correctes dans GPTKB 2.0. Par exemple, si vous écrivez sur « Mercure », le système liera correctement la planète à la planète et le dieu romain au dieu, en fonction du contexte de votre phrase.
• Requêtes : Vous pouvez poser des questions en langage courant (comme « De quoi Budapest est-elle connue ? »), et le système traduira cela en une requête de base de données structurée (SPARQL) pour obtenir la réponse. Il affiche la requête exacte qu'il a exécutée et les étapes qu'il a suivies.

À quel point sommes-nous sûrs ? (Évaluation)

Les auteurs ne se sont pas contentés de construire l'outil ; ils l'ont testé rigoureusement. Ils ont vérifié manuellement des échantillons de données pour voir si l'IA commettait des erreurs.

• Précision de Fusion : Lorsque le système décidait que deux noms étaient la même chose (synonymes), il avait raison 98 % du temps pour les objets ayant le même label et 91 % pour les alias ayant des labels différents. Le principal mode d'erreur était les fausses fusions (penser que deux choses différentes sont la même), ce qui arrivait environ 9 % du temps dans certains cas d'alias spécifiques.
• Précision de Séparation : Lorsque le système décidait que deux choses étaient différentes (homonymes), il était 100 % correct sur l'échantillon de paires à même label qu'il a gardées séparées.
• Véracité : Lors de la vérification de la véracité des faits, 94,5 % des triplets vérifiés par l'humain étaient « vrais », et seulement 2,0 % étaient « faux ». Lorsqu'un juge IA a vérifié 1 000 éléments, 92,8 % étaient vrais.

L'article note que le contexte (la description de l'entité) est crucial. Dans une expérience où le juge IA n'avait pas vu la description de l'entité, la précision des faits a considérablement chuté (passant de 94,5 % de vrais à 80 % de vrais), prouvant que le contexte est ce qui fait fonctionner la désambiguïsation.

Ce qu'il n'est pas

Il est important de noter ce que cet article ne prétend pas. Il ne dit pas que GPTKB 2.0 est parfait ou qu'il a résolu entièrement le problème des hallucinations de l'IA. Les auteurs reconnaissent que les fausses fusions de synonymes (fusionner deux choses différentes parce qu'elles se ressemblent) sont l'erreur la plus importante restante. Ils précisent également qu'il s'agit d'une base de connaissances de « domaine général », ce qui signifie qu'elle couvre un large éventail de sujets mais n'est pas une base de données médicale ou juridique spécialisée. Les résultats sont basés sur un échantillonnage manuel et automatique, et non sur une vérification de chacun des 38 millions de faits, ce qui serait impossible.

À retenir

GPTKB 2.0 est une étape importante vers l'avant car il transforme la « boîte noire » de la connaissance d'un LLM en une « boîte de verre ». En construisant une base de données qui désambigüe les entités au fur et à mesure et qui enregistre chaque décision, les chercheurs ont créé une ressource qui est non seulement vaste et utile, mais aussi auditable. Vous pouvez faire confiance aux faits car vous pouvez voir la preuve derrière eux. Cela suggère que nous pouvons construire une connaissance structurée et fiable à partir de la connaissance chaotique et non structurée des modèles d'IA, à condition d'être prêts à faire le travail difficile de vérifier le contexte et de tenir un journal détaillé de nos décisions.