GPTKB v1.5: A Massive Knowledge Base for Exploring Factual LLM Knowledge
Ce document présente GPTKB v1.5, une base de connaissances de 100 millions de triplets, rentable, construite à partir de GPT-4.1 via une matérialisation récursive massive, qui permet l'exploration systématique, l'interrogation structurée et l'analyse comparative des connaissances factuelles des LLM.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un robot super intelligent qui a lu presque tout sur Internet. Vous savez qu'il connaît beaucoup de faits, mais si vous lui demandez : « Que sais-tu de la tour Eiffel ? », il pourrait vous donner quelques informations. Si vous demandez : « Et le Louvre ? », il en dira plus. Mais vous n'avez aucune idée de ce qu'il ne sait pas, ni de la profondeur réelle de ses connaissances, car vous ne pouvez lui poser qu'une question à la fois. C'est comme essayer de cartographier un continent en ne regardant que les endroits par lesquels vous passez par hasard.
GPTKB v1.5 est un projet qui change la donne. Au lieu de poser des questions au robot une par une, les chercheurs ont construit une carte massive et interconnectée de tout ce que le robot (plus précisément GPT-4.1) sait. Imaginez transformer un tas éparpillé de cartes de culture générale en une immense bibliothèque consultable où chaque fait est lié à tous les autres.
Voici comment ils ont procédé et ce qu'ils ont découvert, expliqué simplement :
1. La méthode de la « boule de neige » (Comment ils l'ont construit)
Les chercheurs n'ont pas simplement demandé des faits aléatoires au robot. Ils ont utilisé une technique astucieuse de « boule de neige » :
- La graine : Ils sont partis d'un élément spécifique, comme « Vannevar Bush » (un célèbre ingénieur).
- L'expansion : Ils ont demandé au robot : « Dis-moi tout ce que tu sais sur Vannevar Bush. » Le robot leur a donné une liste de faits, comme « Il a travaillé chez X » ou « Il a inventé Y ».
- La réaction en chaîne : Le robot mentionnait de nouveaux noms dans ses réponses (comme « X » et « Y »). Les chercheurs demandaient alors immédiatement au robot de parler de ces nouveaux noms.
- Le résultat : Ils ont répété ce processus de manière récursive, comme une réaction en chaîne, sur 10 niveaux de profondeur. Cela a créé un immense réseau de 100 millions de faits (appelés « triplets ») reliant 6,1 millions d'éléments différents.
Cela a coûté environ 14 000 $ en temps de calcul pour construire toute cette bibliothèque, ce qui a pris environ 18 jours pour s'achever.
2. Nettoyer le désordre (La « consolidation »)
Lorsque vous posez la même question à un robot de différentes manières, il donne parfois des réponses légèrement différentes ou utilise des mots différents pour la même chose (par exemple, appeler une personne un « humain » dans une phrase et une « personne » dans une autre).
Pour corriger cela, les chercheurs ont lancé un processus de « nettoyage ». Ils ont regroupé les mots similaires et fusionné les doublons de faits. Cela a transformé un tas de données désordonné et redondant en une base de données propre et organisée avec des catégories claires.
3. Que pouvez-vous faire avec cette carte ?
L'article présente un site web où chacun peut explorer cette immense base de connaissances de trois manières principales :
- L'explorateur de style « Wikipédia » : Vous pouvez cliquer sur n'importe quel élément (comme la statue du Merlion à Singapour) et voir la liste des faits que le robot connaît à son sujet. Vous pouvez ensuite cliquer sur les personnes ou les lieux mentionnés dans ces faits pour passer à leurs pages respectives, explorant ainsi l'esprit du robot comme si vous déambuliez dans un musée.
- L'outil de requête « Détective » : Vous pouvez poser des questions complexes en utilisant un langage spécial appelé SPARQL. Par exemple, vous pourriez demander : « Montre-moi les 100 types de choses les plus courants dont ce robot a connaissance. » La carte du robot a révélé qu'il en sait le plus sur les personnes, suivies des films, des entreprises et des livres.
- Une découverte amusante : Les chercheurs ont vérifié si les connaissances du robot sont équitables. Ils ont demandé : « Si le robot sait que "A est marié à B", sait-il aussi que "B est marié à A" ? » Ils ont découvert que 84 % du temps, il ne le sait pas. La connaissance du robot est souvent unilatérale, se souvenant d'un côté d'une relation mais oubliant l'autre.
- Le « test de goût » (Comparaison) : Vous pouvez mettre différents modèles d'IA côte à côte. Les chercheurs ont comparé GPT-4.1 à d'autres modèles (comme Llama et DeepSeek).
- Exemple : En interrogeant le modèle sur le célèbre chercheur en IA Ilya Sutskever, le modèle GPT a recraché 40 faits, tandis que le modèle Llama n'en a donné que 14.
- Le bémol : Les deux modèles se sont trompés sur sa date de naissance ! Cela montre que même si un modèle en sait plus, ils peuvent tous deux commettre les mêmes erreurs stupides.
4. Quelle est la précision ?
Les chercheurs ne se sont pas contentés de faire confiance au robot ; ils ont vérifié son travail.
- Ils ont choisi au hasard 1 000 faits et les ont vérifiés par rapport au monde réel (en utilisant des recherches sur le Web).
- Le score : Environ 75,5 % des faits étaient vrais.
- Le problème : Environ 19,5 % étaient faux, et certains étaient trop confus pour être vérifiés.
- Le biais : Comme ils sont partis de noms « graines » spécifiques, la carte est fortement pondérée vers les choses sur lesquelles les chercheurs ont pensé poser des questions. C'est une carte massive, mais ce n'est pas une carte complète de l'univers entier de la connaissance.
L'essentiel
GPTKB v1.5 est une expérience massive de 14 000 $ qui a transformé une IA « boîte noire » en une bibliothèque transparente et consultable. Elle prouve que nous pouvons cartographier systématiquement ce qu'une IA sait, révélant que bien que ces modèles soient incroyablement savants (détenant 100 millions de faits), ils sont aussi sujets à une pensée unilatérale et à des erreurs spécifiques. C'est un outil permettant aux chercheurs de ne plus deviner ce que l'IA sait, mais de commencer à le voir réellement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.