GPTKB 2.0: Browsing, Querying, and Auditing a Disambiguated LLM-Derived Knowledge Base

Stellen Sie sich das Internet als eine riesige, chaotische Bibliothek vor, in der jedes Buch von einem anderen Autor geschrieben wurde und manchmal zwei Bücher exakt denselben Titel tragen, aber völlig unterschiedliche Geschichten erzählen. In der Welt der Künstlichen Intelligenz sind „Large Language Models“ (LLMs) wie superintelligente Bibliothekare, die fast jedes Buch in dieser Bibliothek gelesen haben. Sie können Fragen beantworten, Geschichten schreiben und Probleme lösen, weil sie die Muster all dieser Texte auswendig gelernt haben. Es gibt jedoch einen Haken: Diese KI-Bibliothekare wissen nicht immer, von welchem „München“ Sie sprechen – der berühmten deutschen Stadt oder dem Film von 2005. Sie behandeln „New York“ und „The Big Apple“ auch möglicherweise als zwei völlig verschiedene Orte, obwohl sie derselbe sind. Diese Verwirrung wird als das „Disambiguierungsproblem“ bezeichnet. Jahrelang haben Wissenschaftler versucht, das unordentliche, interne Gedächtnis der KI in eine saubere, organisierte Landkarte aus Fakten zu verwandeln, aber es war, als versuche man, einen Haufen durcheinandergewürfelter Puzzleteile zu sortieren, ohne ein Bild auf dem Karton zu haben.

Nun hat ein Team von Forschern ein neues Werkzeug namens GPTKB 2.0 entwickelt, um dieses Sortierproblem zu lösen. Betrachten Sie es als eine magische, selbstkorrigierende Enzyklopädie, die die KI für sich selbst gebaut hat, aber mit einem Clou: Sie listet nicht nur Fakten auf, sondern führt auch ein detailliertes Tagebuch darüber, wie sie entschieden hat, was wahr ist und was ein Fehler ist. Anstatt nur zu sagen „München ist eine Stadt“, fragt dieses neue System: „Welches München? Das in Europa oder das im Film?“ und erstellt dann für jedes einzelne einen separaten, klaren Eintrag. Es erkennt auch, dass „The Big Apple“ und „New York City“ dasselbe sind, und führt sie zu einem perfekten Eintrag zusammen. Das Ergebnis ist eine massive, organisierte Datenbank, die über 38 Millionen Fakten über 1,6 Millionen einzigartige Dinge enthält. Aber die wahre Magie liegt nicht nur in der Größe; es ist die Transparenz. Die Forscher haben eine Website erstellt, auf der jeder in das Gehirn der KI schauen kann, sieht, welche Fragen sie sich selbst gestellt hat, beobachtet, wie sie entschied, Fakten zusammenzuführen oder zu trennen, und sogar Fragen in einfachem Englisch an sie stellen kann. Es verwandelt das verborgene Wissen der KI in eine öffentliche, überprüfbare Schatzkarte, die Sie erkunden, abfragen und vertrauen können, weil Sie genau sehen können, wie jeder einzelne Fakt entdeckt wurde.

Die große Idee: Eine selbstkorrigierende KI-Enzyklopädie

Der Kern dieses Papers ist die Erstellung von GPTKB 2.0, einer massiven Wissensbasis (einer strukturierten Sammlung von Fakten), die vollständig aus dem „Gehirn“ eines Large Language Models aufgebaut wurde. Im Gegensatz zu älteren Versuchen, die einfach Wörter so erfassten, wie sie auftauchten (was zu Verwechslungen bei Homonymen wie „München die Stadt“ und „München der Film“ führte), führt dieses neue System die Disambiguierung (Eindeutigkeitsklärung) direkt im Prozess durch. Es agiert wie ein Detektiv, der jedes Mal, wenn er einen neuen Fakt findet, fragt: „Wer ist das wirklich?“ und den Kontext prüft, bevor er ihn aufschreibt.

Das Paper präsentiert eine Web-Demo, die diesen Prozess voll sichtbar macht. Sie können die Datenbank durchsuchen, Links zwischen Fakten folgen und – was am wichtigsten ist – die „Provenienz“ (Herkunft) jedes einzelnen Fakts prüfen. Das bedeutet, Sie können die Oberflächenwörter sehen, die die KI gesehen hat, die Kandidaten-Matches, die sie in Betracht gezogen hat, und die spezifische Entscheidung, die sie getroffen hat, um entweder zwei Namen zusammenzuführen (Synonymie) oder sie getrennt zu halten (Homonymie).

Wie es funktioniert: Der rekursive Detektiv

Der Aufbau von GPTKB 2.0 ist eine rekursive, kontextgesteuerte Pipeline. Stellen Sie sich vor, die KI beginnt mit einem einzelnen Seed-Entität, wie etwa „Budapest“. Die KI fragt das LLM nach Fakten über Budapest. Wenn das LLM mit einem neuen Objekt antwortet, zum Beispiel „München“, schreibt das System nicht einfach nur „München“. Es betrachtet den Satz: „Budapest hat eine Partnerstadt, München.“ Es weiß, dass dies die Stadt ist, nicht der Film.

Der Prozess umfasst vier Hauptschritte:

1. Elicitation (Herauslocken): Die KI fragt das LLM nach Fakten basierend auf einer spezifischen Entität und deren Beschreibung.
2. Named Entity Recognition (NER - Eigennamenerkennung): Es findet heraus, ob ein neues Wort eine buchstäbliche Zahl oder eine reale Entität ist.
3. Disambiguation (Eindeutigkeitsklärung): Dies ist das Herzstück des Ganzen. Das System vergleicht die neue Erwähnung mit bestehenden Einträgen in der Datenbank. Wenn der Kontext zu einem existierenden „Budapest“ passt, verlinkt es darauf. Wenn es ein neues „München“ (der Film) ist, erstellt es eine neue ID.
4. Consolidation (Konsolidierung): Es führt synonyme Namen (wie „The Big Apple“ und „New York City“) zu einem einzigen kanonischen Eintrag zusammen.

Das Paper argumentiert explizit gegen die alte Methode, „Surface Strings“ (einfach nur den Namen) als Identifikatoren zu verwenden. Sie zeigen, dass die Verwendung von Surface Strings ohne Kontext in zwei Punkten scheitert: Sie konfundieren Homonyme (behandeln verschiedene Dinge als dasselbe) und fragmentieren Synonyme (behandeln dasselbe Ding als verschiedene Dinge). GPTKB 2.0 lehnt dies ab, indem es das „eliciting triple“ (den Satz, aus dem der Fakt stammt) und die Beschreibung bestehender Entitäten als Kontext nutzt, um die richtige Entscheidung zu treffen.

Die Zahlen: Eine massive, saubere Landkarte

Die Größenordnung dieses Projekts ist atemberaubend. Das Paper berichtet, dass GPTKB 2.0 Folgendes enthält:

• 38,4 Millionen Triples (Fakten in der Form von Subjekt-Prädikat-Objekt).
• 1,6 Millionen kanonisierte Entitäten (einzigartige, disambiguierte Dinge).
• 207.633 konsolidierte Relationen (Arten von Verbindungen).
• 66.523 konsolidierte Klassen (Kategorien von Dingen).

Interessanterweise sind etwa 36,8 % dieser Entitäten neu im Vergleich zu bestehenden Datenbanken wie Wikidata, was bedeutet, dass die LLM Fakten entdeckt hat, die zuvor nicht in strukturierten Datenbanken enthalten waren.

Die Web-Oberfläche: Transparenz ist das Hauptmerkmal

Der einzigartigste Teil dieses Papers ist die Web-Oberfläche unter https://gptkb.org/. Es ist nicht nur eine Suchmaschine; es ist ein „Glass Box“-Modell in das Denken der KI.

• Nachvollziehbare Entscheidungen: Wenn Sie auf eine Entität wie „Hyde Park“ klicken, können Sie genau sehen, wie das System entschied, dass es der in London ist und nicht ein anderer. Sie können die Liste der Kandidaten sehen, die die KI in Betracht gezogen hat, und warum sie diese abgelehnt hat.
• Synonym-Zusammenführung: Wenn Sie auf „The Big Apple“ klicken, zeigt Ihnen die Oberfläche, dass es zu „New York City“ zusammengeführt wurde. Sie können sogar darauf klicken, um den spezifischen Prompt zu sehen, den die KI nutzte, um diese Entscheidung zu treffen.
• Entity Linking (Entitätsverknüpfung): Sie können Ihren eigenen Text eingeben, und das System verknüpft die Namen in Ihrem Text mit den korrekten Einträgen in GPTKB 2.0. Wenn Sie beispielsweise über „Mercury“ schreiben, wird das System den Planeten korrekt mit dem Planeten und den Gott korrekt mit dem Gott verknüpfen, basierend auf dem Kontext Ihres Satzes.
• Abfragen: Sie können Fragen in einfachem Englisch stellen (wie „Wofür ist Budapest bekannt?“), und das System übersetzt dies in eine strukturierte Datenbankabfrage (SPARQL), um die Antwort zu erhalten. Es zeigt Ihnen die exakte Abfrage, die es ausgeführt hat, und die Schritte, die es unternommen hat.

Wie sicher sind wir? (Evaluierung)

Die Autoren haben es nicht nur gebaut, sondern auch streng getestet. Sie haben Stichproben der Daten manuell überprüft, um zu sehen, ob die KI Fehler gemacht hat.

• Merge Precision (Zusammenführungsgenauigkeit): Wenn das System entschied, dass zwei Namen dasselbe sind (Synonyme), war es bei identischen Labels zu 98 % korrekt und bei unterschiedlich benannten Aliasen zu 91 %. Der Hauptfehlermodus war die falsche Zusammenführung (das Denken, zwei verschiedene Dinge seien dasselbe), was in spezifischen Alias-Fällen etwa 9 % der Zeit vorkam.
• Split Precision (Trennungsgenauigkeit): Wenn das System entschied, dass zwei Dinge verschieden sind (Homonyme), war es bei der Stichprobe der getrennt gehaltenen Paute mit identischen Labels zu 100 % korrekt.
• Faktizität: Bei der Überprüfung, ob die Fakten wahr waren, waren 94,5 % der manuell geprüften Triples „wahr“ und nur 2,0 % „falsch“. Wenn ein KI-Richter 1.000 Elemente prüfte, waren 92,8 % wahr.

Das Paper stellt fest, dass der Kontext (die Beschreibung der Entität) entscheidend ist. In einem Experiment, bei dem der KI-Richter die Beschreibung der Entität nicht sah, sank die Genauigkeit der Fakten signifikant (von 94,5 % wahr auf 80 % wahr), was beweist, dass der Kontext die Disambiguierung erst ermöglicht.

Was es nicht ist

Es ist wichtig anzumerken, was dieses Paper nicht behauptet. Es sagt nicht, dass GPTKB 2.0 perfekt ist oder dass es das Problem der KI-Halluzinationen vollständig gelöst hat. Die Autoren räumen ein, dass falsche Synonym-Zusammenführungen (das Zusammenführen zweier verschiedener Dinge, weil sie ähnlich aussehen) der größte verbleibende Fehler sind. Sie stellen auch klar, dass es sich um eine „General-Domain“-Wissensbasis handelt, was bedeutet, dass sie ein breites Spektrum an Themen abdeckt, aber keine spezialisierte medizinische oder juristische Datenbank ist. Die Ergebnisse basieren auf manueller und automatischer Stichprobenprüfung, nicht auf einer Überprüfung jedes einzelnen der 38 Millionen Fakten, was unmöglich wäre.

Das Faz-it

GPTKB 2.0 ist ein bedeutender Schritt nach vorn, weil es das „Black Box“-Wissen eines LLM in eine „Glass Box“ verwandelt. Indem die Forscher eine Datenbank aufgebaut haben, die Entitäten während des Prozesses disambiguiert und jede Entscheidung dokumentiert, haben sie eine Ressource geschaffen, die nicht nur riesig und nützlich, sondern auch auditierbar ist. Man kann den Fakten vertrauen, weil man die Beweise hinter ihnen sehen kann. Es legt nahe, dass wir aus dem chaotischen, unstrukturierten Wissen von KI-Modellen eine strukturierte, zuverlässige Wissensbasis aufbauen können, sofern wir bereit sind, die harte Arbeit zu leisten, den Kontext zu prüfen und ein detailliertes Tagebuch unserer Entscheidungen zu führen.