Knowledge-Graph Grounding Helps LLMs Only for Out-of-Training Knowledge: A Controlled Study on Clinical Question Answering
Diese kontrollierte Studie zur klinischen Beantwortung von Fragen zeigt, dass die Verankerung in Wissensgraphen zwar keine Leistungssteigerung bei Fakten bewirkt, die bereits in den Trainingsdaten eines LLMs enthalten sind, jedoch essenziell ist, um eine nahezu perfekte Genauigkeit bei Informationen zu erreichen, die außerhalb der Trainingsdaten liegen oder neuartig sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten Studenten (die KI), der fast alle Bücher der Welt bis zu einem bestimmten Datum gelesen hat. Sie machen mit ihm einen Test. Manchmal geben Sie ihm auch ein spezielles Lehrbuch an die Hand, in das er während der Beantwortung schauen kann.
Dieses Paper stellt eine einfache Frage: Hilft es dem Studenten tatsächlich, bessere Noten zu bekommen, wenn man ihm ein Lehrbuch gibt?
Die Antwort laut dieser Studie ist etwas überraschend: Es kommt ganz darauf an, ob die Antwort bereits im Kopf des Studenten vorhanden ist.
Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung einfacher Analogien:
1. Das Problem des „Bereits Bekannten“ (Öffentliche Daten)
Die Forscher testeten die KI mit medizinischen Standardfragen unter Verwendung einer öffentlichen medizinischen Datenbank (wie einer riesigen, offenen Bibliothek, die jeder kennt).
- Das Ergebnis: Der KI die Datenbank zu geben, half nicht. Tatsächlich machte es die Sache manchmal sogar etwas schlechter oder blieb exakt gleich.
- Die Analogie: Stellen Sie sich vor, Sie fragen einen Studenten: „Wer hat Hamlet geschrieben?“ Sie reichen ihm eine Biografie von Shakespeare zur Hand, während er die Antwort gibt. Es spielt keine Rolle, ob er das Buch liest oder nicht; er kennt die Antwort bereits, weil er in der Schule Shakespeare gelernt hat. Das zusätzliche Buch ist einfach redundant.
- Das Ergebnis: Da die KI auf öffentlichen Daten trainiert wurde, die dieses medizinische Wissen bereits enthielten, enthielt das „Lehrbuch“ (der Knowledge Graph) Fakten, die die KI bereits kannte. Die KI brauchte die Hilfe nicht, und der zusätzliche Schritt des Nachschlagens brachte keinen Mehrwert.
2. Das Problem des „Völlig Neuen“ (Daten außerhalb des Trainings)
Als Nächstes erschufen die Forscher eine fiktive medizinische Welt mit erfundenen Medikamenten und Krankheiten, die niemand zuvor gesehen hatte – auch die KI nicht.
- Das Ergebnis: Plötzlich wurde das „Lehrbuch“ zu einer Superkraft. Ohne es errat die KI zufällig (wie ein Münzwurf). Mit der Datenbank lieferte die KI fast 100 % der richtigen Antworten.
- Die Analogie: Stellen Sie sich nun vor, Sie fragen den Studenten nach einem fiktiven Planeten, der erst gestern entdeckt wurde. Er hat noch nie davon gehört. Wenn Sie ihm eine Karte dieses Planeten geben, kann er perfekt antworten. Wenn Sie es nicht tun, ist er verloren.
- Das Ergebnis: Die Datenbank hilft nur dann, wenn die Information völlig neu für die KI ist. Wenn der Fakt nicht im Gedächtnis der KI vorhanden ist, ist die Datenbank der einzige Weg, ihn zu finden.
3. Der „Gemischte Test“
Die Forscher testeten auch eine Mischung: einige Fragen, die die KI kannte, und einige, die sie nicht kannte.
- Das Ergebnis: Die KI beantwortete die „bekannten“ Fragen aus eigener Kraft richtig (die Datenbank bewirkte nichts). Aber für die „unbekannten“ Fragen verwandelte die Datenbank eine ungenügende Note in eine perfekte Punktzahl.
- Die Lektion: Der Wert der Datenbank wird durch die Neuheit begrenzt. Er zahlt sich nur aus, wenn der Fakt außerhalb des Trainings der KI liegt.
4. Eine Korrektur zum „Hohen Score“
Das Paper betrieb auch etwas Detektivarbeit an einer berühmten, jüngsten Studie, die behauptete, KI sei in der Medizin erstaunlich gut.
- Das Problem: Diese Studie berichtete von einem sehr hohen Wert (etwa 88 von 100).
- Die Korrektur: Die Forscher fanden heraus, dass dieser Wert auf einer „Spickzettel“-Version des Tests (leichtere Fragen) basierte und dass die Bewertungssoftware einen Fehler hatte, der die Punktzahlen für alle senkte. Als sie den Fehler behoben und den vollständigen, schweren Test verwendeten, sank der Höchstwert auf etwa 47.
- Die Erkenntnis: Selbst die „klügste“ KI ist noch nicht perfekt, und wir müssen vorsichtig sein, wie wir ihren Erfolg messen.
5. Das „Kluge Bibliothekar“-System
Die Forscher bauten ein System, in dem die KI wie ein Bibliothekar agiert.
- Wie es funktioniert: Anstatt nur einen langen Textabschnitt zu lesen, stellt die KI spezifische, strukturierte Fragen an die Datenbank (wie eine präzise Suchanfrage).
- Die Effizienz: Wenn die KI einen neuen Fakt findet, schreibt sie ihn in die Datenbank, damit sie nicht erneut danach fragen muss. Das ist so, als würde der Bibliothekar einen neuen Eintrag in den Katalog schreiben. Sobald der Fakt im Katalog steht, kann die KI ihn sofort finden, ohne jedes Mal hart „nachdenken“ zu müssen.
Das Fazament
Das Paper schließt mit einer einfachen Regel für jeden, der KI im echten Leben verwendet:
Es lohnt sich nicht, Ihre KI mit einer Datenbank öffentlicher Fakten zu verbinden, die man auch bei Google finden kann; die KI kennt sie bereits.
Wenn Sie jedoch über private, neue oder institutionelle Daten verfügen (wie die aktuellen Aufzeichnungen eines spezifischen Krankenhauses oder ein gestern zugelassenes neues Medikament), die die KI noch nie gesehen hat, ist die Anbindung an eine strukturierte Datenbank ein Gamechanger. Nur dann hilft das „Lehrbuch“ dem Studenten tatsächlich, die Prüfung zu bestehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.