Benchmarking Knowledge Editing using Logical Rules
Dieses Paper führt einen neuen Benchmark zur Evaluierung von Knowledge Editing in Large Language Models ein, der logische Konsequenzen mittels Multi-Hop-Fragen bewertet und aufzeigt, dass aktuelle Methoden oft daran scheitern, abgeleitetes Wissen zu propagieren, obwohl sie direkte Fakten erfolgreich einfügen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Ein Gehirn aktualisieren, ohne es zu beschädigen
Stellen Sie sich vor, Sie besitzen eine sehr kluge, aber etwas veraltete Enzyklopädie, die von einem Roboter geschrieben wurde (dies ist ein Large Language Model oder LLM). Eines Tages stellen Sie fest, dass eine Tatsache in dem Buch falsch ist. Zum Beispiel besagt das Buch: „Valerie Hobson ist eine britische Staatsbürgerin“, aber sie ist tatsächlich nach Australien gezogen und wurde australische Staatsbürgerin.
Früher hätte man, um dies zu korrigieren, jede einzelne Seite der Enzyklopädie herausreißen und das ganze Buch von Grund auf neu schreiben müssen. Das dauert ewig und kostet ein Vermögen.
Knowledge Editing (Wissensbearbeitung) ist wie die Verwendung eines Zauberstifts, mit dem man einfach „UK“ durchstreicht und „Australien“ schreibt, ohne das ganze Buch neu zu schreiben. Das Ziel ist es, eine spezifische Tatsache schnell zu aktualisieren.
Die versteckte Falle: Der „Schmetterlingseffekt“ von Fakten
Die Autoren dieser Arbeit haben einen schwerwiegenden Fehler bemerkt, wie wir diese Zauberstifte testen. Die meisten Tests prüfen nur, ob der Roboter eine einzige Tatsache richtig weiß. Sie fragen: „Ist Valerie Hobson jetzt eine australische Staatsbürgerin?“ Wenn der Roboter „Ja“ sagt, gilt der Test als bestanden.
Doch die Autoren argumentieren, dass dies so ist, als würde man die Sicherheit eines Hauses prüfen, indem man nur die Haustür betrachtet. Sie haben erkannt, dass Fakten wie ein Netz miteinander verbunden sind. Wenn man die Staatsbürgerschaft von Valerie ändert, müssen sich möglicherweise auch andere Fakten ändern, selbst wenn man nicht direkt danach gefragt hat.
Die Analogie:
Stellen Sie sich vor, Sie sagen einem Freund: „Ich lebe jetzt in Australien.“
- Direkter Fakt: Sie leben in Australien.
- Logische Konsequenz (Die versteckte Falle): Wenn Ihr Freund weiß, dass „Menschen, die in Australien leben, meistens die australische Staatsbürgerschaft besitzen“, sollte er automatisch davon ausgehen, dass auch Sie eine australische Staatsbürgerin sind.
Wenn Ihr Freund sein Gedächtnis aktualisiert, um zu wissen, dass Sie in Australien leben, aber immer noch glaubt, Sie seien Britin, ist seine Logik fehlerhaft. Das Papier nennt dies korreliertes Wissen. Der Roboter kennt zwar den neuen Fakt, versäumt es aber, die logischen Konsequenzen dieses Fakts zu aktualisieren.
Das neue Werkzeug: Ein „Logik-Detektiv“
Um dies zu beheben, haben die Autoren einen neuen Benchmark (einen Test) entwickelt, der wie ein Logik-Detektiv fungiert. So funktioniert ihr System Schritt für Schritt:
- Die Bearbeitung (The Edit): Sie nehmen einen Roboter und ändern einen Fakt (z. B. „Valerie Hobson lebt in Australien“).
- Das Regelbuch: Sie verwenden ein spezielles Werkzeug (genannt AMIE3), um in einer riesigen Karte von Fakten (einem Knowledge Graph) nach den „Regeln“ zu suchen, die Fakten verbinden.
- Gefundene Regel: „Wenn Person X mit Person Y verheiratet ist und Person X in Land Z lebt, dann hat Person Y normalerweise dieselbe Staatsbürgerschaft wie Land Z.“
- Die Fangfrage: Anstatt nur nach Valerie zu fragen, nutzt das System diese Regeln, um eine knifflige Frage über ihren Ehemann zu generieren.
- Frage: „Welche Nationalität hat der Ehemann von Valerie Hobson?“
- Richtige Antwort: Australisch (aufgrund der Regel).
- Antwort des alten Roboters: Britisch (weil er nur den direkten Fakt aktualisiert, nicht die Logik).
Was sie herausfanden: Die Lücke zwischen „Direkt“ und „Indirekt“
Die Autoren testeten populäre Methoden (wie ROME und FT) mit diesem neuen Logik-Detektiv. Die Ergebnisse waren überraschend:
- Der direkte Sieg: Wenn nach der einfachen Frage gefragt wurde („Wo lebt Valerie?“), waren die Roboter großartig. Sie bekamen den direkten Edit fast jedes Mal richtig.
- Der logische Verlust: Wenn sie nach den „Fangfragen“ über den Ehemann oder andere verbundene Fakten gefragt wurden, versagten die Roboter kläglich.
- In einigen Fällen waren die Roboter bei den logischen Fragen um 24 % schlechter als bei den direkten Fragen.
Die Metapher:
Es ist, als würde man einem Schüler eine neue mathematische Formel beibringt.
- Direkter Edit: Man fragt: „Was ist 2 + 2?“ Der Schüler sagt: „4“. (Perfekt!)
- Logische Konsequenz: Man fragt: „Wenn 2 + 2 gleich 4 ist und ich zwei Äpfel habe, wie viele Äpfel habe ich dann?“ Der Schüler sagt: „Das weiß ich nicht“ oder „5“.
- Der Schüler hat die Antwort auswendig gelernt, aber nicht die Logik dahinter verstanden.
Das Fazit
Das Paper kommt zu dem Schluss, dass aktuelle Methoden zur Aktualisierung von KI-Gehirnen zu „dumm“ sind, um die Welleneffekte von Änderungen zu bewältigen. Sie sind gut darin, ein einzelnes Loch in einem Boot zu flicken, aber schlecht darin, sicherzustellen, dass das ganze Boot nicht sinkt, weil man das Loch geflickt hat.
Sie fanden heraus, dass einige Methoden (wie Knowledge Neurons) etwas besser im Umgang mit diesen logischen Verbindungen waren, aber die meisten populären Methoden scheitern daran, das „Netz der Wahrheit“, das einen einzelnen Fakt umgibt, zu aktualisieren. Sie benötigen eine neue Art, KI zu testen, die nicht nur prüft, ob der Fakt korrekt ist, sondern ob die Logik, die die Fakten zusammenhält, noch intakt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.