Grounded verification of chemical and materials reasoning: detection is the bottleneck

Der Zaubertrick, der fast funktionierte

Stellen Sie sich vor, Sie unterhalten sich mit einem sehr klugen, sehr selbstbewussten Roboterfreund. Sie stellen ihm eine Frage, und er antwortet mit einer langen, fließenden Geschichte, die perfekt klingt. Aber manchmal enthält diese Geschichte eine Lüge. In der Welt der Wissenschaft, speziell in der Chemie und den Materialwissenschaften, ist das eine große Sache. Wenn der Roboter eine chemische Formel als „C6H12O6“ angibt, obwohl sie eigentlich „C6H12O5“ lautet, baut ein Wissenschaftler vielleicht eine Maschine, die nicht funktioniert, oder ein Medikament, das nicht sicher ist. Das ist nicht nur ein Tippfehler; es ist eine „Halluzination“, bei der der Roboter Fakten erfindet, die zwar echt klingen, aber völlig falsch sind.

Lange Zeit versuchten Menschen, dies zu beheben, indem sie den Roboter baten, seine eigene Arbeit zu überprüfen. Es ist so, als würde man einen Schüler bitten, seine eigene Prüfung zu bewerten; er übersieht oft seine eigenen Fehler, weil er zu selbstbewusst ist. Andere versuchten, dem Roboter eine Bibliothek von Büchern (eine Datenbank) zur Verfügung zu stellen, in der er nachschlagen kann, bevor er antwortet. Aber jedes Buch für jede Frage zu durchsuchen, ist langsam, teuer, und manchmal ist der Roboter trotzdem verwirrt. Die große Frage, die Forscher beantworten wollten, war: Wie können wir diese Lügen aufspüren, ohne alles zu verlangsamen, und können wir sie tatsächlich korrigieren, sobald wir sie gefunden haben?

Der Detektiv, der nur die Verdächtigen überprüft

Dieses Paper aus dem Kurban Intelligence Lab stellt eine neue Art vor, mit diesen klugen Robotern „Detektiv“ zu spielen. Anstatt den Roboter die ganze Bibliothek lesen oder seine Hausaufgaben prüfen zu lassen, haben sie einen „gestuften Verifizierer“ (tiered verifier) gebaut. Stellen Sie sich diesen Verifizierer wie einen superschnellen, superstrengen Bibliothekar vor, der nur spezifische Fakten prüft.

So funktioniert der Zaubertrick:

1. Der Aufbau: Der Roboter versucht, eine Frage über eine Chemikalie zu beantworten (wie „Was ist die Formel für Ampicillin?“).
2. Der Haken: Der Roboter schreibt eine flüssige Antwort, aber er könnte eine Zahl oder eine Formel erfunden haben.
3. Die Prüfung: Der Verifizierer liest nicht die ganze Geschichte. Er sucht nach spezifischen „prüfbaren Behauptungen“ (wie einer Molekülformel oder einer Energiezahl). Er zieht diese spezifische Behauptung heraus und gleicht sie mit einer vertrauenswürdigen Datenbank ab (wie einem digitalen Lexikon für Chemikalien).
4. Das Tor: Wenn die Behauptung mit der Datenbank übereinstimmt, sagt der Verifizierer: „Alles klar!“ und lässt die Antwort passieren. Wenn die Behauptung falsch ist, setzt der Verifizierer ein Warnzeichen.
5. Die Korrektur: Wenn ein Warnzeichen gesetzt wird, sagt der Verifizierer nicht einfach nur „Du bist falsch“. Er flüstert dem Roboter den korrekten Fakt zurück und sagt: „Versuche es noch einmal, aber benutze diesen Fakt.“ Der Roboter schreibt dann genau diesen Teil der Antwort um.

Die große Überraschert: Das Lügen zu erwischen ist schwerer als das Korrigieren

Die aufregendste Entdeckung in diesem Paper ist ein kleiner Plot Twist. Die Forscher erwarteten, dass der Roboter vielleicht schlecht darin sei, seine Fehler zu korrigieren. Sie dachten: „Vielleicht sieht der Roboter den korrekten Fakt, weiß aber immer noch nicht, wie er ihn aufschreiben soll.“

Aber das war gar nicht das Problem. Das Paper fand heraus, dass das Korrigieren eigentlich einfach ist. Wenn der Verifizierer einen Fehler entdeckte und dem Roboter den korrekten Fakt gab, korrigierte der Roboter ihn in 80 % bis 97 % der Fälle! Ob es sich um eine Molekülformel oder eine Kristallstruktur handelte, der Roboter nahm die Korrektur bereitwillig an.

Der wahre Engpass, der das System daran hinderte, perfekt zu sein, war die Detektion. Der Verifizierer musste den Fehler erst einmal finden.

• Für gängige Chemikalien fing der Verifizierer fast alle Fehler ab.
• Für seltene, ungewöhnliche Chemikalien (den „Long Tail“ der Wissenschaft) übersah der Verifizierer viele Fehler.
• In einem Fall (Bildungsenergie) entdeckte der Verifizierer nur 19 % der Fehler, obwohl er 80 % davon hätte korrigieren können, wenn er sie erst einmal entdeckt hätte.

Es ist wie ein Sicherheitsmann, der hervorragend darin ist, einen Dieb zu stoppen, sobald er ihn sieht, aber der Sicherheitsmann ist schrecklich darin, den Dieb in der Menge überhaupt erst zu erspähen. Das Paper kommt zu dem Schluss, dass die größte Herausforderung nicht darin besteht, den Roboter ehrlich zu machen, sondern das System zu lehren, die Lügen zu erkennen.

Was funktioniert und was nicht

Die Forscher testeten dieses System an vier verschiedenen „klugen Robotern“ (Large Language Models) und fanden einige interessante Muster:

• Das „Seltenheits“-Problem: Die Roboter machten die meisten Fehler bei seltenen, obskuren Chemikalen, die sie zuvor noch nicht gesehen hatten. Hier war der Verifizierer am dringendsten benötigt, aber auch dort hatte er am meisten Mühe, die Fehler zu finden.
• Die „Gemeinsamkeiten“-Obergrenze: Für sehr berühmte, bekannte Fakten (wie grundlegende physikalische Konstanten) waren die Roboter bereits so gut, dass der Verifizierer nicht viel tun musste. Tatsächlich markierte der Verifizierer bei diesen einfachen Fakten manchmal versehentlich eine korrekte Antwort als falsch, was dazu führte, dass der Roboter eine gute Antwort „kaputtmachte“. Dies zeigte, dass man vorsichtig sein muss, nicht Dinge zu korrigieren, die nicht kaputt sind.
• Besser als „Einfach nur Fragen“: Das Team verglich ihr System mit einem „konversationellen Orakel“ (einem Roboter, der einfach die Antwort nachschlägt und sie mitteilt). Ihr „gegates“ System war viel besser. Warum? Weil der konversationelle Roboter oft nur über die Antwort sprach, ohne die spezifische Zahl, die die Wissenschaftler brauchten, tatsächlich aufzuschreiben. Der Verifizierer zwang den Roboter, den exakten Fakt aufzuschreiben, was das Überprüfen erleichterte.
• Kosten zählen: Jedes einzelne Wort in jeder Antwort zu prüfen, ist teuer und langsam. Ihr System prüfte nur die Teile, die verdächtig aussah. Das bedeutete, dass sie 3,2-mal weniger Datenbankabfragen verwendeten als beim Überprüfen von allem, was Zeit und Geld sparte und dennoch die meisten Fehler auffing.

Die Lektion über den „Geltungsbereich“

Es gab noch einen weiteren cleveren Trick, den sie entdeckten. Manchmal prüfte der Verifizierer die Zutaten (die chemische Formel) und sagte: „Das ist korrekt!“ Aber die endgültige Antwort erforderte eine Berechnung basierend auf diesen Zutaten (wie „Was ist das Gewicht dieses Moleküls?“). Wenn der Verifizierer nur die Zutaten prüfte und nicht die endgültige Berechnung, konnte die endgültige Antwort dennoch falsch sein.

Als sie den Verifizierer erweiterten, um auch die endgültige berechnete Antwort zu prüfen und nicht nur die Zutaten, sprang die Erfolgsquote von 83 % auf 90 %. Dies lehrte sie, dass man, um ein Problem wirklich zu lösen, den Teil der Antwort prüfen muss, der tatsächlich für den Nutzer relevant ist, und nicht nur die Bausteine.

Das Fazit

Dieses Paper zeigt, dass wir wissenschaftliche KI viel zuverlässiger machen können, aber wir müssen uns auf den richtigen Teil des Puzzles konzentrieren. Wir müssen den Roboter nicht darin unterrichten, besser darin zu sein, seine Fehler zu korrigieren; er ist bereits ziemlich gut darin. Stattdessen müssen wir bessere „Lügendetektoren“ bauen, die die seltenen, tückischen Fehler erkennen, bevor sie passieren.

Die Forscher zeigten auch, dass diese Methode für andere Dinge funktioniert, wie etwa das Überprüfen der Halbwertszeiten von radioaktiven Atomen, was beweist, dass die Idee nicht nur auf die Chemie beschränkt ist. Sie merkten jedoch vorsichtig an, dass für Dinge, die die Roboter bereits perfekt kennen (wie berühmte physikalische Konstanten), dieses System nicht viel hilft und sogar ein paar neue Fehler verursachen kann. Die Magie funktioniert nur dort, wo es echte Fehler zu finden gibt.

Kurz gesagt: Der Roboter ist bereit, korrigiert zu werden; wir müssen nur besser darin werden, ihn beim Lügen zu erwischen.