In der sich rasant entwickelnden Welt der künstlichen Intelligenz sind große Sprachmodelle bemerkenswert flüssig darin geworden, Texte zu generieren, Probleme zu lösen und Code zu schreiben. Sie können selbstbewusst und logisch klingen, doch sie machen häufig subtile Fehler, die schwer zu entdecken sind. Um dies zu beheben, haben Forscher „Verifizierer“ entwickelt – sekundäre Systeme, die darauf ausgelegt sind, die Arbeit des Hauptmodells zu überprüfen und Fehler abzufangen, bevor sie einen menschlichen Nutzer erreichen. Diese Prüfer kommen in vielen Formen vor: Einige vergleichen die Ausgabe des Modells mit einer Datenbank von Fakten, andere führen den Code aus, um zu sehen, ob er abstürzt, und manche bitten das Modell einfach darum, seine eigene Argumentation zu überprüfen. Die vorherrschende Hoffnung war bisher, dass wir durch das Hinzufügen dieser Prüfungsebenen Systeme bauen können, die nicht nur flüssig, sondern auch vertrauenswürdig sind. Eine kritische Frage blieb jedoch unbeantwortet: Was genau können diese Prüfer garantieren? Wenn ein System sagt, ein Ergebnis sei „verifiziert“, bedeutet das, dass die Antwort definitiv korrekt ist, oder bedeutet es lediglich, dass die Antwort nach einem spezifischen, begrenzten Satz von Regeln richtig aussieht?

Eine neue Studie von Yajie Yin geht dieser Verwirrung entgegen, indem sie einen neuen Weg vorschlägt, die Stärke dieser Verifizierungssysteme zu messen. Der Autor argumentiert, dass das aktuelle Fachgebiet das Wort „Level“ verwendet, um fünf verschiedene Dinge gleichzeitig zu beschreiben, was ein Nebel des Missverständnisses erzeugt. Einige Forscher nutzen „Level“, um zu beschreiben, wie fein sie ein Problem aufschlüsseln, andere, um das Risiko zu beschreiben, und wieder andere, um zu beschreiben, welchen Teil des Computersystems gerade geprüft wird. Das Papier führt eine einzige, klare Skala namens „Verification Autonomy Levels“ ein, die sich auf eine spezifische Frage konzentriert: Woher kommt die Wahrheit und was verspricht der Prüfer zu finden? Diese Skala reicht von der schwächsten Form, bei der das Modell lediglich seine eigene Arbeit als korrekt deklariert, bis hin zu den stärksten Formen, bei denen die Prüfung auf objektiven, unveränderlichen Fakten oder mathematischen Regeln basiert, die beweisen können, dass eine Lösung vollständig ist.

Die Kernentdeckung dieser Forschung ist eine fundamentale Einschränkung, die auf fast alle aktuellen Verifizierungsmethoden zutrifft. Die Studie zeigt, dass viele populäre Prüfer zwar bestätigen können, dass eine vorgeschlagene Antwort korrekt ist, aber sie können nicht beweisen, dass keine andere korrekte Antwort übersehen wurde. Stellen Sie sich einen Sicherheitsmann vor, der eine Liste genehmigter Besucher prüft; wenn der Wachmann einen Namen auf der Liste sieht, lässt er ihn hinein. Aber wenn eine gefährliche Person erscheint, deren Name nicht auf der Liste steht, hat der Wachmann keine Möglichkeit zu wissen, dass jemand fehlt, es sei denn, er besitzt eine vollständige, vorab genehmigte Liste von jedem, der dort sein sollte. Das Papier nennt dies den „Vollständigkeits-Blindspot“ (Completeness Blind Spot). Die meisten aktuellen Systeme arbeiten wie der Wachmann mit der Liste: Sie können verifizieren, dass eine Kandidatenlösung funktioniert, aber sie können nicht garantieren, dass sie alle möglichen Lösungen gefunden haben. Diese Einschränkung ist kein Fehler, der durch besseres Training des Modells oder das Prüfen von mehr Daten behoben werden kann; sie ist ein strukturelles Merkmal der Funktionsweise dieser Systeme.

Um diese Landschaft abzubilden, hat der Autor eine sechsstufige Skala entwickelt, die von L0 bis L5 reicht. Ganz unten steht L0 für ein System, in dem das Modell einfach sagt: „Ich habe das überprüft, und es ist richtig.“ Es gibt keinen externen Beweis und keine Garantie für die Wahrheit. Darüber hinaus beinhalten L1 und L2 Prüfungen, die auf Regeln basieren, die aus dem Problem abgeleitet wurden oder Vergleiche mit bekannten, objektiven Fakten darstellen. Diese sind nützlich, um zu bestätigen, dass eine spezifische Antwort korrekt ist, aber sie leiden immer noch unter dem Blindspot: Sie können nicht beweisen, dass das Modell keine bessere oder andere Antwort übersehen hat. Die Skala springt signifikant bei L3 und L4, wo die Verifizierung auf einem entscheidbaren System basiert, wie etwa einem formalen mathematischen Beweis oder einer strengen logischen Regel. In diesen Fällen kann das System nicht nur eine Antwort bestätigen, sondern auch beweisen, dass keine anderen Antworten innerhalb eines spezifischen, wohldefinierten Rahmens existieren. Die höchste Ebene, L5, die ein System repräsentieren würde, das in der Lage ist, die Vollständigkeit für jede mögliche Frage zu beweisen, wird als mathematisch unmöglich dargestellt.

Das Papier testet diesen Rahmen in vier sehr unterschiedlichen Bereichen: beim Lösen von Mathematikproblemen, bei der Überwachung von Computerverhalten auf Sicherheitsbedrohungen, bei der Diagnose medizinischer Zustände und beim Schreiben von Computercode. In den mathematischen Experimenten bauten die Forscher ein System, das seine eigene Arbeit prüfen konnte. Sie fanden heraus, dass das System zwar einige Fehler finden konnte, aber die Gesamtgenauigkeit der Antworten im Vergleich zum Rohmodell nicht verbesserte. Tatsächlich machte der Verifizierungsprozess die Dinge manchmal sogar schlechter, indem er neue Fehler einführte. Das System zeichnete sich jedoch bei einer anderen Aufgabe aus: Es konnte zuverlässig melden, wenn es sich unsicher war oder wenn es eine spezifische Art von Fehler gefunden hatte, wie etwa eine fehlende Lösung, die ein einfacherer Check ignoriert hätte. In der medizinischen Diagnosestudie verwendeten die Forscher eine Standard-Klinikregel, um die Argumentation des Modells zu prüfen. Sie fanden heraus, dass ein einfacher, regelbasierter Check Fälle abfangen konnte, in denen das Modell zwar selbstbewusst falsch lag, weil es notwendige Beweise vermissen ließ – ein Versagen, das menschliche Prüfer übersehen hatten.

Die Forschung untersuchte auch die Codegenerierung, bei der das Modell Computerprogramme schreibt. Hier stellte die Studie fest, dass das Modell bereits so gut darin war, Standardprobleme zu lösen, dass das Hinzufügen einer Verifizierungsebene die Genauigkeit nicht weiter steigerte. Das „Genauigkeitsfenster“ war leer; das Modell war für diese spezifischen Aufgaben bereits am Ende seines Könnens angelangt. Der Wert des Verifizierungssystems in diesem Kontext bestand nicht darin, den Code besser zu machen, sondern ein klares Signal zu geben, wenn der Code potenziell unsicher oder unvollständig sein könnte. Der Autor betont, dass dies kein Scheitern der Verifizierung ist, sondern eine präzise Messung dessen, wo Verifizierung einen Mehrwert bietet. Sie bietet einen Mehrwert, wenn sie Fehler melden oder Vollständigkeit beweisen kann, und nicht, wenn sie versucht, die rohe Genauigkeit bei Problemen zu steigeln, die das Modell bereits gemeistert hat.

Ein entscheidender Teil des Papiers ist die Unterscheidung zwischen „Korrektheit“ (Correctness) und „Vollständigkeit“ (Completeness). Korrektheit bedeutet, dass eine vorgeschlagene Antwort richtig ist. Vollständigkeit bedeutet, dass das System alle richtigen Antworten gefunden hat und weiß, dass keine anderen existieren. Die Studie zeigt, dass die meisten aktuellen Systeme nur Korrektheit bieten. Sie können sagen: „Diese Antwort funktioniert“, aber sie können nicht sagen: „Dies ist die einzige Antwort.“ Um Vollständigkeit zu erreichen, muss ein System in der Lage sein, das Problem in ein striktes, logisches Format umzuformulieren, das eine Maschine erschöpfend lösen kann. Dies ist für bestimmte Arten von Mathematik oder Code möglich, ist aber für offene Aufgaben wie die Überprüfung von Nachrichten oder die Diagnose komplexer Krankheiten unmöglich, da die Welt zu chaotisch ist, um vollständig durch eine einzige Regel erfasst zu werden. Das Papier argumentt, dass wir aufhören müssen vorzugeben, dass ein System in diesen Open-World-Szenarien vollständig sein kann. Stattdessen sollten wir ehrlich mit den Grenzen unserer Werkzeuge umgehen.

Der Autor befasst sich auch mit dem Problem der „Vertrauensrekurion“ (Trust Recursion), also dem Problem, dass man einen Prüfer braucht, um den Prüfer zu verifizieren, und einen weiteren Prüfer, um diesen zu verifizieren, und so weiter. Das Papier zeigt, dass diese Vertrauenskette schließlich an einem Punkt enden muss, der nicht auf einer anderen künstlichen Intelligenz basiert. Sie muss bei einer vom Menschen definierten Regel, einer physikalischen Messung oder einem mathematischen Beweis enden. Wenn die Kette bei einer anderen KI endet, ist die Verifizierung zirkulär und unzuverlässig. Die Studie legt nahe, dass der beste Ansatz darin besteht, Systeme zu entwerfen, in denen die KI die kreative Arbeit der Ideenfindung übernimmt, während ein separates, starres System diese Ideen gegen einen festen Standard prüft. Diese Arbeitsteilung stellt sicher, dass das System weiß, wann es sich außerhalb seiner Sicherheitszone bewegt und wann es innehalten und menschliche Hilfe anfordern muss.

Letztendlich dient dieses Papier als Realitätscheck für das Feld der Sicherheit künstlicher Intelligenz. Es schlägt eine neue Terminologie vor, die es Forschern und Entwicklern ermöglicht, präzise darüber zu sein, was ihre Systeme können und was nicht. Es warnt vor der gefährlichen Gewohnheit anzunehmen, dass ein System „verifiziert“ ist, nur weil es einen Test bestanden hat. Stattdessen fordert es eine nuanciertere Sichtweise: Ein System mag exzellent darin sein, zu bestätigen, dass eine spezifische Antwort korrekt ist, aber das bedeutet nicht, dass es die ganze Wahrheit gefunden hat. Die höchste Note, die ein Verifizierungssystem erhalten kann, ist kein Versprechen der Perfektion, sondern eine ehrliche Erklärung seiner Grenzen. Durch das Verständnis dieser Ebenen können wir KI-Systeme bauen, die nicht nur intelligenter sind, sondern auch transparenter darüber, wann sie recht haben, wann sie falsch liegen und wann sie es schlichtweg nicht wissen.