In der sich rasant entwickelnden Welt der künstlichen Intelligenz haben sich große Sprachmodelle von einfachen Textgeneratoren zu hochentwickelten Reasoning-Engines gewandelt. Diese Systeme können nun komplexe Probleme aufschlüsseln, externe Werkzeuge konsultieren und mehrere digitale Agenten koordinieren, um Aufgaben zu lösen, die einst menschliche Expertise erforderten. Um diese Systeme zuverlässiger zu machen, verlassen sich Forscher oft auf eine Strategie namens Redundanz: Mehrere Agenten lösen dasselbe Problem und vergleichen dann ihre Antworten. Wenn die Agenten übereinstimmen, geht das System davon aus, dass die Antwort korrekt ist. Dieser Ansatz wird häufig mit einer Verifizierungsphase kombiniert, bei der ein zweiter Satz von Agenten oder Werkzeugen die Zwischenschritte der Argumentation überprüft, um Fehler abzufangen, bevor eine endgültige Entscheidung getroffen wird. Die zugrunde liegende Hoffnung ist, dass, wenn ein Agent einen Fehler macht, ein anderer ihn entdecken wird, und wenn ein Verifizierer einen Fehler macht, ein anderer Verifizierer ihn korrigieren wird. Dieses gesamte Sicherheitsnetz ruht jedoch auf einer fragilen Annahme: dass diese verschiedenen Agenten und Verifizierer ihre Fehler unabhängig voneinander machen.

Diese Annahme ist in der realen Welt immer schwieriger zu verteidigen. Die meisten modernen KI-Systeme basieren auf einer geringen Anzahl von Modellfamilien, die dieselben Trainingsdaten, dieselbe zugrunde liegende Architektur und dieselben Trainingsrezepte teilen. Aufgrund dieser gemeinsamen Herkunft neigen sie dazu, dieselben Fehler auf dieselbe Weise zu machen. Wenn eine Gruppe von Agenten aus derselben Familie bei einem falschen Fakt übereinstimmt, ist dies kein Zeichen von Konsens, sondern ein Zeichen einer gemeinsamen Halluzination. Wenn ein Verifizierungssystem diese identischen, korrelierten Fehler als unabhängige Beweise behandelt, kann es eine gefährliche Zuversicht in eine falsche Antwort entwickeln. Das System zählt denselben Fehler effektiv mehrfach, wodurch es seine Gewissheit so weit aufbläht, bis es von einer Unwahrheit überzeugt ist. Dieses Phänomen schafft einen blinden Fleck, in dem die Werkzeuge, die eigentlich der Sicherheit dienen sollen, am Ende Fehler verstärken.

Ein Team von Forschern hat diese kritische Schwachstelle mit einem neuen Framework namens CAVEAT adressiert, was für Correlation-Aware Verification Allocation steht. Anstatt davon auszugehen, dass jeder Agent und Verifizierer ein unabhängiger Beobachter ist, modelliert dieses System explizit die Tatsache, dass sie oft miteinander verwandt sind und zu denselben Fehlern neigen. Die Forscher behandelten den Verifizierungsprozess als ein Ressourcenmanagementproblem. Sie erkannten, dass man in einer Welt, in der die Überprüfung jedes einzelnen Schritts einer Argumentationskette zu teuer ist, entscheiden muss, welche spezifischen Behauptungen geprüft werden, welcher Verifizierer für jeden Check verwendet wird und wann mit dem Prüfen Schluss ist. Das Ziel besteht darin, ein begrenztes Budget an Rechenressourcen so effektiv wie möglich einzusetzen, um sicherzustellen, dass die endgültige Antwort so zuverlässig ist, wie es das Budget erlaubt.

Der Kern des CAVEAT-Systems ist eine Karte des Denkprozesses. Wenn mehrere Agenten ein Problem lösen, zerlegt das System deren Ausgabe in einzelne Behauptungen und verknüpft diese in einem Abhängigkeitsgraphen. Diese Karte zeigt, welche Fakten welche Schlussfolgerungen stützen. Einige Behauptungen sind wie die Wurzeln eines Baumes; wenn sie falsch sind, bricht die gesamte Antwort zusammen. Andere sind wie Blätter; wenn sie falsch sind, ist die Auswirkung minimal. Das System weist jeder Behauptung ein Gewicht zu, basierend darauf, wie sehr das Endergebnis von ihr abhängt. Es verwendet dann ein statistisches Modell, um die Zuverlässigkeit jedes verfügbaren Verifizierers zu schätzen, wobei es berücksichtigt, dass Verifizierer aus derselben Familie wahrscheinlich denselben „Ausrutscher“ oder Fehler machen. Dies ermöglicht es dem System, den wahren Wert zu berechnen, eine bestimmte Behauptung durch einen bestimmten Verifizierer prüfen zu lassen. Wenn ein Verifizierer aus einer Familie, die bereits gesprochen hat, gebeten wird, eine Behauptung zu prüfen, weiß das System, dass die neue Antwort wahrscheinlich nur die alte wiederholen wird und kaum neue Informationen bietet. Stattdessen lenkt es das Budget auf eine andere Familie von Verifizierern oder ein spezialisiertes Werkzeug, wie etwa ein Programm, das Code ausführen kann, oder eine Suchmaschine, die Fakten finden kann.

In einer Testreihe über sechs Benchmarks hinweg, die von Faktenchecks und mehrstufigen Fragen bis hin zu komplexer mathematischer Argumentation reichten, verglichen die Forscher diesen neuen Ansatz mit bestehenden Methoden. Sie fanden heraus, dass das Ignorieren der Korrelation zwischen Agenten und Verifizierern zu einer signifikanten Überschätzung der Konfidenz führte. Systeme, die Unabhängigkeit annahmen, waren oft fälschlicherweise sicher und meldeten hohe Gewissheit für falsche Antworten. Im Gegensatz dazu gelang es dem CAVEAT-System erfolgreich zu identifizieren, wann ein Konsens tatsächlich nur ein gemeinsamer Fehler war. Durch die sorgfältige Steuerung des Verifizierungsbudgets zu den informativsten Prüfungen erreichte es die gleiche Genauigkeit wie ein System, das jede einzelne Behase mit jedem einzelnen Verifizierer prüft, tat dies jedoch mit nur etwa einem Fünftel der Rechenkosten. Im Durchschnitt verbesserte es die Genauigkeit gegenüber den besten existierenden budgetangepassten Methoden um 3,1 Prozentpunkte.

Vielleicht noch wichtiger ist, dass das System das Problem der falschen Zuversicht löste. In den Tests lieferten traditionelle Methoden in nahezu 20 % der Fälle falsche Antworten mit hoher Konfidenz. Das CAVEAT-System reduzierte diese Rate auf nur 7,2 %, was bedeutet, dass es weita viel weniger wahrscheinlich war, eine Unwahrheit mit hoher Zuversicht zu behaupten. Es machte auch die Konfidenzwerte des Systems wesentlich genauer, sodass das System, wenn es sich zu 90 % sicher war, tatsächlich in 90 % der Fälle korrekt lag. Die Forscher demonstrierten, dass dieser Ansatz auch dann funktioniert, wenn alle Agenten aus derselben Familie stammen oder wenn die Mehrheit der Agenten sich auf eine falsche Antwort geeinigt hat. Indem das System die gemeinsame Natur der Fehler erkennt, weiß es, nach einer externen Perspektive zu suchen, anstatt dieselbe Gruppe erneut abstimmen zu lassen.

Die Studie zeigte auch, dass die Art und Weise, wie die Verifizierung zugewiesen wird, ebenso wichtig ist wie die Menge des dafür ausgegebenen Geldes. Einfach die Behauptungen zu prüfen, bei denen die Agenten am wenigsten sicher scheinen, oder sie in einer zufälligen Reihenfolge zu prüfen, war weitaus weniger effektiv als der von CAVEAT verwendete gezielte Ansatz. Das System lernte, die Behauptungen zu priorisieren, die, falls sie falsch wären, den größten Schaden für die endgültige Antwort anrichten würden, und die günstigsten, vielfältigsten Werkzeuge zur Prüfung dieser zu nutzen. Beispielsweise würde es bei mathematischen Problemen einen schnellen, günstigen Code-Executor verwenden, um Arithmetikschritte zu prüfen, und die teureren und langsameren Sprachmodelle für die logischen Argumentationsschritte aufsparen. Diese strategische Zuweisung ermöglichte es dem System, die Prüfung abzubrechen, sobald es sich der Antwort ausreichend sicher war, wodurch Ressourcen gespart wurden, ohne die Genauigkeit zu opfern.

Die Forscher kamen zu dem Schluss, dass die Zukunft der zuverlässigen KI-Argumentation davon abhängt, anzuerkennen, dass unsere Werkzeuge nicht unabhängig sind. Genau wie eine Gruppe von Menschen, die in derselben Stadt aufgewachsen ist, dieselben Missverständnisse teilen könnten, wird eine Gruppe von KI-Modellen, die auf denselben Daten trainiert wurde, auch dieselben blinden Flecken haben. Indem wir Systeme bauen, die diese Verbindungen verstehen und ihre Ressourcen entsprechend zuweisen, können wir KIs erschaffen, die nicht nur klüger, sondern auch ehrlicher darüber sind, was sie wissen und was nicht. Die Arbeit legt nahe, dass der Weg zu vertrauenswürdigerer künstlicher Intelligenz nicht einfach darin besteht, mehr Agenten hinzuzufügen, sondern darin, die Beziehungen zwischen ihnen zu verstehen und dieses Verständnis zu nutzen, um die Wahrheit effizienter zu verifizieren.