Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

In der Welt der Software müssen verschiedene Computersysteme oft miteinander kommunizieren, um Aufgaben zu erledigen. Ein System sendet vielleicht ein Datum im Format „Tag zuerst“, während das andere „Monat zuerst“ erwartet. Das eine zählt vielleicht Geld in Cent, während das andere in Dollar zählt. Diese kleinen Unterschiede sind normalerweise keine Rätsel; es sind Fakten, die jemand irgendwo festgehalten hat. Die Herausforderung entsteht, wenn ein neuer Typ von Arbeiter, ein künstlicher Intelligenz-Agent, gebeten wird, die Brücke zwischen diesen beiden Systemen zu bauen. Diese Agenten sind leistungsfähige Werkzeuge, die Computer-Code schreiben können, um verschiedene Programme miteinander zu verbinden. Sie arbeiten jedoch nach einer einfachen Regel: Sie können nur die Informationen verwenden, die ihnen in ihren Anweisungen gegeben werden. Wenn in den Anweisungen nicht steht, ob ein Datum „Tag zuerst“ oder „Monat zuerst“ ist, kann der Agent die Antwort nicht wissen. Er muss eine Entscheidung treffen.

Die Gefahr in dieser Situation besteht nicht darin, dass der Agent abstürzt oder aufhört zu arbeiten. Die Gefahr besteht darin, dass er perfekt weiterarbeitet, aber das falsche Ergebnis liefert. Dies wird als „Silent Failure“ (stilles Versagen) bezeichnet. Der Code läuft ohne Fehler durch, besteht die Basistests und sieht für einen menschlichen Prüfer korrekt aus, liefert aber dennoch die falschen Daten an das nächste System. Dies ist ein kritisches Problem für Unternehmen und Organisationen, da der Fehler nicht sofort sichtbar wird. Stattdessen fließen die falschen Zahlen stromabwärts und korrumpieren Datensätze, Finanzberichte und Entscheidungen, lange bevor jemand bemerkt, dass etwas defekt ist. Die Frage, die Forscher stellten, war simpel: Wenn diese intelligenten Agenten mit einem fehlenden Fakt konfrontiert werden, den sie nicht erraten können, halten sie inne und fragen nach Hilfe, oder raten sie stattdessen selbstbewusst einfach weiter und beschädigen das System?

Ein Forscher setzte sich zum Ziel, genau zu messen, wie oft dies geschieht. Er entwarf eine Reihe realistischer Aufgaben, bei denen ein KI-Agent Code schreiben musste, um zwei Systeme zu verbinden. In einigen dieser Aufgaben wurde dem Agenten der fehlende Fakt gegeben, etwa durch die explizite Information, dass Daten im Format „Tag zuerst“ vorliegen. In anderen Aufgaben war der Fakt verborgen, und der Agent durfte entweder eine Frage stellen, um ihn zu finden, oder er war gezwungen, den Code zu schreiben, ohne zu fragen. Er testete dies mit acht verschiedenen KI-Modellen, die von kleineren Open-Source-Programmen bis hin zu den fortschrittlichsten heute verfügbaren Systemen reichten. Der Forscher prüfte nicht nur, ob der Code lief; er überprüfte, ob der Code für jedes mögliche Szenario das richtige Ergebnis lieferte, einschließlich der kniffligen Fälle, die von diesem fehlenden Fakt abhängen.

Die Ergebnisse offenbarten eine ernüchternde Realität darüber, wie diese Systeme funktionieren. Wenn die Agenten den fehlenden Fakt erhalten hatten, waren sie sehr erfolgreich und bauten in etwa achtundachtzig Prozent der Fälle korrekte Verbindungen auf. Dies bewies, dass die Agenten in der Lage waren, die Aufgabe zu bewältigen, wenn sie über die notwendigen Informationen verfügten. Wenn jedoch der Fakt fehlte und den Agenten untersagt war zu fragen, änderte sich die Situation drastisch. Die Agenten hielten nicht inne; sie sagten nicht, dass sie verwirrt seien. Stattdessen entschieden sie sich für eine Konvention und schrieben den Code. In zweiundsechzig Prozent dieser Fälle war der geschriebene Code ein „Silent Failure“. Er lief sauber durch, sah perfekt aus, lieferte aber den falschen Wert zurück. Dies geschah unabhängig davon, wie fortschrittlich das Modell war. Selbst die leistungsfähigsten Systeme, die das Problem perfekt lösen konnten, wenn ihnen der Fakt gegeben wurde, versagten fast die Hälfte der Zeit lautlos, wenn sie nicht fragen durften.

Die Studie untersuchte auch, ob es das Problem lösen würde, dem Agenten einfach zu erlauben, eine Frage zu stellen. Der Forscher fand heraus, dass die Antwort ganz davon abhängt, wer zuhört. Wenn die fortschrittlichsten Modelle die Erlaubnis erhielten zu fragen, fragten sie bei fast jedem einzelnen Durchlauf. Sie rraten nicht; sie suchten nach der Wahrheit. Wenn jedoch niemand da war, um ihnen zu antworten, stockte die Integration einfach. Die Arbeit stoppte, und es wurde kein Code produziert. Dies ist eine andere Art des Scheiterns, aber es ist immer noch ein Scheitern. Der Forscher stellte fest, dass für das Funktionieren des Systems die Pipeline – also der Prozess, der den Agenten steuert – so gestaltet sein muss, dass die Frage des Agenten an einen Menschen oder ein Partnersystem weitergeleitet wird, das die Antwort geben kann. Es reicht nicht aus, lediglich einen offenen Kanal zu haben, wenn niemand da ist, um ihn zu besetzen.

Der Forscher testete auch eine Sicherheitsregel, bei der der Agent angewiesen wurde, die Erstellung des Codes zu verweigern, falls er den fehlenden Fakt nicht kannte. Diese Regel eliminierte die „Silent Failures“ erfolgreich und senkte die Fehlerrate auf fast Null. Dies ging jedoch mit einem hohen Preis einher. Der Agent weigerte sich, den Code zu schreiben, selbst wenn die Antwort aus den verfügbaren Informationen hätte erschlossen werden können. Dies führte dazu, dass das System bei Aufgaben, die es problemlos hätte lösen können, nicht mehr arbeitete, wodurch die Erfolgsquote von einundachtzig Prozent auf achtzehn Prozent sank. Die Studie kam zu dem Schluss, dass die Lösung nicht darin liegt, die Agenten intelligenter oder vorsichtiger zu machen. Die Lösung liegt im Design des Prozesses selbst. Das System muss so gebaut sein, dass es erkennt, wenn ein Fakt über eine Organisationsgrenze hinweg fehlt, und diese Frage an eine Person oder ein System weiterleitet, das die Antwort geben kann. Ohne diese spezifische Verschaltung wird selbst die fähigste künstliche Intelligenz selbstbewusst eine Brücke bauen, die an den falschen Ort führt.