Position, not importance: what a likelihood threshold actually defers on

In der Welt der Softwareentwicklung hat sich künstliche Intelligenz von einem Werkzeug, das lediglich Fragen beantwortet, zu einem Partner entwickelt, der neben Menschen Code schreibt. Diese digitalen Assistenten, oft als Coding-Agenten bezeichnet, beobachten, was ein Programmierer tippt, und schlagen dann die nächsten paar Zeilen Code vor, um die Arbeit zu beschleunigen. Die zentrale Herausforderung für diese Systeme besteht darin, zu wissen, wann sie aufhören müssen. Wenn der Assistent zu viel schreibt, trifft er möglicherweise eine kritische Entscheidung für den Programmierer, wie etwa die Wahl einer Sicherheitseinstellung oder eines Datenbankbefehls, und übernimmt damit effektiv die Tastatur, bevor der Mensch die Möglichkeit hat, die Wahl zu überprüfen. Wenn er zu früh aufhört, bietet er kaum Unterstützung. Lange Zeit hofften Forscher, dass ein Computer lernen könnte, den exakten Moment zu erkennen, in dem ein Mensch eingreifen muss, indem er misst, wie „überrascht“ der Computer von seinen eigenen Vorhersagen ist. Die Theorie lautete, dass ein Modell dann, wenn es unsicher darüber wird, was als Nächstes kommt, wahrscheinlich deshalb unsicher ist, weil eine schwierige oder wichtige Entscheidung getroffen wird, und dass dies der perfekte Zeitpunkt ist, um innezuhalten und um Hilfe zu bitten.

Eine aktuelle Studie untersuchte diese Theorie in der Hochrisikoumgebung der Computerprogrammierung. Die Forscher bauten eine spezifische Testumgebung auf, die hunderte kurzer Code-Schnipsel enthielt, von denen einige gefährliche Entscheidungen enthielten – wie etwa das Offenlassen einer Sicherheitstür oder die Verwendung einer schwachen Passwortmethode – und andere, die nur aus harmlosem, routinemäßigem Code bestanden. Sie wendeten eine Regel an, die dem Computer sagte, dass er so lange weiter schreiben soll, wie er sich sicher fühlt, und nur dann stoppen soll, wenn das kumulierte Vertrauen unter eine bestimmte Linie fällt. Die Hoffnung war, dass diese Regel natürlich vor den gefährlichen Entscheidungen pausieren würde, um dem Menschen die Überprüfung zu ermöglichen. Die Ergebnisse zeigten jedoch eine erschreckende Diskrepanz. Der Computer stoppte nicht, weil eine Entscheidung gefährlich war; er stoppte, weil der Text schwer vorhersehbar wurde. In der Welt des Codes sind die gefährlichsten Entscheidungen oft die am häufigsten vorkommenden und vorhersehbarsten, während der wirklich überraschende Text oft nur aus zufälligem Rauschen besteht. Folglich schrieb das System das gefährliche Code-Fragment häufig vollständig aus, während es mitten in harmlosem, langweiligem Text abrupt stoppte.

Die Forscher, angeführt von Shubhanandan T Y und Kollegen der Dayananda Sagar University, konstruierten einen detaillierten Benchmark namens CEDE-Bench, um genau zu messen, wie oft dies geschieht. Der Test umfasste 112 spezifische Szenarien, in denen ein Programmierer zwischen einem sicheren und einem riskanten Pfad wählen muss, wie etwa die Entscheidung, ob man eine Sicherheitsprüfung deaktiviert oder wie man mit einem Passwort umgeht. Sie schlossen auch 12 harmlose Kontrollobjekte ein, die keine echten Entscheidungen enthielten, sondern nur aus Standard-Boilerplate-Code bestanden. Als sie die Stopp-Regel des Computers auf diese Elemente anwandten, waren die Ergebnisse drastisch. Bei der Einstellung, die in einer vorangegangenen Nutzerstudie verwendet wurde, schrieb das System den gefährlichen Zweig in 33 Prozent der Fälle aus. In einigen Fällen vervollständigte es fast eine gesamte SQL-Datenbankabfrage, die anfällig für Hacking war, indem es achtzehn von neunzehn Token schrieb, bevor es stoppte. Dies geschah nicht, weil der Computer die Gefahr nicht erkannt hätte, sondern weil der gefährliche Code genau das war, was der Computer basierend auf seinen Trainingsdaten erwartete.

Die Studie fand heraus, dass das Verhalten des Systems fast ausschließlich davon abhing, wo die Entscheidung im Text erschien, nicht aber davon, worum es bei der Entscheidung ging. Wenn eine riskante Wahl innerhalb der ersten paar Wörter eines Vorschlags erschien, schrieb der Computer sie fast immer aus. Wenn dieselbe riskante Wahl später erschien, nachdem der Computer bereits sein „Budget“ an sicheren Wörtern aufgebraucht hatte, stoppte er davor. Die Forscher entdeckten, dass die Regel weniger wie ein Richter fungiert, der die Wichtigkeit einer Entscheidung abwägt, sondern eher wie ein einfacher Token-Zähler. Sie erlaubt dem Computer, eine bestimmte Anzahl von Wörtern basierend darauf zu schreiben, wie vorhersehbar der umgebende Text ist, und stoppt dann. Da die gefährlichen Entscheidungen im Code oft sehr vorhersehbar sind – wie die Verwendung einer Standardfunktion, die jedoch unsicher ist –, fallen sie in dieses frühe Zeitfenster und werden geschrieben. Umgekehrt ist harmloser Text, der zufällig aussehende Zeichenfolgen enthält, wie etwa ein gefälschter API-Schlüssel, unvorhersehbar und lässt den Computer früh stoppen, obwohl es keinen Grund zur Gefahr gibt.

Dieser Befund stellt die Idee infrage, dass ein Computer lernen kann, sich dem Menschen gegenüber zurückzustellen, indem er einfach seine eigene Unsicherheit misst. Die Studie zeigte, dass der Stopppunkt des Systems statistisch nicht von den harmlosen Objekten zu unterscheiden war. Er stoppte mitten in benignem Boilerplate-Code genauso oft wie vor gefährlichem Code. Die Forscher kamen zu dem Schluss, dass die Regel blind gegenüber der Bedeutung ist. Sie weiß nicht, dass eine bestimmte Zeile Code eine Datenbank löschen oder ein Passwort leaken könnte; sie weiß nur, wie viele Wörter sie geschrieben hat und wie überraschend das nächste Wort erscheint. Tatsächlich war das System wahrscheinlicher durch ein harmloses Element mit einer zufällig aussehenden Zeichenfolge unterbrochen worden als durch ein gefährliches Element, das einem gängigen, vorhersehbaren Muster folgte. Dies bedeutet, dass die Feinabstimmung der Sensitivität der Regel das Problem nicht lösen kann: Eine frühere Einstellung führt dazu, dass der Computer nützlichen Code früher abbricht, während eine spätere Einstellung dazu führt, dass er mehr gefährlichen Code schreibt.

Die Implikationen dieser Entdeckung sind erheblich für die Art und Weise, wie wir KI-Assistenten bauen und ihnen vertrauen. Die Studie legt nahe, dass es eine fehlerhafte Strategie ist, darauf zu vertrauen, dass ein Modell seine eigene Konfidenz nutzt, um zu entscheiden, wann es die Kontrolle wieder an einen Menschen zurückgibt. Das System hält sich nicht deshalb zurück, weil die Eingabe des Menschen für eine kritische Entscheidung benötigt wird; es hält sich zurück, weil der Text mathematisch schwierig vorhersehbar geworden ist. Die Forscher merkten an, dass das System in ihren Tests nur etwa ein Drittel des harmlosen Boilerplate-Codes abschloss, was bedeutet, dass es den Programmierer häufig aus keinem guten Grund unterbrach. Gleichzeitig versäumte es, bei den gefährlichsten Entscheidungen innezuhalten, die oft die routiniertesten und erwarteten waren. Dies schafft eine Situation, in der der Assistent entweder zu aufdringlich oder zu riskant ist, ohne einen Mittelweg, der sowohl Sicherheit als auch Nützlichkeit erfüllt.

Letztendlich argumentiert das Paper, dass der Mechanismus hinter diesen KI-Assistenten grundlegend überdacht werden muss. Der aktuelle Ansatz, der davon ausgeht, dass Unsicherheit gleich Bedeutung ist, hält in der realen Welt der Softwareentwicklung nicht stand. Die Forscher schlagen vor, anstatt zu versuchen, dem Modell beizubringen, Bedeutung durch Unsicherheit zu erkennen, sollten wir einfachere, direktere Methoden verwenden, um gefährliche Muster zu erfassen, wie etwa statische Code-Prüfer, die nach bekannten Sicherheitsfehlern suchen. Diese Werkzeuge müssen nicht raten, wann sie aufhören sollen; sie können einfach spezifische riskante Muster kennzeichnen, unabhängig davon, wie sicher sich die KI fühlt. Die Studie dient als deutliche Warnung: Während KI-Assistenten hilfreich sein können, ist ihre Fähigkeit zu wissen, wann sie aufhören müssen, kein Zeichen von Weisheit oder Sicherheit, sondern lediglich ein Spiegelbild dessen, wie vorhersehbar der Text zufällig ist. Bis die Technologie in der Lage ist, zwischen einer langweiligen Routine und einer kritischen Entscheidung zu unterscheiden, bleibt das Vertrauen darauf, dass sie diese Unterscheidungen selbstständig trifft, ein Glücksspiel.