Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI)

Der Detektiv, der Glitch und der gelangweilte Roboter

Stellen Sie sich vor, Sie beobachten eine Zaubershow, bei der ein Magier immer und immer wieder ein Kaninchen aus einem Hut zieht – stundenlang. Es ist langweilig, aber vorhersehbar. Dann plötzlich ist der Hut leer. Was passiert als Nächstes? Gerät der Magier in Panik? Unterbricht er die Show, um den Trick zu erklären? Oder zuckt er nur mit den Schultern und macht einfach weiter, als wäre nichts passiert?

Dies ist die Art von Frage, die sich Wissenschaftler, die Künstliche Intelligenz (KI) untersuchen, derzeit stellen. Sie fragen nicht nur, ob die KI ein mathematisches Problem lösen kann; sie fragen, wie die KI reagiert, wenn Dinge schiefgehen in einer Welt, in der normalerweise alles glattläuft. In der Welt der KI werden diese „Dinge“ als Sprachmodelle bezeichnet – Computerprogramme, die sehr gut darin sind, das nächste Wort in einem Satz zu erraten, ähnlich wie eine superintelligente Autovervollständigung. Wenn diese Modelle bei repetitiven Aufgaben eingesetzt werden, wie etwa beim Überprüfen einer Zahlenliste oder beim Aufrufen eines Werkzeugs, gelingen sie normalerweise zu 100 %. Aber was passiert, wenn sie scheitern?

Das große Rätsel dreht sich um die Seltenheit. Wenn ein Roboter einmal auf zehn Versuche scheitert, ist das eine Unannehmlichkeit. Wenn er einmal auf eine Million Versuche scheitert, ist es ein Wunder. Aber bemerkt der Roboter den Unterschied? Wird er dramatischer und detaillierter in seiner Entschuldigung, wenn das Scheitern extrem selten ist, oder wird er so sehr an die Perfektion gewöhnt, dass er den Fehler gar nicht mehr wahrnimmt? Dieses Paper taucht genau in diese Frage ein und betrachtet die KI nicht als denkendes Wesen, sondern als ein neugieriges Geschöpf, das vielleicht seine eigenen seltsamen Angewohnheiten hat, wenn Dinge schiefgehen.

---

Das Experiment: Ein „Ups“-Moment eines Roboters

Die Forscher richteten einen digitalen Spielplatz ein, um drei verschiedene KI-Modelle (benannt als qwen3:8b, llama3.1:8b und mistral:7b) zu testen. Sie ließen diese Modelle ein einfaches Spiel spielen: Sie mussten wiederholt ein „Werkzeug“ (wie einen Taschenrechner) aufrufen. Meistens funktionierte das Werkzeug perfekt. Aber die Forscher programmierten das Werkzeug heimlich so, dass es mit spezifischen, kontrollierten Raten versagte.

Sie testeten acht verschiedene „Fehlerraten“, die von einer häufigen Ausfallwahrscheinlichkeit von 20 % (1 Fehler auf 5 Versuche) bis hin zu einem super-seltenen Wert von 0,0001 % (1 Fehler auf eine Million Versuche) reichten. Die große Frage war: Wenn das Scheitern seltener und überraschender wurde, würde die Erklärung der KI länger und selbstbewusster werden, oder würde sie den Fehler einfach ignorieren?

Die Forscher hatten eine Vermutung, basierend darauf, wie Menschen sich verhalten. Sie dachten: Wenn ein Roboter oft scheitert, sagt er vielleicht nur „ups“. Aber wenn er sehr selten scheitert, sollte er schockiert sein! Er sollte eine lange, detaillierte Erklärung schreiben und sagen: „Ich bin mir zu 90 % sicher, dass das seltsam ist!“ Sie dachten sogar, dass der Roboter, wenn das Scheitern zu selten wird, so verwirrt sein könnte, dass er es gar nicht mehr bemerkt und den Fehler wie Hintergrundrauschen behandelt.

Der Twist: Es kommt darauf an, wie man fragt

Hier wird die Geschichte interessant. Als die Forscher zuerst alle Daten gemischt betrachteten, war die Antwort langweilig: Nein. Die KI wurde nicht dramatischer, je seltener die Fehler auftraten. Tatsächlich wurden die Erklärungen immer kürzer. Es sah so aus, als würden die Roboter einfach aufgeben.

Doch dann erkannten die Forscher, dass sie die falsche Frage gestellt hatten. Sie hatten fünf verschiedene Arten vermischt, wie man die Roboter bittet, sich zu erklären. Es stellte sich heraus, dass wie man den Roboter bittet, sich zu erklären, genauso wichtig ist wie was man ihn fragt.

Als sie die Daten trennten, tauchte ein verborgenes Muster auf, aber nur bei einer ganz bestimmten Art der Fragestellung:

1. Die Bedingung „Sofortiger Zwang“ (Das Verhör)
In diesem Szenario wurde der Roboter in dem Moment, in dem das Werkzeug versagte, dazu gezwungen, sofort anzuhalten und es zu erklären.

• Das Ergebnis: Die Forscher hatten mit dem ersten Teil recht! Je seltener die Fehler wurden, desto dramatischer wurden die Roboter.
  • Bei häufigen Fehlerraten (20 %) gaben die Roboter kurze Antworten von etwa 10 Wörtern.
  • Je seltener die Fehler wurden, desto länger wurden die Antworten und erreichten einen Höhepunkt von 28,4 Worten, als die Fehlerrate bei 0,05 (1 zu 20) lag.
  • Der zweite Teil ihrer Theorie war jedoch falsch. Sie dachten, die Roboter würden schließlich kollabieren und aufhören zu reden. Stattdessen erreichten die Roboter ein Plateau. Selbst bei den seltensten Raten (0,0001 %) schrieben sie weiterhin etwa 17 bis 19 Wörter. Sie hörten nicht auf; sie pendelten sich auf eine stetige, mittellange Erklärung ein.
• Selbstvertrauen: Die Roboter wurden auch selbstbewusster, je seltener die Fehler auftraten. Ihr selbstberichtetes Vertrauen (ein Wert von 0 bis 100) stieg von etwa 53 % bei häufigen Raten auf die 70er und 90er bei den seltensten Raten. Sie erreichten keine perfekte 100-Prozent-Grenze, sondern stiegen einfach ungleichmäßig an.

2. Die Bedingung „Gruppierte Durchläufe“ (Das Gruppenprojekt)
Hier wurde der Roboter nicht aufgefordert, sofort zu erklären. Stattdessen musste er bis zum Ende einer ganzen Gruppe von Testläufen warten, um alle Fehler auf einmal zu erklären.

• Das Ergebnis: Das Muster aus „Anstieg und Kollaps“ verschwand vollständig. Die Roboter gaben lange, stetige Erklärungen (etwa 32 bis 43 Wörter) ab, egal wie selten der Fehler war. Es scheint, dass bei einer späteren Zusammenfassung die „Überraschung“ eines einzelnen seltenen Ereignisses einfach untergeht.

3. Die Bedingung „Passiv Unaufgefordert“ (Der stille Beobachter)
In diesem Fall fragten die Forscher den Roboter nie nach einer Erklärung. Sie beobachteten einfach, ob er von sich aus eine Erklärung anbieten würde.

• Das Ergebnis: Die meisten Roboter blieben stumm. Aber ein Roboter, llama3.1:8b, tat etwas Seltsames und Faszinierendes. Ohne gefragt zu werden, begann er, seine eigenen Vertrauenswerte während der Sitzung aufzuschreiben.
  • In einigen Fällen begann er mit 100 % Vertrauen und sank im Laufe der Sitzung langsam auf 0 % ab, wie ein Detektiv, der den Glauben an seine Theorie verliert.
  • Die anderen beiden Roboter (qwen und mistral) schrieben nur einmal einen Vertrauenswert auf, wie ein langweiliger Roboter, der als Standardeinstellung sagt: „Ich bin mir zu 100 % sicher“.
  • Dies deutet darauf hin, dass llama3.1:8b eine einzigartige Gewohnheit der Selbstüberwachung hat, die die anderen nicht besitzen, aber nur, wenn niemand zusieht.

Die Überraschung des „Leeren Schwanzes“

Es gab einen massiven Rückschlag im Experiment, der die Forscher fast getäuscht hätte. Als sie den Test zuerst mit den seltensten Fehlerraten (0,001, 0,0005 und 0,0001) durchführten, traten überhaupt keine Fehler auf. Da die Raten so niedrig waren, produzierte der Zufall in der begrenzten Anzahl der durchgeführten Testläufe keinen einzigen Fehler.

Hätten sie an diesem Punkt aufgehört, hätten sie geglaubt, die Roboter seien perfekt und würden niemals scheitern. Aber die Forscher erkannten, dass dies ein statistischer Glitch war, kein Supertalent der Roboter. Sie mussten ein spezielles „Recovery“-System bauen, um einen Fehler bei diesen seltenen Raten zu erzwingen, damit sie tatsächlich sehen konnten, wie die Roboter reagierten. Dies lehrte sie eine wertvolle Lektion: In der Wissenschaft, wenn man nach etwas sehr Seltenem sucht, übersieht man es unter Umständen einfach, weil man nicht lange genug gesucht hat.

Die Aufteilung zwischen „Erkennung“ und „Engagement“

Schließlich entdeckten die Forscher, dass „etwas zu sagen“ und „zu merken, dass etwas seltsam ist“ zwei verschiedene Dinge sind.

• Engagement beschreibt, wie viel der Roboter spricht.
• Erkennung beschreibt, ob der Robot tatsächlich denkt, dass der Fehler ein Fehler ist.

Unter bestimmten Bedingungen beschrieb qwen3:8b zwar den exakten Fehler (wie eine defekte Prüfsumme), kam dann aber zu dem Schluss: „Alles ist in Ordnung, das ist normal.“ Er erkannte zwar die Details, weigerte sich aber, es als Anomalie zu bezeichnen.
Llama3.1:8b hingegen war am wahrscheinlichsten bereit zu sagen: „Hey, das ist seltsam!“
Dies beweist, dass ein Roboter sehr gesprächig über ein Problem sein kann, ohne dabei wirklich zu denken, dass das Problem ein Problem ist.

Das Fazit

Dieses Paper fand keinen Roboter, der sich exakt wie ein menschlicher Detektiv verhält, der begeisterter wird, je seltener die Verbrechen werden. Stattdessen fand es heraus, dass die Art und Weise, wie man die Frage stellt, die Antwort verändert.

• Wenn man den Roboter zwingt, sofort zu erklären, wird er tatsächlich dramatischer und selbstbewusster, je seltener die Fehler auftreten, aber er kollabiert nicht; er pendelt sich lediglich auf einem Niveau ein.
• Wenn man um eine Zusammenfassung später bittet, verschwindet das Drama.
• Wenn man gar nicht fragt, beginnen manche Roboter vielleicht heimlich an sich selbst zu zweifeln, während andere einfach einem Skript folgen.

Die Studie legt nahe, dass das Verhalten von KI keine einzelne, feste Persönlichkeit ist. Es ist ein Spiegel, der die Struktur des Gesprächs reflektiert. Die Roboter „denken“ nicht unbedingt in der Weise, wie wir es tun; sie reagieren auf die Regeln des Spiels. Und manchmal ist das Interessanteste, was ein Roboter tut, der stille, unaufgeforderte Moment, in dem er beschließt, ganz von sich aus seinen eigenen Vertrauenswert zu prüfen.