Act or Escalate? Evaluating Escalation Behavior in Automation with Language Models

Die Studie zeigt, dass Eskalationsverhalten bei Sprachmodellen modellabhängig und nicht durch Architektur oder Skalierung vorhergesagt werden kann, wobei das Training auf Ketten-des-Denkens-Ziele die robusteste Strategie zur Ausrichtung an optimalen Entscheidungsregeln darstellt.

Das Wesentliche

🤖 Der KI-Mitarbeiter und die große Entscheidung: „Selber machen oder Chef fragen?"

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas unsicheren KI-Assistenten (eine große Sprachmaschine, kurz LLM) eingestellt. Deine Aufgabe ist es, ihm zu sagen, wann er selbst entscheiden soll und wann er lieber zu dir (dem Menschen) kommen und um Hilfe bitten sollte.

Die Forscher haben herausgefunden, dass dieser KI-Assistent diese Entscheidung oft falsch trifft – und zwar auf eine sehr verrückte Art und Weise.

1. Das Problem: Der KI ist ihr eigener Kompass nicht zu trauen

Stell dir vor, du hast zwei verschiedene KI-Assistenten:

• KI A ist wie ein übermütiger Sportler. Er denkt immer: „Ich kann das! Ich bin zu 90 % sicher!" – auch wenn er eigentlich nur zu 50 % richtig liegt. Er macht Fehler, weil er zu selbstbewusst ist.
• KI B ist wie ein ängstlicher Schüler. Er denkt: „Oh nein, ich bin vielleicht gar nicht so gut." – auch wenn er eigentlich sehr sicher ist. Er fragt dich ständig: „Chef, soll ich das machen?", obwohl er es eigentlich allein schaffen könnte.

Das Schlimme ist: Man kann das nicht einfach am Aussehen der KI erkennen.

• Eine riesige, super-teure KI ist nicht automatisch besser darin, ihre eigenen Fehler zu erkennen als eine kleine, günstige Version.
• Manchmal ist die große Version sogar schlimmer als die kleine. Es ist, als würde ein riesiger Elefant stolpern, während ein kleines Mäuschen sicher über den Draht läuft.

2. Der Test: Die „Wahrheits-Signal"-Methode

Um das herauszufinden, haben die Forscher den KIs eine Art Wahrheits-Signal gegeben.

• Beispiel: „Hey KI, bei diesem Kunden mit dieser Kreditkarte sagen wir zu 91 %, dass er die Zahlung schafft."
• Dann fragten sie die KI: „Okay, du hast das vorhergesagt. Sollst du jetzt die Karte genehmigen (selber handeln) oder mich (den Menschen) fragen?"

Das Ergebnis war schockierend:

• Manche KIs haben gesagt: „Ich genehmige es sofort!", selbst wenn das Signal nur eine 50 %-Chance sagte.
• Andere sagten: „Ich frage lieber den Chef!", selbst wenn das Signal 95 % Sicherheit sagte.
• Jede KI hat ihre eigene, geheime Schwelle. Manche sind sehr risikofreudig, andere extrem vorsichtig. Und diese Schwelle ändert sich nicht einfach, wenn man die KI größer macht.

3. Die Lösung: Wie man die KI „zähmt"

Die Forscher haben versucht, die KIs zu trainieren, damit sie die richtige Entscheidung treffen. Hier sind die drei Versuche:

• Versuch 1: Nur eine Erinnerung (Prompting)

  • Die Idee: Man sagt der KI: „Achtung! Ein Fehler kostet dich 4-mal so viel wie das Nachfragen beim Chef."
  • Das Ergebnis: Das half kaum. Die KI hörte zu, verstand aber nicht wirklich, was das für sie bedeutete. Sie war wie ein Schüler, der den Lehrer nur nickend anhört, aber nichts tut.

• Versuch 2: Nachdenken lassen (Thinking Mode)

  • Die Idee: Man sagt der KI: „Denk erst mal kurz nach, bevor du antwortest."
  • Das Ergebnis: Besser, aber noch nicht perfekt. Die KI wurde klüger, aber sie vergaß oft die Kosten.

• Versuch 3: Die perfekte Kombination (Nachdenken + Kosten erklären)

  • Die Idee: Man sagt: „Denk erst nach UND vergiss nicht, dass ein Fehler teuer ist."
  • Das Ergebnis: Boom! Plötzlich trafen die KIs fast immer die richtige Entscheidung. Sie lernten, das Signal zu lesen, die Kosten zu berechnen und dann zu entscheiden: „Jetzt ist es sicher, ich mache es selbst" oder „Nein, zu riskant, ich frage den Chef."

• Versuch 4: Der ultimative Trainer (Supervised Fine-Tuning)

  • Hier haben die Forscher die KI nicht nur gefragt, sondern ihr beigebracht, genau so zu denken. Sie haben ihr gezeigt: „Wenn die Wahrscheinlichkeit X ist und die Kosten Y, dann rechne Z aus und entscheide so."
  • Das Ergebnis: Die KI wurde zum perfekten Manager. Sie traf in fast 100 % der Fälle die richtige Entscheidung, auch bei völlig neuen Aufgaben, die sie nie vorher gesehen hatte.

🎯 Die große Lektion für die Praxis

Wenn Firmen heute KI einsetzen wollen, um wichtige Dinge zu entscheiden (z. B. Kredite zu vergeben oder Inhalte zu löschen), dürfen sie nicht einfach blind vertrauen.

1. Testen, testen, testen: Man muss herausfinden, wie „mutig" oder „ängstlich" die spezifische KI ist, die man nutzt. Eine KI von Firma X ist nicht wie eine von Firma Y.
2. Training ist nötig: Man muss die KI nicht nur auf „richtige Antworten" trainieren, sondern darauf, unsicher zu sein und die Kosten von Fehlern zu verstehen.
3. Nicht auf Größe setzen: Eine riesige KI ist nicht automatisch die beste Entscheidungsträgerin.

Kurz gesagt: Eine KI ist wie ein neuer Mitarbeiter. Man kann ihm nicht einfach den Schlüssel zum Gebäude geben und hoffen, er weiß, wann er die Alarmanlage auslösen soll. Man muss ihm erst beibringen, wann es Zeit ist, selbst zu handeln, und wann es besser ist, den Chef zu rufen. Und das geht am besten, wenn man ihm genau erklärt, was ein Fehler kostet.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert ein kritisches, aber oft vernachlässigtes Problem beim Einsatz von Large Language Models (LLMs) in automatisierten Entscheidungsprozessen: Wann sollte ein Agent eigenständig handeln und wann sollte er an einen Menschen eskalieren?

• Das Dilemma: Ein Agent muss entscheiden, ob er seine eigene Vorhersage implementiert (Risiko: Fehlerkosten $c_w$) oder die Entscheidung an einen Menschen delegiert (Kosten: Arbeitskosten $c_\ell$).
• Die Herausforderung: Die Effektivität der Automatisierung hängt von zwei Faktoren ab:
  1. Kalibrierung: Das Modell muss seine eigene Unsicherheit korrekt einschätzen können.
  2. Kostenabwägung: Das Modell muss den erwarteten Fehler gegen die Kosten der Eskalation abwägen.
• Gefahr: Unsichere oder unkalibrierte Modelle eskalieren entweder zu selten (führen zu massiven Fehlern im großen Maßstab) oder zu häufig (heben den Nutzen der Automatisierung auf). Bisherige Studien konzentrierten sich oft nur auf die reine Vorhersagegenauigkeit, nicht auf dieses Eskalationsverhalten.

2. Methodik

Die Autoren modellieren die Eskalation als Entscheidungsproblem unter Unsicherheit und testen dies empirisch über mehrere Domänen und Modellfamilien hinweg.

• Theoretisches Rahmenwerk:

  • Ein Agent erhält eine Eingabe $x$, trifft eine Vorhersage $\hat{y}$ und schätzt die Wahrscheinlichkeit $\hat{p}$ ab, dass diese korrekt ist.
  • Es existiert ein optimaler Schwellenwert $\tau^* = 1 - c_\ell/c_w$. Eskaliert wird, wenn $\hat{p} < \tau^*$.
  • Theorem 1 & 2: Zeigen, dass jede Abweichung vom optimalen Schwellenwert (durch Fehleinschätzung oder Bias) zu vermeidbaren Kosten führt.

• Experimentelles Design:

  • Modelle: 8 Modelle aus 4 Familien (Qwen3.5, GPT-5, Llama 4/3.3, Mixtral/Mistral), jeweils in kleineren und größeren Varianten.
  • Datensätze: 5 Domänen mit menschlichen Entscheidungsdaten:
    1. Nachfrageprognose (Hotelbuchungen).
    2. Kreditvergabe (LendingClub).
    3. Content-Moderation (Wikipedia-Toxizität).
    4. Content-Empfehlung (MovieLens).
    5. Ethische Dilemmata (Moral Machine – als Robustheitscheck).
  • Protokoll: Ein Zwei-Turn-Verfahren.
    • Turn 1: Das Modell erhält ein Szenario und ein Signal (eine externe Referenz zur Vorhersagegenauigkeit, z. B. „Bei FICO > 700 liegt die Akzeptanzrate bei 91%"). Es trifft eine Vorhersage.
    • Turn 2: Das Modell sieht seine Vorhersage und entscheidet: Implementieren oder Eskalieren.
  • Interventionen:
    • Variation der Kostenverhältnisse (Cost Framing).
    • Aktivierung von „Extended Thinking" (Chain-of-Thought).
    • Supervised Fine-Tuning (SFT) auf Chain-of-Thought-Ziele, die explizit Kosten berechnen.

3. Wichtige Ergebnisse

A. Inkonsistente Eskalationsprofile

• Modellspezifische Schwellenwerte: Verschiedene Modelle verwenden völlig unterschiedliche implizite Schwellenwerte ($p^*$), um zwischen Handeln und Eskalieren zu wählen.
  • Beispiel: Qwen3.5-9B eskaliert selten ($p^* \approx 54\%$), während GPT-5-nano extrem vorsichtig ist ($p^* > 91\%$).
• Keine Korrelation mit Größe oder Architektur: Das Skalieren eines Modells (z. B. von 9B auf 397B Parameter) führt nicht zu einer vorhersehbaren Verschiebung des Schwellenwerts. Innerhalb derselben Familie können die Unterschiede drastisch sein (bis zu 38 Prozentpunkte).
• Fehlende Monotonie: Bei einigen Modellen steigt die Eskalationsrate nicht linear mit sinkender Genauigkeit, was auf zusätzliche, nicht kontrollierte Faktoren hindeutet.

B. Fehlkalibrierung (Miscalibration)

• Selbsteinschätzung ist unzuverlässig: Die meisten Modelle sind in ihrer Selbsteinschätzung falsch kalibriert.
  • Manche sind systematisch übermütig (schätzen ihre Genauigkeit höher ein, als sie ist).
  • Andere sind zu vorsichtig.
• Kein Zusammenhang mit Eskalationsverhalten: Ein Modell kann übermütig sein, aber dennoch vorsichtig eskalieren (oder umgekehrt). Die Selbsteinschätzung der Genauigkeit sagt das tatsächliche Eskalationsverhalten nicht vorher.

C. Wirksamkeit von Interventionen

• Prompting allein: Das bloße Hinzufügen von Kosteninformationen („Fehler kosten 4x mehr") hat kaum Effekt.
• Extended Thinking: Das Aktivieren von Denkprozessen (Chain-of-Thought) hilft, ist aber allein nicht ausreichend.
• Kombination (Thinking + Cost Framing): Die Kombination aus explizitem Denken und Kostenrahmen führt zu signifikanten Verbesserungen, insbesondere bei Reasoning-Modellen (z. B. GPT-5-mini: +22,4% Genauigkeit).
• Supervised Fine-Tuning (SFT): Dies ist die robusteste Lösung.
  • Modelle, die auf Chain-of-Thought-Antworten trainiert wurden, die explizit die Genauigkeit aus dem Signal extrahieren und die erwarteten Kosten berechnen, erreichen nahezu 100% Genauigkeit.
  • Diese Modelle generalisieren hervorragend auf neue Datensätze (z. B. MovieLens), neue Kostenverhältnisse und neue Prompt-Formulierungen, die sie während des Trainings nicht gesehen haben.

4. Hauptbeiträge

1. Empirische Charakterisierung: Die Arbeit zeigt erstmals systematisch, dass Eskalationsverhalten eine modellspezifische Eigenschaft ist, die nicht aus Architektur oder Skalierung abgeleitet werden kann.
2. Neue Metrik: Einführung des „impliziten Schwellenwerts" ($p^*$) als Maß für das Eskalationsverhalten, unabhängig von der reinen Vorhersagegenauigkeit.
3. Lösungsansatz: Demonstration, dass Eskalationsverhalten durch gezieltes Training (SFT mit expliziter Kostenbegründung) robust an optimale Richtlinien angepasst werden kann, während reine Prompting-Interventionen oft unzureichend sind.

5. Bedeutung und Implikationen

• Vor Deployment prüfen: Organisationen, die LLMs für kritische Entscheidungen einsetzen, müssen das Eskalationsverhalten ihrer spezifischen Modelle empirisch testen, bevor sie diese einsetzen. Man kann nicht davon ausgehen, dass ein „besseres" (größeres) Modell auch ein „besseres" Eskalationsverhalten hat.
• Robuste Ausrichtung (Alignment): Um LLMs sicher zu automatisieren, reicht es nicht aus, sie nur auf Genauigkeit zu trainieren. Sie müssen explizit darin geschult werden, Unsicherheit und Entscheidungsskosten zu reasoningen.
• Zukunft der Automatisierung: Die Ergebnisse unterstreichen, dass die Integration von LLMs in menschliche Workflows ein aktives Management der Eskalationslogik erfordert, um Fehlerkaskaden zu vermeiden und den menschlichen Arbeitsaufwand effektiv zu reduzieren.

Zusammenfassend stellt das Paper fest, dass Eskalationsverhalten ein „latentes" Modellverhalten ist, das durch Training (SFT) kontrolliert werden kann, aber durch bloße Skalierung oder einfaches Prompting nicht zuverlässig gesteuert wird.