💬 NLP

Impact of Task Phrasing on Presumptions in Large Language Models

Diese Studie zeigt, dass die Formulierung von Aufgaben die Bildung von Präsumtionen in großen Sprachmodellen erheblich beeinflusst, ihre Anpassungsfähigkeit und logische Schlussfolgerung bei Entscheidungsaufgaben wie dem iterierten Gefangenendilemma beeinträchtigt und damit die dringende Notwendigkeit einer neutralen Formulierung zur Gewährleistung von Sicherheit und Zuverlässigkeit unterstreicht.

Ursprüngliche Autoren: Kenneth J. K. Ong

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kenneth J. K. Ong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, gut gebildeten Roboter darin, ein Spiel zu spielen. Dieser Roboter hat Millionen von Büchern, Artikeln und Geschichten gelesen und kennt daher die „Regeln der Welt" sehr gut. Doch hier liegt der Haken: Manchmal ist der Roboter so gut darin, sich daran zu erinnern, was er normalerweise sieht, dass er aufhört, auf das zu achten, was sich tatsächlich vor ihm befindet.

Dieser Artikel ist wie ein Krimi, der genau dieses Problem untersucht. Der Autor, Kenneth Ong, wollte herausfinden, ob Large Language Models (LLMs) – die Gehirne hinter KI-Chatbots – in ihren eigenen Annahmen stecken bleiben, wenn sich die Regeln eines Spiels ändern.

Das Spiel: Eine Wendung des „Gefangenendilemmas"

Um dies zu testen, verwendete der Autor ein klassisches spieltheoretisches Szenario namens Iteriertes Gefangenendilemma. Stellen Sie sich dies als ein Spiel zwischen zwei Verdächtigen in einer Polizeizelle vor.

Die normalen Regeln: Wenn beide schweigen (Kooperation), erhalten sie eine kurze Haftstrafe. Wenn einer den anderen verrät (Defektion), geht der Verräter frei aus, während der Schweigende eine lange Haftstrafe erhält.
Die Falle: Der Autor erstellte eine „umgedrehte" Version des Spiels. In dieser Version sind die Belohnungen vertauscht. Jetzt führt das Verraten der anderen Person tatsächlich zu einem schlechteren Ergebnis für Sie, während Schweigen der beste Zug ist.

Das Ziel war einfach: Wenn die KI wirklich logisch denkt, sollte sie die neuen Regeln betrachten und ihre Strategie ändern. Wenn sie sich nur auf „Vermutungen" (das, was sie denkt, das Spiel sein sollte) verlässt, wird sie weiterhin auf die alte Weise spielen, obwohl sich die Regeln geändert haben.

Die drei Experimente: Wie der Roboter gebeten wurde, zu spielen

Der Autor führte drei verschiedene Tests durch und änderte dabei jedes Mal die Formulierung der Anweisungen.

1. Der „Namensnennungs"-Test (Explizite Benennung)

Der Aufbau: Der Prompt lautete explizit: „Sie spielen das Iterierte Gefangenendilemma." Er verwendete die Wörter „Gefangener", „kooperieren" und „defektieren".
Das Ergebnis: Die KI versagte vollständig. Selbst wenn die Regeln umgedreht waren, wählte die KI weiterhin genau wie im ursprünglichen Spiel „kooperieren" (oder „defektieren", je nach Modell).
Die Analogie: Es ist, als würde man einem Koch sagen: „Machen Sie mir ein klassisches Beef Wellington", ihm dann aber ein Rezept für einen vegetarischen Eintopf in die Hand drücken. Der Koch, der „Beef Wellington" hört, ignoriert das neue Rezept und fängt trotzdem an, Rindfleisch zu kochen, weil das der Name impliziert. Die KI war so auf den berühmten Namen des Spiels fokussiert, dass sie die tatsächlichen Zahlen auf dem Blatt ignorierte.

2. Der „Vage Beschreibung"-Test (Versteckter Name)

Der Aufbau: Der Prompt entfernte die Wörter „Gefangenendilemma", verwendete aber weiterhin die Wörter „Gefangener", „kooperieren" und „defektieren".
Das Ergebnis: Die KI hatte immer noch Schwierigkeiten. Sie schien zu erkennen, dass es sich um ein „Gefangenendilemma" handelte, nur anhand der Kontexthinweise (die Haftstrafen und die spezifischen Begriffe). Sie verließ sich weiterhin auf ihre Trainingsdaten statt auf die neuen, umgedrehten Regeln.
Die Analogie: Dies ist wie das Beschreiben eines „Beef Wellington" ohne den Namen zu verwenden, aber mit den Worten: „Es ist ein berühmtes britisches Gericht mit Blätterteig und Rindfleisch." Der Koch weiß immer noch, was Sie wollen, und ignoriert die neuen Anweisungen.

3. Der „Neutrale Code"-Test (Abstrakte Variablen)

Der Aufbau: Der Prompt entfernte alles Vertraute. Keine „Gefangenen", kein „kooperieren", kein „defektieren". Stattdessen wurden abstrakte Bezeichnungen verwendet: „Wahl X" und „Wahl Y" sowie „Verlust von Dollar" anstelle von „Haftzeit".
Das Ergebnis: Erfolg! Als die KI sich nicht mehr auf ihre Erinnerung an das berühmte Spiel verlassen konnte, betrachtete sie tatsächlich die neuen Regeln. Wenn die Regeln umgedreht wurden, änderte die KI ihre Strategie, um der neuen Mathematik zu entsprechen.
Die Analogie: Dies ist wie dem Koch eine Liste mit Zutaten und Anweisungen zu geben, ohne das Gericht zu benennen. „Mischen Sie Mehl, Butter und Rindfleisch." Wenn Sie die Anweisungen ändern in „Mischen Sie Mehl, Butter und Tofu", folgt der Koch tatsächlich der neuen Liste, weil er nicht vom Namen des Gerichts abgelenkt wird.

Die überraschende Wendung: Nachdenken kann es verschlimmern

Eines der interessantesten Ergebnisse betraf das „Schlussfolgern". Der Autor bat die KI, vor der Antwort „Schritt für Schritt zu denken".

Die Erkenntnis: In den ersten beiden Tests machte das Auffordern der KI zum Nachdenken sie tatsächlich sturer. Die KI würde einen langen, logischen Absatz schreiben, der erklärt, warum sie der „Tit-for-Tat"-Strategie folgen sollte (eine berühmte Strategie für das ursprüngliche Spiel), und ignorierte dabei völlig die Tatsache, dass sich die Regeln geändert hatten.
Die Analogie: Es ist wie ein Schüler, der den Lösungsschlüssel für einen Mathe-Test auswendig gelernt hat. Wenn Sie die Zahlen in der Aufgabe ändern, aber von ihm verlangen, „seine Arbeit zu zeigen", schreibt er vielleicht eine perfekte, logische Erklärung dafür, warum die alte Antwort richtig ist, und verpasst dabei völlig, dass sich die Frage selbst geändert hat.

Das Fazit

Der Artikel kommt zu dem Schluss, dass KI-Modelle wie Schüler sind, die für eine bestimmte Prüfung zu viel gelernt haben. Sie kennen die „Standardantworten" so gut, dass sie, wenn Sie die Frage leicht ändern, dies möglicherweise nicht bemerken.

Das Problem: Wenn wir KI Aufgaben mit vertrauten Namen oder Szenarien geben (wie „Gefangenendilemma"), verlässt sich die KI auf ihre „Vermutungen" über diese Szenarien, anstatt auf die spezifischen Anweisungen, die Sie gerade gegeben haben.
Die Lösung: Um die KI dazu zu bringen, den tatsächlichen Regeln zu folgen, die Sie ihr geben, sollten Sie die Aufgabe in einer neutralen, abstrakten Weise beschreiben. Sagen Sie ihr nicht, was das Spiel ist; sagen Sie ihr einfach, was die Regeln sind.

Kurz gesagt: Wenn Sie wollen, dass sich eine KI an eine neue Situation anpasst, erinnern Sie sie nicht an die alte. Sprechen Sie in „Variablen" (X und Y) statt in „berühmten Namen".

1. Problemstellung

Das Papier adressiert ein kritisches Sicherheits- und Zuverlässigkeitsproblem beim Einsatz von Large Language Models (LLMs) für agentic AI-Aufgaben: die Anfälligkeit von LLMs für „Annahmen" (Presumptions), die aus vortrainiertem Wissen und der Formulierung der Aufgabe abgeleitet werden.

Das Kernproblem: LLMs werden auf riesigen Datensätzen trainiert, die gängige Szenarien enthalten (z. B. das wiederholte Gefangenendilemma). Wenn sie mit einer Aufgabe konfrontiert werden, verlassen sie sich oft auf diese internen Annahmen, anstatt strikt an die spezifischen Parameter zu halten, die im Prompt angegeben sind.
Das Risiko: In realen Anwendungen, bei denen die Aufgabenparameter von Standardannahmen abweichen können (z. B. veränderte Belohnungsstrukturen), kann ein LLM, das sich auf Annahmen verlässt, suboptimale oder unlogische Entscheidungen treffen, selbst wenn es explizit angewiesen wird, zu reasoning.
Forschungsfrage: Passen LLMs ihre Entscheidungsfindung an spezifische, veränderte Aufgabenparameter an, oder greifen sie auf „gelernte" Strategien zurück, die mit dem Namen oder dem Kontext der Aufgabe verbunden sind?

2. Methodik

Die Autoren untersuchten dieses Phänomen unter Verwendung des wiederholten Gefangenendilemmas (IPD) als kontrollierte Fallstudie.

Experimentelles Design

Die Studie nutzte zwei Modelle:

GPT-4o (Closed-source)
Mistral-Nemo-Instruct-2407 (Open-source)

Die Experimente wurden unter zwei Bedingungen der Belohnungsmatrix durchgeführt:

Standard-Matrix: Die klassische IPD-Auszahlungsstruktur (Kooperation/Kooperation = 1 Jahr; Defektion/Kooperation = 0/5 Jahre, usw.).
Umgekehrte Matrix: Die Belohnungen und Strafen wurden invertiert (z. B. führt gegenseitige Defektion zu 1 Jahr, gegenseitige Kooperation zu 3 Jahren). In einer umgekehrten Matrix kehrt sich die logisch optimale Strategie um.

Die Studie war in drei Phasen unterteilt, um den Einfluss der Formulierung zu isolieren:

Experiment 1 (Expliziter IPD-Kontext): Der Prompt gab explizit an: „Sie spielen ein wiederholtes Gefangenendilemma." Die Modelle wurden mit und ohne „Chain-of-Thought" (Schritte des reasoning) getestet.
Experiment 2 (Impliziter Kontext): Der Prompt entfernte den Begriff „wiederholtes Gefangenendilemma", behielt jedoch die Begriffe „Gefangener", „kooperieren" und „defektieren" sowie die Standard-Belohnungsregeln bei.
Experiment 3 (Neutrale/Symbolische Formulierung): Der Prompt entfernte alle spezifischen IPD-Terminologien.
- „Gefangene" $\rightarrow$ „Spieler"
- „Kooperieren/Defektieren" $\rightarrow$ „Wahl X/Y"
- „Gefängnisjahre" $\rightarrow$ „Verlorene Dollar"
- Die Belohnungsmatrix wurde rein als Satz von Regeln für X und Y präsentiert.

Metriken: Die primäre Metrik war die Defektionsrate (oder äquivalente „Y"-Auswahlrate) in der ersten Runde des Spiels.

Hypothese: Wenn das Modell logisch ist, sollte sich die Defektionsrate umkehren, wenn die Matrix invertiert wird. Wenn das Modell sich auf Annahmen verlässt, bleibt die Defektionsrate unabhängig von der Matrixänderung konstant.

3. Wichtige Ergebnisse

Experiment 1: Expliziter IPD-Kontext

Ergebnis: Sowohl GPT-4o als auch Mistral-Nemo zeigten eine Defektionsrate von 0% sowohl unter Standard- als auch unter umgekehrten Bedingungen.
Analyse: Die Modelle ignorierten die invertierte Belohnungsmatrix vollständig. Ihre reasoning-Schritte offenbarten, dass sie auf die Strategie „Tit-for-Tat" (Beginn mit Kooperation) zurückgriffen, eine bekannte Heuristik für das Standard-IPD. Sie versagten darin, sich an die veränderten Anreize anzupassen.
Beobachtung: Die Einbeziehung von reasoning-Schritten verhinderte dieses Versagen nicht; tatsächlich nutzten die Modelle das reasoning, um ihre auf Annahmen basierende Wahl zu rechtfertigen.

Experiment 2: Impliziter Kontext (Begriffe beibehalten)

Ergebnis:
- Mistral-Nemo: Bleibt bei ca. 0% Defektionsrate in beiden Bedingungen (versagte bei der Anpassung).
- GPT-4o: Zeigte eine teilweise Anpassung. Die Defektionsrate stieg von 0% (Standard) auf 0,35% (Umgekehrt mit reasoning) und 0,70% (Umgekehrt ohne reasoning).
Analyse: GPT-4o begann, die Regeln abzuleiten, hatte aber immer noch Schwierigkeiten. Selbst mit reasoning halluzinierte es oft die Regeln oder versagte darin, seine Strategie vollständig umzukehren, was darauf hindeutet, dass das Vorhandensein von Begriffen wie „Gefangener" und „kooperieren" immer noch starke vorherige Verzerrungen auslöste.

Experiment 3: Neutrale/Symbolische Formulierung

Ergebnis: Beide Modelle zeigten eine signifikante Anpassung.
- GPT-4o: Die Defektionsrate verschob sich von 0,05 (Standard) auf 1,00 (Umgekehrt).
- Mistral-Nemo: Die Defektionsrate verschob sich von 0,11 (Standard) auf 0,75 (Umgekehrt).
Analyse: Als die spezifische IPD-Terminologie entfernt und durch abstrakte Variablen (X/Y) ersetzt wurde, analysierten die Modelle erfolgreich die bereitgestellte Belohnungsmatrix und kehrten ihre Strategie um, um sich an die neuen Anreize anzupassen.
Nuance: GPT-4o leitete gelegentlich immer noch ab, dass „Y" aufgrund der Struktur „Kooperation" entspricht, was darauf hindeutet, dass einige verbleibende Annahmen bestehen bleiben, aber die logische Einhaltung der expliziten Regeln des Prompts war erheblich verbessert.

4. Wichtige Beiträge

Nachweis der Annahmen-Verzerrung: Das Papier liefert empirische Belege dafür, dass LLMs oft vortrainiertes Wissen (z. B. „Tit-for-Tat ist die beste IPD-Strategie") expliziten, widersprüchlichen Aufgabenparametern vorziehen.
Die „Reasoning-Falle": Ein kontraintuitiver Befund, dass Chain-of-Thought (CoT)-reasoning die Annahmen-Verzerrung nicht notwendigerweise mindert. Im Experiment 1 wurden reasoning-Schritte genutzt, um die falsche, auf Annahmen basierende Strategie zu rationalisieren, anstatt sie zu korrigieren.
Formulierungssensitivität: Die Studie quantifiziert, wie spezifische Schlüsselwörter („Gefangenendilemma", „Kooperieren") als Auslöser für latente Verzerrungen wirken, während neutrale, symbolische Formulierungen das Modell zwingen, sich auf den unmittelbaren Kontext zu verlassen.
Methodischer Rahmen: Ein dreiphasiges Experimentaldesign isoliert effektiv den Einfluss des semantischen Kontexts von der logischen Regelbefolgung.

5. Bedeutung und Implikationen

Sicherheit in Agentic AI: Für KI-Agenten, die in dynamischen, realen Umgebungen (z. B. Gesundheitswesen, Finanzen) operieren, kann das Verlassen auf „Standard"-Annahmen gefährlich sein. Wenn ein Agent ein Standard-Risikoprofil annimmt, sich die Umgebung jedoch ändert, kann dies katastrophal scheitern.
Best Practices für Prompt Engineering: Die Autoren schlussfolgern, dass zur Gewährleistung der Zuverlässigkeit Aufgabenbeschreibungen symbolisch und neutral sein sollten. Die Vermeidung von Referenzen auf gut untersuchte Szenarien (wie IPD, Schach oder spezifische medizinische Diagnosen) verhindert, dass das Modell seine Trainingsdaten nutzt, um „die Lücken zu füllen".
Grenzen aktueller LLMs: Die Ergebnisse deuten darauf hin, dass die aktuellen reasoning-Fähigkeiten nicht robust genug sind, um starke Priors zu überwinden, wenn der Aufgabenkontext semantisch aufgeladen ist. Die Modelle sind „kontextuell starr" und nicht „logisch flexibel", wenn vertraute Konzepte invoked werden.

Zusammenfassend argumentiert das Papier, dass die Formulierung der Aufgabe eine kritische Kontrollvariable beim Einsatz von LLMs ist. Um echte Anpassungsfähigkeit zu erreichen, müssen Entwickler semantische Auslöser entfernen, die Annahmen einladen, und das Modell zwingen, sich strikt an die bereitgestellten logischen Einschränkungen zu halten.