💰 quantitative finance

Measuring Behavior Portability in Large Language Models

Dieses Paper führt ein formales Framework zur Messung der behavioralen Portabilität in großen Sprachmodellen ein und demonstriert durch kontrollierte Experimente, dass deren Entscheidungsverhalten trotz struktureller Äquivalenz aufgrund einer signifikanten Sensitivität gegenüber oberflächlichen Präsentationen nicht zuverlässig über verschiedene Entscheidungsumgebungen hinweg transferierbar ist.

Ursprüngliche Autoren: Tianjia Dong, Nadav Kunievsky, James A. Evans

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianjia Dong, Nadav Kunievsky, James A. Evans

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, hochtrainierten Entscheidungsträger (eine KI), der wie ein Profikoch agiert. Sie möchten wissen, ob dieser Koch das gleiche köstliche Gericht zubereiten kann, egal ob Sie ihn bitten, es in einer schicken französischen Küche, einem rustikalen italienischen Bistro oder einem modernen amerikanischen Diner zu kochen.

Das Paper „Measuring Behavior Portability in Large Language Models“ stellt eine einfache, aber entscheidende Frage: Kann eine KI eine Entscheidung, die sie in einem bestimmten Kontext gelernt hat, auch dann treffen, wenn man ihr das Problem anders beschreibt, selbst wenn die Mathematik und die Belohnungen identisch sind?

Die Autoren nennen dies „Verhaltensportabilität“ (Behavioral Portability).

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Das Kernproblem: Die „Framing“-Falle

Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie eine Pizza aufteilen müssen.

Szenario A: Ihnen wird gesagt: „Du hast eine Pizza. Gib etwas davon deinem Freund.“
Szenario B: Ihnen wird gesagt: „Du hast eine Pizza. Dein Freund ist hungrig und verdient ein Stück davon.“

Mathematisch gesehen sind die Regeln identisch. Der „Ertrag“ (wie viel Pizza Sie bekommen) ist derselbe. Aber die Worte, die die Situation beschreiben, sind unterschiedlich.

Die Forscher testeten, ob Large Language Models (LLMs) über diese unterschiedlichen Formulierungen hinweg konsistent reagieren. Sie fanden heraus, dass die Modelle nicht portabel sind. Genau wie ein Koch, der in einer französischen Küche ein perfektes Steak zubereitet, aber in einer italienischen Küche das Fleisch anbrennt, verändert die KI ihr Verhalten baseraus auf dem „Geschmack“ des Textes, selbst wenn die „Zutaten“ (die Mathematik) dieselben sind.

2. Das Experiment: Sieben ökonomische Spiele

Um die KI zu testen, stellten die Forscher ihr nicht einfach irgendwelche Zufallsfragen. Sie unterzogen die KI sieben klassischen ökonomischen Spielen (wie dem „Dictator Game“, dem „Trust Game“ und der „Lottery Choice“). Diese sind vergleichbar mit standardisierten Fahrprüfungen für Entscheidungsfindung.

Der Aufbau: Sie erstellten dutzende verschiedene „Versionen“ jedes Spiels. In einer Version könnte es darum gehen, Geld mit einem „Kollegen“ zu teilen. In einer anderen könnte es darum gehen, einen „Bonus“ mit einem „Partner“ aufzuteilen.
Der Clou: Die Zahlen, die Regeln und die potenziellen Belohnungen waren exakt gleich. Nur die Geschichte, die um die Zahlen herum erzählt wurde, änderte sich.
Der Test: Sie brachten der KI bei, das Spiel mit den „französischen Küchen“-Geschichten zu spielen. Dann baten sie die KI, dasselbe Spiel mit den „italienischen Bistro“-Geschichten zu spielen.

3. Die Ergebnisse: Die KI lässt sich von der Geschichte verwirren

Die Ergebnisse waren überraschend und besorgniserregend für jeden, der sich auf KI für konsistente Entscheidungen verlässt:

Die KI ist fragil: Wenn sich die Geschichte änderte, änderten sich auch die Entscheidungen der KI signifikant. Ein Modell, das lernte, in einer Geschichte „fair“ zu sein, konnte in einer mathematisch identischen Geschichte „egoistisch“ werden, nur weil die Worte anders waren.
Der „Portabilität“-Score: Die Forscher maßen, wie stark sich das Verhalten der KI verschob. Sie fanden heraus, dass das Verhalten der KI bei sozialen Spielen (wie Teilen oder Vertrauen) sehr instabil war. Es war wie ein Kompass, der wild herumwirbelt, je nachdem, in welche Richtung der Wind weht, obwohl der Polarstern unverändert am Himmel steht.
Die Ausnahme (Lotterien): Die KI war wesentlich stabiler, wenn die Aufgabe rein auf Zahlen und Risiken basierte (wie die Wahl zwischen zwei Lotterien). Es scheint, dass die KI mit Mathematik besser umgehen kann als mit sozialen Geschichten.

4. Hilft „Lautes Denken“? (Chain-of-Thought)

Die Forscher versuchten einen gängigen Trick: die KI anzuweisen, „Schritt für Schritt zu denken“ (Chain-of-Thought oder CoT), bevor sie antwortet.

Die Hoffnung: Vielleicht erklärt die KI ihren Lösungsweg und ignoriert dadurch die ablenkende Geschichte und konzentriert sich stattdümlich auf die Mathematik.
Die Realität: Es half manchmal, aber nicht immer. In einigen Spielen führte das „Laut-Denken“ dazu, dass die KI konsistenter wurde. In anderen (wie dem Ultimatum-Spiel) machte es die KI sogar empfindlicher gegenüber der spezifischen Wortwahl der Geschichte. Es ist wie ein Schüler, der, wenn er aufgefordert wird, seinen Rechenweg zu erklären, manchmal seinen Fehler bemerkt, sich aber in anderen Fällen durch seine eigene Erklärung ablenken lässt und einen neuen Fehler macht.

5. Die „Reasoning“-Modelle

Sie testeten auch ein neueres, „klügeres“ Modell (DeepSeek-R1), das speziell für komplexes logisches Denken entwickelt wurde.

Das Ergebnis: Dieses Modell war besser darin, die Geschichte zu ignorieren und sich auf die Mathematik zu konzentrieren. Es war „portabler“. Dennoch war es nicht perfekt. Selbst das intelligenteste Modell zeigte eine gewisse Instabilität, wenn sich die Geschichte änderte.

Das Fazit

Das Paper kommt zu dem Schluss, dass man nicht davon ausgehen kann, dass das Verhalten einer KI gleich bleibt, nur weil die Mathematik identisch ist.

Wenn Sie eine KI darauf trainieren, faire Entscheidungen in einem spezifischen Satz von Prompts zu treffen, können Sie nicht automatisch darauf vertrauen, dass sie dieselben fairen Entscheidungen trifft, wenn Sie das Problem nur ein wenig anders beschreiben. Die KI ist derzeit zu empfindlich gegenüber dem „Geschmack“ des Textes.

Kurz gesagt: Die KI ist wie ein Reisender, der die Karte perfekt kennt, sich aber verirrt, wenn man ihm das Ziel in einer anderen Sprache beschreibt. Bis wir das beheben, können wir diesen Modellen nicht voll vertrauen, konsistente Entscheidungen in der realen Welt zu treffen, in der Probleme selten zweimal exakt gleich beschrieben werden.

Technisches Resümee: Messung der Verhaltensportabilität in Large Language Models

Problemstellung

Large Language Models (LLMs) werden zunehmend als autonome Entscheidungsträger eingesetzt, die Eingaben auf Verteilungen über Aktionen abbilden. Eine kritische Herausforderung bei ihrer Evaluierung ist die Verhaltensportabilität (behavioral portability): das Ausmaß, in dem eine in einer Entscheidungsumgebung gelernte Verhaltensabbildung auf eine andere Umgebung übertragbar ist, welche dieselbe zugrunde liegende Anreizstruktur (entlohnungsrelevante Merkmale) beibehält, sich aber in der Oberflächenpräsentation (entlohnungsirrelevante Rahmung/Framing) unterscheidet.

Aktuelle Evaluierungspraktiken stützen sich auf endliche Prompt-Suites und setzen implizit voraus, dass die durch ein Modell induzierte Aktionsverteilung unter entlohnungsirrelevanten Umrahmungen stabil bleibt, sobald eine Aufgabe fixiert ist. Diese Annahme ist jedoch ungetestet und potenziell fragil. Wenn das Verhalten eines LLM von entlohnungsirrelevanten Merkmalen (z. B. narrativer Tonfall, spezifische Bezeichnungen oder Framing) abhängt, können endliche Evaluierungen nicht zuverlässig die Leistungsfähigkeit in offenen, realen Einsatzszenarien zertifizieren, in denen der „Vertrag“ zwischen dem Auftraggeber (Principal) und dem Agenten unvollständig ist. Die Arbeit postuliert, dass, wenn ein Modell tatsächlich mit den Zielen eines Evaluators im Einklang steht (aligned), sein Verhalten ausschließlich von entlohnungsrelevanten Variablen ( $x$ ) abhängen und gegenüber entlohnungsirrelevanten Variablen ( $z$ ) invariant sein sollte.

Methodik

Konzeptueller Rahmen

Die Autoren formalisieren eine Entscheidungsumgebung als $e = (x, z)$ , wobei $x$ die entlohnungsrelevanten Merkmale und $z$ die entlohnungsirrelevanten Merkmale darstellt.

Alignment (Ausrichtung): Eine Policy $\pi$ ist aligned, wenn sie die nützlichkeitsmaximierende Aktionsverteilung für ein gegebenes $x$ auswählt, unabhängig von $z$ .
Portabilität: Eine Policy ist $T$ -portabel, wenn eine Verhaltenszusammenfassung $T$ (z. B. die Aktionsverteilung) nur von $x$ abhängt.
Theoretische Implikation: Unter einer Eindeftigkeitsbedingung für das Optimum des Evaluators impliziert Alignment Portabilität. Folglich sollte ein Verhaltensmodell, das auf Quellumgebungen unter Verwendung von nur $x$ gefittet wurde, das Verhalten in einer gehaltenen Zielumgebung (mit derselben $x$ -Verteilung) so genau vorhersagen können wie ein Modell, das direkt auf den Daten der Zielumgebung gefittet wurde.

Empirisches Protokoll

Die Autoren führen ein „Train-on-Environments, Test-on-Another“-Protokoll ein, um die Portabilität zu messen:

Aufgabenauswahl: Sieben kanonische ökonomische Entscheidungsprobleme werden verwendet: Dictator, Ultimatum, Trust, Public Goods, Beauty Contest, Lottery Choice und Normalform-Spiele. Diese Aufgaben bieten transparente, niedrigdimensionale Entlohnungsstrukturen.
Umweltgenerierung: Für jede Aufgabe werden 40 distinkte textuelle Umgebungen ( $z$ ) generiert. Diese variieren in narrativer Rahmung, Metaphern und Stil, während die Entlohungsparameter ( $x$ ) und die Aktionsräume identisch bleiben.
Datenerhebung: LLMs werden über diese Umgebungen mit variierenden Entlohungsparametern abgefragt. Aktionen werden extrahiert und geparst.
Modell-Fitting:
- Source-trained: Ein interpretierbares Verhaltensmodell (Ordinary Least Squares Regression) wird auf gepoolten Daten einer Teilmenge von Quellumgebungen gefittet, welches $x$ auf vorhergesagte Aktionen abbildet.
- Target-trained: Dieselbe Modellarchitektur wird direkt auf den Daten einer gehaltenen Zielumgebung gefittet.
Evaluierung: Beide Modelle werden auf dem gehaltenen Ziel-Testset evaluiert.
Metrik: Die primäre Metrik ist die Total Variation (TV) Distanz zwischen der gemeinsamen Verteilung von (vorhergesagter Aktion, realisierter Aktion), die durch das Source-trained Modell induziert wird, gegenüber dem Target-trained Modell in der Zielumgebung.
- Diese Metrik ist verlustagnostisch: Eine TV-Distanz von $\epsilon$ impliziert, dass für jedes beschränkte Evaluierungskriterium, das auf dem Vorhersage-Aktion-Paar definiert ist, der erwartete Leistungsunterschied zwischen den beiden Modellen höchstens $\epsilon$ beträgt.

Modelle und Bedingungen

Die Studie evaluiert mehrere Modelle: GPT-4.1-nano, Gemma-3-12B, Llama-3.1-8B, Llama-3.1-70B und DeepSeek-R1. Die Experimente werden unter zwei Prompting-Regimen durchgeführt:

Non-CoT: Direkte Antwortgenerierung.
Chain-of-Thought (CoT): Schrittweise Argumentation gefolgt von einer Antwort.

Kernergebnisse

1. Substanzieller Portabilitätsverlust

Die Studie stellt fest, dass die Verhaltensportabilität über alle getesteten Modelle hinweg unvollkommen ist.

Größenordnung: Die mittlere TV-Distanz über Modelle und Spiele hinweg beträgt 0,349, was auf eine signifikante Divergenz hindeutet. Dies impliziert, dass eine in einer Formulierung gelernte Verhaltensabbildung oft nicht das Verhalten in einer entlohungsäquivalenten Alternative vorhersagen kann.
Aufgabenvarianz: Die Portabilität variiert je nach Aufgabentyp.
- Hohe Portabilität: Lottery Choice (TV $\approx$ 0,052), bei der Entscheidungen explizit quantitativ sind.
- Niedrige Portabilität: Soziale und strategische Aufgaben wie Dictator (TV $\approx$ 0,525), Trust (TV $\approx$ 0,525) und Ultimatum (TV $\approx$ 0,480). Diese Aufgaben, die Fairness, Kooperation oder Reziprozität betreffen, zeigen die größte Sensitivität gegenüber dem Framing.

2. Einfluss von Chain-of-Thought (CoT)

CoT-Prompting verbessert die Portabilität im Durchschnitt, geschieht jedoch nicht monoton oder uniform.

Durchschnittliche Verbesserung: CoT reduziert die mittlere TV-Distanz um 0,047 (12,6 %) im Vergleich zu Non-CoT.
Heterogenität: Der Effekt von CoT hängt von der Interaktion zwischen dem Modell, dem spezifischen Spiel und dem Framing ab.
- In Normalform-Spielen reduziert CoT den Portabilitätsverlust drastisch (z. B. -79,7 % für GPT-4.1-nano), wahrscheinlich indem es die Argumentation an die explizite Auszahlungsmatrix bindet.
- In Ultimatum- und Dictator-Spielen erhöht CoT manchmal den Portabilitätsverlust (z. B. +21,3 % für GPT-4.1-nano in Ultimatum), was darauf hindeutet, dass Reasoning-Spuren die Sensitivität für Fairness-Narrative oder spezifische Formulierungen verstärken können, anstatt von ihnen abstrahieren zu können.
Diagnostik: Das Hinzufügen von Umgebungsindikatatoren erhöht das $R^2$ unter Non-CoT stärker als unter CoT, was bestätigt, dass CoT die verbleibende Abhängigkeit von entlohnungsirrelevantem Framing zwar reduziert, aber nicht eliminiert.

3. Reasoning-Modelle

DeepSeek-R1, ein auf logisches Denken spezialisiertes Modell, zeigt eine überlegene Portabilität in den getesteten Aufgaben (Lottery Choice, Beauty Contest, Normal Form).

Es bewegt sich konsistent nahe der besten beobachteten Portabilitätsgrenze.
Mechanismus: DeepSeek-R1 weist eine hohe „numerische Erdung“ auf und erwähnt entlohungsrelevante Parameter in fast 100 % der Antworten. Seine Argumentationsmuster sind um formale Aufgabenstrukturen (z. B. Erwartungswert, Nash-Gleichgewicht) organisiert und nicht um frame-spezifische Narrative.
Nash-Unterstützung: In Normalform-Spielen wählt DeepSeek-R1 in 99,5 % der Fälle Aktionen aus, die durch ein Nash-Gleichgewicht gestützt werden, und übertrifft damit andere Modelle deutlich.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen formalen Rahmen und empirische Belege dafür zu liefern, dass Verhaltenscharakterisierungen von LLMs, die in einer Entscheidungsumgebung gewonnen wurden, nicht zuverlässig auf strukturell äquivalente Alternativen übertragen werden können.

Implikationen für die Evaluierung: Die Ergebnisse stellen die Standardpraxis in Frage, die Leistung aus endlichen Prompt-Suites auf ungesehene textuelle Varianten zu extrapolieren. Wenn die Portabilität gering ist, spiegelt das Verhalten eines Modells in einem Test-Set möglicherweise nicht sein Verhalten im Einsatz wider, selbst wenn die zugrunde liegenden Anreize identisch sind.
Alignment: Die Befunde legen nahe, dass aktuelle LLMs nicht vollständig „aligned“ sind im Sinne einer Invarianz gegenüber entlohnungsirrelevanten Merkmalen. Ihre Entscheidungsprozesse sind sensibel gegenüber der Oberflächenform des „Vertrags“ des Prompts.
Robustheit: Während CoT und spezialisierte Reasoning-Modelle (wie DeepSeek-R1) die Portabilität verbessern können, indem sie die zugrunde liegende entlohnungsrelevante Struktur wiederherstellen, garantieren sie diese nicht. Die Sensitivität gegenüber dem Framing bleibt eine fundamentale Eigenschaft der getesteten Modelle.

Die Studie schließt, dass Portabilität ein empirisches Objekt ist, das gemessen werden muss, und keine Eigenschaft, die durch eine endliche Suite zertifiziert werden kann, und dass das Erreichen echter Verhaltensportabilität in LLMs eine signifikante Herausforderung bleibt.