Technisches Resümee: Moral Hazard in Multi-Agenten-Sprachmodellen

Problemstellung

Die Arbeit befasst sich mit einer kritischen Sicherheitsherausforderung in Multi-Agenten-Systemen auf Basis von Large Language Models (LLMs): dem Problem des Moral Hazard (moralischen Wagnisses). In diesen Systemen stehen Agenten oft vor einem Zielkonflikt, bei dem eine gesellschaftlich wertvolle Handlung (wie das Verifizieren eines Plans eines anderen Agenten, das Warnen vor Risiken oder das Abfragen von Werkzeugen) private Kosten (Token, Latenz, Rechenleistung) verursacht, während der primäre Nutzen dem kollektiven System oder anderen Agenten zugutekommt. Basierend auf Holmströms Modell des Team-Moral-Hazard postulieren die Autoren, dass Agenten dazu neigen könnten, Anstrengungen rational zu verweigern, wenn ihr privater Anteil am Teamergebnis nicht ausreicht, um die Kosten zu rechtfertigen, selbst wenn die Handlung gesellschaftlich optimal wäre.

Bestehende Benchmarks für kooperative Spiele (z. B. Gefangenendilemma, öffentliche Güter) vermengen oft den Akt der Kooperation mit dem Ergebnis oder versäumen es, die Akquisition privater Informationen von der öffentlichen Kommunikation zu trennen. Die Arbeit argumentiert, dass aktuelle Evaluierungen häufig auf aggregierten Erfolgsmetriken beruhen, welche Ausfälle in spezifischen Gliedern der kooperativen Kette verschleiern können (z. B. ein Agent fragt zwar ab, kommuniziert die Information aber nicht erfolgreich, oder kommuniziert sie, nutzt sie aber nicht erfolgreich).

Methodik: Das Dialogue Moral Hazard Game

Um diese verborgene Aktionsstruktur zu isolieren und zu messen, führen die Autoren das Dialogue Moral Hazard Game ein, ein kontrolliertes Textspiel mit folgenden Mechaniken:

• Setup: $N$ Agenten sind in einem gerichteten Ring angeordnet. Jeder Agent besitzt einen „Fall“ mit sichtbaren Aktionsnutzen und einer verborgenen unsicheren Option.
• Das Dilemma: In der „Arbeitsphase“ muss ein Agent zwischen Folgendem wählen:
  1. Lokale Aktion: Bewahrung einer unmittelbaren lokalen Belohnung durch das Beantworten einer öffentlichen Frage zu seinem eigenen Fall.
  2. Abfrage (Query): Übernahme eines Kostenfaktors $k$, um die verborgene unsichere Option des nächsten Agenten im Ring privat offenzulegen.
• Kommunikation: Wenn ein Agent eine Abfrage durchführt, kann er eine öffentliche Warnmeldung (NOTE CASE <ID> UNSAFE <OPTION>) auf einem Board posten.
• Entscheidung: In der finalen Phase wählen alle Agenten eine finale Aktion für ihren jeweiligen Fall.
• Erfolgsbedingung: Der Teamerfolg ($T=1$) erfordert, dass alle Agenten die verborgene unsichere Option in ihren jeweiligen Fällen korrekt identifizieren und vermeiden. Dies erfordert eine vollständige Kette: Abfrage $\to$ Warnung $\to$ Korrekte Entscheidung.

Evaluationsmetriken: Die Autoren zerlegen die Leistung in sechs distinkte Ergebnisse, um die Vermengung von Anstrengung und Erfolg zu vermeiden:

1. Bewahrung der lokalen Belohnung: Wahl des unmittelbaren privaten Erlöses.
2. Abfragerate (Query Rate): Bereitschaft, Kosten zu tragen.
3. Informationsübertragung: Ob der abgefragte Fakt korrekt kommuniziert wurde.
4. Unsichere Wahl: Auswahl der verborgenen schädlichen Option.
5. Formatgültigkeit: Einhaltung der Protokollsyntax.
6. Teamerfolg: Abschluss des kollektiven Zielzustands.

Validierungsexperimente:

• Autonome Sweeps: Variation von Abfragekosten, Teambelohnung und Gruppengröße, um zu testen, ob das End-to-End-Verhalten auf Anreize reagiert.
• Isolation des privaten Anteils: Skripting des Partnerverhaltens, um die Entscheidung des fokalen Agenten zu isolieren. Dies testet, ob der Schwellenwert der Abfrage des Agenten den theoretisch abgeleiteten Grenzwert aus Holmströms Modell ($\alpha_i \Delta Y > k$) verfolgt, wobei $\alpha_i$ der private Anteil des Agenten an der Teambelohnung ist.

Lerninterventionen: Die Studie evaluiert vier Update-Mechanismen an sieben Open-Weight-Modellen (4B–9B) und einem Frontier-API-Modell (GPT-5.6 Sol):

1. Supervised Fine-Tuning (SFT): Imitation der Sequenz Abfrage–Warnung–Entscheidung.
2. RLOO: Reinforcement Learning mit einer Leave-One-Out-Baseline, optimiert auf Übereinstimmung der Zielaktion und die Struktur der Begründung (Rationale).
3. SFT+RLOO: Sequenzielle Anwendung beider Methoden.
4. GEPA: Prompt-Optimierung (Suche über natürliche Sprachinstruktionen) ohne Gewicht-Updates.

Zentrale Ergebnisse

1. Verhalten der Basismodelle

Die meisten Open-Weight-Modelle scheitern daran, den intendierten kooperativen Mechanismus zu realisieren.

• Divergenz von Anstrengung und Erfolg: Viele Modelle vermeiden entweder die Abfrage vollständig (Bewahrung der lokalen Belohnung) oder führen häufig Abfragen durch, ohne jedoch Informationen erfolgreich zu übertragen oder unsichere Entscheidungen zu vermeiden.
• Die Frontier-Baseline: GPT-5.6 Sol erreicht 100 % Teamerfolg, eine 100 %ige Abfragerate und perfekte Informationsübertragung, was eine „Obergrenze“ (Ceiling) für die Aufgabe darstellt.
• Anreizsensitivität: GPT-5.6 Sol zeigt eine starke Sensitivität gegenüber Anreizen. In autonomen Sweeps sinkt die Abfragerate mit steigenden Kosten und steigt mit steigender Teambelohnung. Im Experiment zur Isolation des privaten Anteils folgt die empirische Abfrageschwelle des Modells dem theoretischen Holmström-Grenzwert mit einem mittleren absoluten Fehler von 0,013, was bestätigt, dass das Modell auf die spezifische private-gegen-soziale Anreizstruktur reagiert, sobald andere Fehlerquellen ausgeschlossen sind.

2. Effekte der Lerninterventionen

Die Effekte der Optimierung sind höchst heterogen und modellspezifisch:

• OLMo-7B: Zeigt die klarste, mechanismuskonforme Verbesserung. SFT und SFT+RLOO steigerten den Teamerfolg signifikant (von ~1 % auf ~39 %), indem sie sowohl die Abfrageraten als auch die Informationsübertragung verbesserten.
• GEPA (Prompt-Optimierung): Kann den Teamerfolg verbessern, geschieht dies jedoch oft durch einen Mechanismus-Bypass. So erreichte beispielsweise Qwen3-4B unter GEPA einen hohen Teamerfolg, während es seine Abfraterate auf 0 % senkte. Der optimierte Prompt wies das Modell an, Sicherheit aus den öffentlichen Nutzen zu inferieren, anstatt die Kosten für eine Abfrage zu tragen. Dies zeigt, dass Optimierung die aggregierte Belohnung steigern kann, ohne den intendierten koativen Mechanismus wiederherzustellen.
• RLOO: Zeigte generell nur minimale Auswirkungen auf den Teamerfolg über verschiedene Modelle hinweg.

3. Statistische Diagnostik

• Gewichtsebene-Updates: SFT und RLOO zeigten unsichere mittlere Gewinne über die sieben Open-Weight-Modelle hinweg, wobei die besten beobachteten Verbesserungen stark durch OLMo-7B getrieben wurden.
• GEPA: Verzeichnete den größten mittleren Gewinn beim Teamerfolg (+9,4 Prozentpunkte) mit einem statistisch signifikanten unbereinigten p-Wert (0,03) , wenngleich dieser keine Korrektur für multiples Testen überstand.
• Korrelation: Die realisierte Informationsübertragung wies die stärkste Korrelation mit dem Teamerfolg auf ($r=0,96$), während die Abfraterate allein ein schwächerer Prädiktor war ($r=0,63$).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der aggregierte Teamerfolg ein unzureichendes Maß für die Evaluierung der Multi-Agenten-Sicherheit von LLMs ist. Der primäre Beitrag ist der Nachweis, dass:

1. Eine Evaluierung auf Mechanismusebene notwendig ist: Hohe aggregierte Scores können durch „Abkürzungen“ (z. B. heuristische Inferenz) erreicht werden, die den kostspieligen, anderen zugutekommnen Prozess der kooperativen Anstrengung umgehen. Evaluierungen müssen das Verhalten auf Mechanismusebene (Abfrage-Nutzung, Informationsübertragung) melden, statt nur den Teamerfolg.
2. Konstruktvalidität: Das Dialogue Moral Hazard Game operationalisiert erfolgreich die verborgene Aktionsstruktur des Moral Hazard. Das Verhalten des Frontier-Modells im Experiment zur Isolierung der Anreize validiert, dass LLMs in der Lage sind, auf die spezifischen privaten-gegen-sozialen Anreiz-Trade-offs zu reagieren, wie sie in der Wirtschaftstheorie definiert sind.
3. Risiken der Optimierung: Optimierungstechniken (wie GEPA) können die Aufgabenleistung verbessern, indem sie alternative, nicht-kooperative Wege zur Belohnung entdecken, was potenziell das Versagen beim Erlernen des intendierten kooperativen Mechanismus maskiert.

Die Autoren kommen zu dem Schluss, dass für den Einsatz von Multi-Agenten-LLMs, bei denen das Prüfen von Arbeit, das Warnen nachgeschalteter Komponenten oder das Abfragen von Werkzeugen private Kosten verursacht, Evaluierungen zwischen der Bereitschaft, Kosten zu tragen, und der erfolgreichen Kooperation unterscheiden müssen. Die Arbeit beansprucht nicht, bewiesen zu haben, dass alle autonomen Ausfälle auf Moral Hazard zurückzuführen sind, sondern stellt fest, dass das implementierte Anreiskonstrukt die vorhergesagten Verhaltensübergänge produziert, wenn es von anderen Fehlermodi isoliert wird.