💻 computer science

Preference Optimization Drives Monoculture in LLM Prediction Markets

Diese Arbeit zeigt auf, dass Direct Preference Optimization (DPO) dazu führt, dass LLM-Agenten in Prognosemärkten hochgradig korrelierte Fehler entwickeln, was eine „Monokultur“ schafft, die die effektive Anzahl unabhängiger Prognostiker drastisch reduziert und die kollektive Genauigkeit des Marktes untergräbt.

Ursprüngliche Autoren: James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Prognosemarkt wie ein riesiges, hochgestochenes Spiel des „Raten der Antwort“ vor. In einem gesunden Spiel möchte man eine Menge von Menschen, die alle unterschiedlich denken. Wenn eine Person falsch rät, weil sie einen Fakt vergessen hat, und eine andere falsch rät, weil sie die Frage missverstanden hat, heben sich ihre Fehler gegenseitig auf. Die durchschnittliche Schätzung der Menge wird unglaublich genau. Das funktioniert deshalb, weil die Fehler aller Beteiligten unabhängig sind – wie ein Vogelschwarm, bei dem jeder Vogel seinen eigenen Pfad fliegt.

Dieses Paper fragt: Was passiert, wenn die gesamte Menge aus Robotern besteht, die alle nach demselben Bauplan gebaut und von demselben Lehrer unterrichtet wurden?

Die Antwort ist überraschend: Die Roboter machen alle exakt dieselben Fehler zur exakt gleichen Zeit.

Hier ist die Aufschlüsselung der Ergebnisse des Papers unter Verwendung einfacher Analogien:

1. Das „Klone-Armee“-Problem

Die Forscher testeten einen Markt mit 10 KI-Agenten. Sie erwarteten, dass der Markt klüger als ein einzelner KI-Agent sei, da zehn Köpfe meist besser sind als einer.

Die Realität: Der 10-KI-Markt schnitt schlechter ab als eine einzelne KI, die alleine arbeitet.
Die Analogie: Stellen Sie sich vor, Sie haben 10 identische Zwillinge, die alle zur selben Schule gingen, dieselben Bücher lasen und von demselben strengen Lehrer unterrichtet wurden. Wenn Sie ihnen eine Matheaufgabe stellen und sie alle falsch lösen, liegt das nicht daran, dass sie schlecht in Mathe sind; es liegt daran, dass ihnen alle dieselbe falsche Methode beigebracht wurde.
Das Ergebnis: Obwohl es 10 Agenten gab, agierten sie wie nur 1,4 unabhängige Denker. Der Markt wurde nicht klüger, indem man mehr Roboter hinzufügte; er wurde lediglich sicherer in seinen gemeinsamen Irrtümern.

2. Der Übeltäter: „Der Liebling des Lehrers“ (Präferenzoptimierung)

Warum verhielten sich die Roboter so ähnlich? Das Paper weist auf eine spezifische Trainingsmethode hin, die Direct Preference Optimization (DPO) genannt wird.

Die Analogie: Betrachten Sie DPO als einen Lehrer, der einem Schüler sagt: „Gib mir nicht einfach irgendeine Antwort. Gib mir die Antwort, die am höflichsten, sichersten und am besten auf das abgestimmt klingt, was ich von dir hören möchte.“
Der Effekt: Wenn Sie viele verschiedene KI-Modelle mit demsem „Lehrer“ trainieren, lernen sie alle, ihre einzigartigen, seltsamen oder kreativen Gedanken zu unterdrücken und zu einer einzigen, „sicheren“ Art der Beantwortung zu konvergieren.
Der Beweis des Papers: Die Forscher führten ein kontrolliertes Experiment durch. Sie nahmen zwei Gruppen von Robotern. Eine Gruppe wurde nur mit Fakten unterrichtet (SFT). Die andere Gruppe wurde mit Fakten plus der Regel „sei sicher/höflich“ unterrichtet (DPO).
- Die „nur Fakten“-Gruppe machte unterschiedliche Fehler (geringe Korrelation).
- Die „sei sicher“-Gruppe machte die gleichen Fehler (hohe Korrelation).
- Schlussfolgerung: Der Akt, die KI „besser“ oder „sicherer“ zu machen, ist genau das, was sie alle gleich denken ließ.

3. Mehr Roboter helfen nicht

Man könnte denken: „Wenn 10 Roboter schlecht sind, versuchen wir es mit 40!“

Die Realität: Das Hinzufügen von mehr Robotern bewirkte nichts. Die Genauigkeit des Marktes blieb flach.
Die Analogie: Wenn Sie einen kaputten Kompass haben, der leicht nach Westen zeigt, hilft es nicht, 100 Kompasse zu haben. Sie werden alle zusammen leicht nach Westen zeigen. Das Paper fand heraus, dass egal wie viele identische KI-Roboter man hinzufügte, die „effektive Anzahl“ intelligenter Denker bei etwa 1,4 feststeckte.

4. Die Lösung: Marken mischen

Das Paper testete Wege, um diese „Monokultur“ (ein Feld, in dem nur eine Art von Nutzpflanze wächst) zu durchbrechen.

Die Lösung: Mischen Sie verschiedene Arten von KI-Modellen zusammen (z. B. das Mischen eines „Llama“-Roboters mit einem „Qwen“-Roboter).
Die Analogie: Anstatt eines Raumes voller identischer Zwillinge, bringen Sie eine Gruppe von Menschen aus verschiedenen Hintergründen, Schulen und Kulturen zusammen. Selbst wenn sie alle dieselben Fakten kennen, werden sie das Problem unterschiedlich angehen.
Das Ergebnis: Das Mischen verschiedener KI-Modelle reduzierte die „Ähnlichkeit“ erheblich. Der Markt wurde viel effektiver und agierte so, als hätte er etwa 2,2 unabhängige Denker statt 1,4.

5. Der „selbstregulierende“ Markt

Das Paper untersuchte auch, was passiert, wenn ein „böswilliger Akteur“ versucht, den Markt zu täuschen.

Die Erkenntnis: Da die ehrlichen Roboter so selbstbewusst sind und sich untereinander einig sind, bewegt sich der Marktpreis sehr schnell. Ein böswilliger Akteur müsste ein Vermögen ausgeben, um den Preis gegen den Strom der Menge zu ändern.
Die Analogie: Stellen Sie sich eine Menge von 100 Menschen vor, die alle rufen: „Der Himmel ist blau!“ Wenn eine Person versucht zu rufen: „Nein, er ist grün!“, bräuchte sie ein enormes Megafon (und viel Geld), um gehört zu werden. Das System schreckt den böswilligen Akteur natürlich davon ab, es überhaupt zu versuchen, da es zu teuer ist, gegen die Menge anzukämpfen.

Zusammenfassung

Das Paper warnt uns davor, dass wir vorsichtig sein müssen, wenn wir mehr KI-Agenten bauen, die handeln, vorhersagen oder Entscheidungen treffen sollen. Wenn wir sie alle mit denselben „Sicherheitsregeln“ trainieren, hören sie auf, eine vielfältige Menge zu sein, und werden zu einer Monokultur – einer Gruppe, die im Gleichschritt denkt.

Die gute Nachricht: Wir können dies beheben, indem wir verschiedene Arten von KI-Modellen miteinander mischen.
Die schlechte Nachricht: Einfach mehr der gleichen KI-Modelle hinzuzufügen, macht das System nicht klüger, sondern nur beharrlicher im Irrtum.

Kurz gesagt: Diversität ist nicht nur ein nettes Extra für KI-Märkte; sie ist das Einzige, was verhindert, dass sie gemeinsam scheitern.

Technisches Resümee: Präferenzoptimierung treibt Monokultur in LLM-Prognosemärkten voran

1. Problemstellung

Prognosemärkte stützen sich auf die theoretische Annahme, dass die Fehler der Teilnehmer unabhängig sind; unter dieser Bedingung konvergieren Marktpreise gegen die beste Schätzung der Menge (Wolfers & Zitzewitz, 2004; Hanson, 2003). Da LLM-Agenten jedoch zunehmend aktive Händler auf Plattformen wie Kalshi und Polymarket werden, stellt sich eine kritische Frage: Hält die Unabhängigkeit der Fehler an, wenn die „Menge“ aus LLMs besteht, die dieselbe Trainingspipeline teilen?

Die bestehende Literatur führt korrelierte Fehler auf Verhaltensphänomene wie Herdenverhalten oder Informationskaskaden zurück. Dieses Paper postuliert eine strukturelle Ursache: das Alignment-Training selbst, spezifisch die Direct Preference Optimization (DPO), zwingt Modelle zu einer gemeinsamen bevorzugten Output-Verteilung. Dies schafft eine „Präferenzoptimierungs-Monokultur“, in der Agenten trotz unterschiedlicher Instanzen gemeinsam scheitern oder erfolgreich sind, was die kollektive Intelligenz des Marktes untergräbt.

2. Methodik

Die Autoren evaluieren diese Hypothese mithilfe eines kontrollierten experimentellen Aufbaus:

Marktmechanismus: Eine Logarithmische Markt-Scoring-Regel (LMSR) mit einem Liquiditätsparameter $b=100$ und zwei Ausgängen.
Handelsprotokoll: 50 binäre Fragen (TruthfulQA) werden an $N$ Agenten (von 1 bis 40) gestellt. Die Agenten handeln sequenziell und setzen nur, wenn ihr geäußerte Vertrauen den aktuellen Marktpreis übersteigt. Das Vermögen bleibt über die Fragen hinweg bestehen, sodass präzise Agenten Kapital akkumulieren können.
Metriken:
- Paarweise Fehlerkorrelation ( $\rho$ ): Pearson-Korrelation zwischen den binären Fehlervektoren der Agenten.
- Effektive Anzahl der Prognostikanten ( $N_{eff}$ ): Berechnet als $N_{eff} = \frac{N}{1 + (N-1)\rho}$ . Diese Metrik quantifiziert die unabhängige Prognosekraft einer Gruppe von $N$ korrelierten Agenten.
Experimentelle Variablen:
- Skalierung: Testen von $N \in \{5, 10, 20, 40\}$ Agenten desselben Modells.
- Modell-Diversität: Vergleich von gleichartigen Modellpaaren gegenüber kreuzmodellbasierten Paaren (Llama, Qwen, Mistral, GLM).
- Kausale Ablationen: Isolierung der Auswirkungen spezifischer Trainingsphasen (Pre-training/ICL, Supervised Fine-Tuning (SFT) und DPO) unter Verwendung identischer Gewicht-Checkpoints aus den Princeton NLP und AllenAI Tulu 3 Pipelines.
- Mitigationsstrategien: Testen von Temperatur-Diversität, Rollen-Diversität (epistemische Rollen) und Cross-Model-Mixing.

3. Zentrale Beiträge und Ergebnisse

A. Der Monokultur-Effekt
Die Studie stellt fest, dass mit DPO feinabgestimmte LLM-Agenten eine hohe paarweise Fehlerkorrelation ( $\rho \approx 0,70$ ) aufweisen.

Abnehmende Grenzerträge: Zehn Agenten desselben Modells bieten nur die Prognosekraft von $\approx 1,4$ unabhängigen Prognostikanten ( $N_{eff} \approx 1,38$ ).
Flache Genauigkeit: Die Erhöhung der Anzahl der Agenten von 5 auf 40 verbessert die Marktakkuratessen nicht (sie bleibt stabil bei 66,0–69,6%), was nicht das Niveau eines einzelnen, eigenständigen Agenten (70,2%) erreicht.
Fehlerverteilung: Empirische Daten zeigen einen Anstieg der Einstimmigkeit (alle Agenten richtig oder alle falsch) im Vergleich zur Binomialverteilung, die unter der Annahme der Unabhängigkeit zu erwarten wäre.

B. Kausale Identifikation von DPO
Durch kontrollierte Ablationen isoliert das Paper die Präferenzoptimierung (DO) als primären Treiber dieser Korrelation:

Princeton NLP Ablation: Unter Verwendung identischer SFT-Gewichte erhöhte der Übergang zu DPO die Korrelation um $\Delta\rho = +0,46$ (obwohl die SFT-Baseline eine Genauigkeit nahe der Zufallswahrscheinlichkeit aufwies).
Tulu 3 Ablation: Bei signifikanten Genauigkeitswerten erhöhte der Übergang von SFT zu DPO die Korrelation um $\Delta\rho = +0,24$ (8B Modell) und $+0,28$ (70B Modell).
Fazit: Das Pre-training erzeugt eine „Wissens-Monokultur“, aber die Alignment-Pipeline (speziell DPO) verstärkt dies zu einer „Antwort-Monokultur“, indem sie die Policies in Richtung des Modus der vom Reward-Modell bevorzugten Verteilung drängt.

C. Mitigationsstrategien
Das Paper testet drei Strategien zur Reduzierung der Korrelation:

Cross-Model-Diversität: Das Mischen verschiedener Modellfamilien (z. B. Llama und Qwen2.5) reduziert $\rho$ von 0,68 auf 0,40 und erhöht $N_{eff}$ von 1,4 auf 2,2. Dies ist die effektivste Mitigation.
Rollen-Diversität: Die Zuweisung distinkter epistemischer Rollen (Skeptiker, Bayesianer etc.) reduziert $\rho$ auf 0,44 ohne Genauigkeitsverlust.
Temperatur-Diversität: Eine Erhöhung der Temperatur reduziert $\rho$ , führt jedoch zu einem erheblichen Genauigkeitseinbuße (4,4 % Abfall).

D. Adversarielle Robustheit

LMSR vs. Debate: In adversariellen Settings (z. B. 1 ehrlicher vs. 9 bösartiger Agenten) übertreffen LMSR-Märkte Multi-Agent-Debatten. Debatten kollabieren unter adversariellem Druck (44,0 % Genauigkeit bei 1v9), während LMSR eine höhere Genauigkeit (59,6 %) beibehält, da die konvexe Kostenfunktion von LMSR prohibitive Kapitalkosten für das Umstoßen eines starken Konsenses auferlegt.
Selbstabschreckung: Gegner, die mit einer Preis-Schwellenwert-Skip-Regel ausgestattet sind, lehnen Trades freiwillig ab, wenn der ehrliche Konsens stark ist, was den Markt weiter stabilisiert.

4. Bedeutung und Behauptungen

Das Paper behauptet, dass die Integrität von LLM-basierten Prognosemärkten durch die Standard-Alignment-Pipeline fundamental gefährdet ist.

Strukturelles Versagen: Das Scheitern der „Weisheit der Massen“ in LLM-Märkten ist kein Skalierungsproblem, sondern eine strukturelle Folge der Präferenzoptimierung.
Integritätsmetrik: Die Autoren schlagen $N_{eff}$ als kritische Integritätsmetrik für Marktplattformen vor. Ein Markt mit 1.000 identischen Agenten liefert effektiv die gleiche Information wie $\approx 1,4$ unabhängige Agenten.
Diversitätsanforderung: Da LLMs zunehmend ausgerichtet (aligned) werden, werden Märkte, die auf ihnen basieren, immer monokultureller. Um die Markteffektivität wiederherzustellen, müssen Plattformen die Cross-Model-Diversität oder Rollen-Diversität priorisieren, anstatt lediglich die Anzahl identischer Agenten zu skalieren.

Das Paper kommt zu dem Schluss, dass LMSR zwar Robustheit gegen adversarielle Manipulation bietet, aber die inhärente Korrelation, die durch gemeinsames Alignment-Training eingeführt wird, nicht überwinden kann, was einen Paradigmenwechsel in der Konstruktion von Multi-Agenten-Systemen für Prognoseaufgaben erforderlich macht.