Preference Optimization Drives Monoculture in LLM Prediction Markets

Technische Samenvatting: Preferentie-optimalisatie drijft monocultuur aan in LLM-voorspellingsmarkten

1. Probleemstelling

Voorspellingsmarkten steunen op de theoretische aanname dat fouten van deelnemers onafhankelijk zijn; onder deze conditie convergeren marktprijzen naar de beste schatting van de menigte (Wolfers & Zitzewitz, 2004; Hanson, 2003). Echter, naarmate Large Language Model (LLM) agenten actieve handelaren worden op platforms zoals Kalshi en Polymarket, rijst een kritische vraag: blijft de onafhankelijkheid van fouten behouden wanneer de "menigte" bestaat uit LLM's die dezelfde trainingspijplijn delen?

Bestaande literatuur schrijft gecorreleerde fouten toe aan gedragsphenomenen zoals herding (kuddegedrag) of informatiecascades. Dit artikel stelt een structurele oorzaak voor: alignment-training zelf, specifiek Direct Preference Optimization (DPO), dwingt modellen naar een gedeelde geprefereerde output-distributie. Dit creëert een "preferentie-optimalisatie-monocultuur" waarbij agenten, ondanks dat ze verschillende instanties zijn, tegelijkertijd falen en slagen, wat de collectieve intelligentie van de markt ondermijnt.

2. Methodologie

De auteurs evalueren deze hypothese met behulp van een gecontroleerde experimentele opzet:

• Marktmechanisme: Een Logaritmische Markt Score Regel (LMSR) met een liquiditeitsparameter $b=100$ en twee uitkomsten.
• Handelsprotocol: 50 binaire vragen (TruthfulQA) worden voorgelegd aan $N$ agenten (variërend van 1 tot 40). Agenten handelen sequentieel en wedden alleen wanneer hun geuite vertrouwen groter is dan de huidige marktprijs. Vermogen blijft behouden over de vragen heen, waardoor accurate agenten kapitaal kunnen accumuleren.
• Metrieken:
  • Paarsgewijze Foutcorrelatie ($\rho$): Pearson-correlatie tussen de binaire foutvectoren van agenten.
  • Effectief Aantal Voorspellers ($N_{eff}$): Berekend als $N_{eff} = \frac{N}{1 + (N-1)\rho}$. Deze metriek kwantificeert het onafhankelijke voorspellende vermogen van een groep van $N$ gecorreleerde agenten.
• Experimentele Variabelen:
  • Schaalbaarheid: Testen van $N \in \{5, 10, 20, 40\}$ agenten van hetzelfde model.
  • Modeldiversiteit: Vergelijken van gelijke modelparen versus cross-model paren (Llama, Qwen, Mistral, GLM).
  • Causale Ablaties: Het isoleren van de impact van specifieke trainingsfasen (Pre-training/ICL, Supervised Fine-Tuning (SFT) en DPO) met identieke gewicht-checkpoints uit de Princeton NLP en AllenAI Tulu 3 pijplijnen.
  • Mitigatiestrategieën: Testen van temperatuurdiversiteit, rol-diversiteit (epistemische rollen) en cross-model mixing.

3. Belangrijkste Bijdragen en Resultaten

A. Het Monocultuur-effect
De studie stelt vast dat LLM-agenten die zijn gefinetuned met DPO een hoge paarsgewijze foutcorrelatie vertonen ($\rho \approx 0,70$).

• Verminderde Meeropbrengst: Tien agenten van hetzelfde model bieden de voorspellende kracht van slechts $\approx 1,4$ onafhankelijke voorspellers ($N_{eff} \approx 1,38$).
• Vlakke Accuratesse: Het verhogen van het aantal agenten van 5 naar 40 verbetert de marktacuratesse niet (het blijft vlak op 66,0–69,6%), wat niet overeenkomt met een enkele standalone agent (70,2%).
• Foutdistributie: Empirische data laten een piek zien in unanimiteit (alle agenten hebben gelijk of alle agenten hebben ongelijk) vergeleken met de binomiale distributie die onder onafhankelijkheid wordt verwacht.

B. Causale Identificatie van DPO
Door middel van gecontroleerde ablaties isoleert het artikel Preference Optimization (DPO) als de primaire drijfveer van deze correlatie:

• Princeton NLP Ablatie: Bij gebruik van identieke SFT-gewichten verhoogde de transitie naar DPO de correlatie met $\Delta\rho = +0,46$ (hoewel de SFT-baseline een accuratesse nabij toeval was).
• Tulu 3 Ablatie: Bij betekenisvolle accuratesse verhoogde de transitie van SFT naar DPO de correlatie met $\Delta\rho = +0,24$ (8B model) en $+0,28$ (70B model).
• Conclusie: Pre-training creëert een "kennis-monocultuur", maar de alignment-pijplijn (specifiek DPO) versterkt dit tot een "antwoord-monocultuur" door policies te duwen naar de modus van de door het reward model geprefereerde distributie.

C. Mitigatiestrategieën
Het artikel test drie strategieën om correlatie te verminderen:

1. Cross-Model Diversiteit: Het mengen van verschillende modelfamilies (bijv. Llama en Qwen2.5) vermindert $\rho$ van 0,68 naar 0,40, waardoor $N_{eff}$ stijgt van 1,4 naar 2,2. Dit is de meest effectieve mitigatie.
2. Rol-Diversiteit: Het toekennen van verschillende epistemische rollen (scepticus, Bayesiaan, etc.) vermindert $\rho$ naar 0,44 zonder verlies van accuratesse.
3. Temperatuur-Diversiteit: Het verhogen van de temperatuur vermindert $\rho$, maar brengt een aanzienlijke straf op de accuratesse met zich mee (een daling van 4,4%).

D. Adversariële Robuustheid

• LMSR vs. Debat: In adversariële settings (bijv. 1 eerlijke tegenover 9 kwaadwillende agenten) presteren LMSR-markten beter dan multi-agent debat. Debat stort in onder adversariële druk (44,0% accuratesse bij 1v9), terwijl LMSR een hogere accuratesse behoudt (59,6%) vanwege de convexe kostenfunctie van LMSR, die prohibitieve kapitaalkosten oplegt om een sterke consensus te keren.
• Zelf-afschrikking: Adversariële agenten uitgerust met een prijs-drempel skip-regel weigeren vrijwillig transacties wanneer de eerlijke consensus sterk is, wat de markt verder stabiliseert.

4. Betekenis en Claims

Het artikel claimt dat de integriteit van LLM-gebaseerde voorspellingsmarkten fundamenteel wordt aangetast door de standaard alignment-pijplijn.

• Structureel Falen: Het falen van de "wisdom of crowds" in LLM-markten is geen schaalbaarheidsprobleem, maar een structureel gevolg van preferentie-optimalisatie.
• Integriteitsmetriek: De auteurs stellen $N_{eff}$ voor als een kritieke integriteitsmetriek voor marktplatforms. Een markt van 1.000 identieke agenten levert effectief dezelfde informatie als $\approx 1,4$ onafhankelijke agenten.
• Diversiteitsvereiste: Naarmate LLM's meer gealigneerd worden, worden markten gebouwd uit deze modellen meer monocultureel. Om de effectiviteit van markten te herstellen, moeten platforms prioriteit geven aan cross-model diversiteit of rol-diversiteit, in plaats van simpelweg het aantal identieke agenten op te schalen.

Het artikel concludeert dat hoewel LMSR robuustheid biedt tegen adversariële manipulatie, het de inherente correlatie die door gedeelde alignment-training wordt geïntroduceerd niet kan overwinnen, wat een verschuiving noodzakelijk maakt in de constructie van multi-agent systemen voor voorspellings-taken.