Preference Optimization Drives Monoculture in LLM Prediction Markets

Sintesi Tecnica: L'ottimizzazione delle preferenze guida la monocultura nelle predizioni dei mercati basati su LLM

1. Definizione del problema

I mercati di previsione si basano sull'assunto teorico che gli errori dei partecipanti siano indipendenti; in queste condizioni, i prezzi di mercato convergono verso la migliore stima della folla (Wolfers & Zitzewitz, 2004; Hanson, 2003). Tuttavia, con l'emergere di agenti basati su Large Language Models (LLM) come trader attivi su piattaforme quali Kalshi e Polymarket, sorge una domanda critica: l'indipendenza dell'errore regge quando la "folla" è composta da LLM che condividono lo stesso processo di addestramento?

La letteratura esistente attribuisce la correlazione degli errori a fenomeni comportamentali come l'effetto gregge o le cascate informative. Questo articolo postula una causa strutturale: l'addestramento all'allineamento stesso, nello specifico l'Ottimizzazione delle Preferenze Dirette (DPO), forza i modelli verso una distribuzione di output preferita condivisa. Ciò crea una "monocultura di ottimizzazione delle preferenze" dove gli agenti, nonostante siano istanze distinte, falliscono e hanno successo insieme, minando l'intelligenza collettiva del mercato.

2. Metodologia

Gli autori valutano questa ipotesi utilizzando un setup sperimentale controllato:

• Meccanismo di Mercato: Una Regola di Punteggio Logaritmico (LMSR) con un parametro di liquidità $b=100$ e due esiti.
• Protocollo di Trading: A 50 domande binarie (TruthfulQA) vengono sottoposti $N$ agenti (da 1 a 40). Gli agenti operano in sequenza, scommettendo solo quando la loro fiducia dichiarata supera il prezzo attuale di mercato. La ricchezza persiste attraverso le domande, permettendo agli agenti accurati di accumulare capitale.
• Metriche:
  • Correlazione dell'Errore a Coppie ($\rho$): Correlazione di Pearson tra i vettori di errore binari degli agenti.
  • Numero Effettivo di Previsori ($N_{eff}$): Calcolato come $N_{eff} = \frac{N}{1 + (N-1)\rho}$. Questa metrica quantifica il potere di previsione indipendente di un gruppo di $N$ agenti correlati.
• Variabili Sperimentali:
  • Scaling: Test con $N \in \{5, 10, 20, 40\}$ agenti dello stesso modello.
  • Diversità dei Modelli: Confronto tra coppie dello stesso modello vs. coppie di modelli diversi (Llama, Qwen, Mistral, GLM).
  • Ablazioni Causali: Isolamento dell'impatto di specifiche fasi di addestramento (Pre-training/ICL, Supervised Fine-Tuning (SFT) e DPO) utilizzando checkpoint di pesi identici dalle pipeline Princeton NLP e AllenAI Tulu 3.
  • Strategie di Mitigazione: Test della diversità di temperatura, diversità di ruolo (ruoli epistemici) e miscelazione cross-modello.

3. Contributi Chiave e Risultati

A. L'Effetto Monocultura
Lo studio rileva che gli agenti LLM sottoposti a fine-tuning con DPO mostrano alte correlazioni di errore a coppie ($\rho \approx 0,70$).

• Rendimenti Decrescenti: Dieci agenti dello stesso modello forniscono il potere di previsione di soli $\approx 1,4$ previsori indipendenti ($N_{eff} \approx 1,38$).
• Accuratezza Piatta: Aumentare il numero di agenti da 5 a 40 non migliora l'accuratezza del mercato (rimanendo stabile tra il 66,0% e il 69,6%), fallendo nel superare un singolo agente autonomo (70,2%).
• Distribuzione dell'Errore: I dati empirici mostrano un picco di unanimità (tutti gli agenti corretti o tutti errati) rispetto alla distribuzione binomiale attesa sotto l'ipotesi di indipendenza.

B. Identificazione Causale di DPO
Attraverso ablazioni controllate, l'articolo isola l'Ottimizzazione delle Preferenze (DPO) come il principale motore di questa correlazione:

• Ablazione Princeton NLP: Utilizzando pesi SFT identici, la transizione a DPO ha aumentato la correlazione di $\Delta\rho = +0,46$ (sebbene il baseline SFT avesse un'accuratezza vicina al caso).
• Ablazione Tulu 3: A livelli di accuratezza significativi, la transizione da SFT a DPO ha aumentato la correlazione di $\Delta\rho = +0,24$ (modello 8B) e $+0,28$ (modello 70B).
• Conclusione: Il pre-training crea una "monocultura della conoscenza", ma la pipeline di allineamento (specificamente il DPO) amplifica questo fenomeno in una "monocultura della risposta", spingendo le policy verso la moda della distribuzione preferita dal modello di ricompensa.

C. Strategie di Mitigazione
L'articolo testa tre strategie per ridurre la correlazione:

1. Diversità Cross-Modello: Mescolare diverse famiglie di modelli (es. Llama e Qwen2.5) riduce $\rho$ da 0,68 a 0,40, aumentando $N_{eff}$ da 1,4 a 2,2. Questa è la mitigazione più efficace.
2. Diversità di Ruolo: Assegnare ruoli epistemici distinti (scettico, bayesiano, ecc.) riduce $\rho$ a 0,44 senza perdita di accuratezza.
3. Diversità di Temperatura: Aumentare la temperatura riduce $\rho$, ma comporta una penalità significativa sull'accuratezza (calo del 4,4%).

D. Robustezza Avversaria

• LMSR vs. Debate: In contesti avversari (es. 1 agente onesto contro 9 agenti maliziosi), i mercati LMSR superano il dibattito multi-agente. Il dibattito collassa sotto la pressione avversaria (accuratezza del 44,0% in un contesto 1v9), mentre l'LMSR mantiene un'accuratezza superiore (59,6%) grazie alla funzione di costo convessa dell'LMSR, che impone costi di capitale proibitivi per ribaltare un forte consenso.
• Autodeterrenza: Gli avversari dotati di una regola di salto basata sulla soglia di prezzo declinano volontariamente gli scambi quando il consenso onesto è forte, stabilizzando ulteriormente il mercato.

4. Significato e Rivendicazioni

L'articolo sostiene che l'integrità dei mercati di previsione basati su LLM sia fondamentalmente compromessa dalla standard pipeline di allineamento.

• Fallimento Strutturale: Il fallimento della "saggezza della folla" nei mercati LLM non è un problema di scala, ma una conseguenza strutturale dell'ottimizzazione delle preferenze.
• Metrica di Integrità: Gli autori propongono $N_{eff}$ come una metrica critica di integrità per le piattaforme di mercato. Un mercato di 1.000 agenti dello stesso modello fornisce effettivamente le stesse informazioni di circa 1,4 agenti indipendenti.
• Requisito di Diversità: Man mano che gli LLM diventano più allineati, i mercati costruiti su di essi diventano più monoculturali. Per ripristinare l'efficacia del mercato, le piattaforme devono dare priorità alla diversità cross-modello o alla diversità di ruolo piuttosto che limitarsi a scalare il numero di agenti identici.

L'articolo conclude che, sebbene l'LMSR fornisca robustezza contro la manipolazione avversaria, non può superare la correlazione intrinseca introdotta dal comune addestramento di allineamento, rendendo necessaria una svolta nel modo in cui i sistemi multi-agente vengono costruiti per compiti di previsione.