Preference Optimization Drives Monoculture in LLM Prediction Markets

Resumo Técnico: A Otimização de Preferências Impulsiona a Monocultura em Mercados de Previsão de LLMs

1. Definição do Problema

Os mercados de previsão baseiam-se na suposição teórica de que os erros dos participantes são independentes; sob esta condição, os preços de mercado convergem para a melhor estimativa da multidão (Wolfers & Zitzewitz, 2004; Hanson, 2003). No entanto, à medida que agentes de Grandes Modelos de Linguagem (LLMs) tornam-se traders ativos em plataformas como Kalshi e Polymarket, surge uma questão crítica: a independência de erro se mantém quando a "multidão" consiste em LLMs que compartilham o mesmo pipeline de treinamento?

A literatura existente atribui erros correlacionados a fenômenos comportamentais como o efeito manada (herding) ou cascatas de informação. Este artigo postula uma causa estrutural: o próprio treinamento de alinhamento, especificamente a Otimização de Preferência Direta (DPO), força os modelos em direção a uma distribuição de saída preferida compartilhada. Isso cria uma "monocultura de otimização de preferência" onde agentes, apesar de serem instâncias distintas, falham e têm sucesso juntos, minando a inteligência coletiva do mercado.

2. Metodologia

Os autores avaliam esta hipótese utilizando uma configuração experimental controlada:

• Mecanismo de Mercado: Uma Regra de Pontuação de Mercado Logarítmica (LMSR) com um parâmetro de liquidez $b=100$ e dois resultados.
• Protocolo de Negociação: 50 questões binárias (TruthfulQA) são apresentadas a $N$ agentes (variando de 1 a 40). Os agentes negociam sequencialmente, apostando apenas quando sua confiança declarada excede o preço atual do mercado. A riqueza persiste entre as questões, permitindo que agentes precisos acumulem capital.
• Métricas:
  • Correlação de Erro Pareada ($\rho$): Correlação de Pearson entre os vetores de erro binários dos agentes.
  • Número Efetivo de Previsores ($N_{eff}$): Calculado como $N_{eff} = \frac{N}{1 + (N-1)\rho}$. Esta métrica quantifica o poder de previsão independente de um grupo de $N$ agentes correlacionados.
• Variáveis Experimentais:
  • Escalabilidade: Testando $N \in \{5, 10, 20, 40\}$ agentes do mesmo modelo.
  • Diversidade de Modelo: Comparando pares do mesmo modelo vs. pares de modelos cruzados (Llama, Qwen, Mistral, GLM).
  • Ablações Causais: Isolando o impacto de estágios de treinamento específicos (Pré-treinamento/ICL, Ajuste Fino Supervisionado (SFT) e DPO) usando checkpoints de pesos idênticos dos pipelines Princeton NLP e AllenAI Tulu 3.
  • Estratégias de Mitigação: Testando diversidade de temperatura, diversidade de papéis (papéis epistêmicos) e mistura de modelos cruzados.

3. Contribuições Principais e Resultados

A. O Efeito Monocultura
O estudo descobre que agentes de LLM ajustados com DPO exibem altas correlações de erro pareadas ($\rho \approx 0,70$).

• Retornos Decrescentes: Dez agentes do mesmo modelo fornecem o poder de previsão de apenas $\approx 1,4$ previsores independentes ($N_{eff} \approx 1,38$).
• Acurácia Estagnada: Aumentar o número de agentes de 5 para 40 não melhora a acurácia do mercado (mantendo-se estável entre 66,0–69,6%), o que falha em igualar um único agente isolado (70,2%).
• Distribuição de Erro: Dados empíricos mostram um pico em unanimidade (todos os agentes certos ou todos errados) em comparação com a distribuição binomial esperada sob independência.

B. Identificação Causal do DPO
Através de ablações controladas, o artigo isola a Otimização de Preferência (DPO) como o principal motor desta correlação:

• Ablação Princeton NLP: Usando pesos SFT idênticos, a transição para DPO aumentou a correlação em $\Delta\rho = +0,46$ (embora a linha de base SFT tivesse acurácia próxima ao acaso).
• Ablação Tulu 3: Em níveis de acurácia significativos, a transição de SFT para DPO aumentou a correlação em $\Delta\rho = +0,24$ (modelo 8B) e $+0,28$ (modelo 70B).
• Conclusão: O pré-treinamento cria uma "monocultura de conhecimento", mas o pipeline de alinhamento (especificamente o DPO) amplifica isso para uma "monocultura de resposta" ao empurrar as políticas em direção ao modo da distribuição preferida do modelo de recompensa.

C. Estratégias de Mitigação
O artigo testa três estratégias para reduzir a correlação:

1. Diversidade de Modelos Cruzados: Misturar diferentes famílias de modelos (ex: Llama e Qwen2.5) reduz $\rho$ de 0,68 para 0,40, elevando $N_{eff}$ de 1,4 para 2,2. Esta é a mitigação mais eficaz.
2. Diversidade de Papéis: Atribuir papéis epistêmicos distintos (cético, bayesiano, etc.) reduz $\rho$ para 0,44 sem perda de acurácia.
3. Diversidade de Temperatura: Aumentar a temperatura reduz $\rho$, mas incorre em uma penalidade significativa de acurácia (queda de 4,4%).

D. Robustez Adversária

• LMSR vs. Debate: Em cenários adversários (ex: 1 agente honesto vs. 9 agentes maliciosos), os mercados LMSR superam o debate multi-agente. O debate colapsa sob pressão adversária (44,0% de acurácia em 1v9), enquanto o LMSR mantém maior acurácia (59,6%) devido à função de custo convexo do LMSR, que impõe custos de capital proibitivos para reverter um consenso forte.
• Autodeterrência: Adversários equipados com uma regra de salto por limiar de preço recusam voluntariamente negociações quando o consenso honesto é forte, estabilizando ainda mais o mercado.

4. Significância e Alegações

O artigo alega que a integridade dos mercados de previsão baseados em LLMs é fundamentalmente comprometida pelo padrão de treinamento de alinhamento.

• Falha Estrutural: A falha da "sabedoria das multidões" em mercados de LLM não é um problema de escala, mas uma consequência estrutural da otimização de preferência.
• Métrica de Integridade: Os autores propõem o $N_{eff}$ como uma métrica crítica de integridade para plataformas de mercado. Um mercado de 1.000 agentes do mesmo modelo fornece efetivamente a mesma informação que $\approx 1,4$ agentes independentes.
• Requisito de Diversidade: À medida que os LLMs se tornam mais alinhados, os mercados construídos a partir deles tornam-se mais monoculturais. Para restaurar a eficácia do mercado, as plataformas devem priorizar a diversidade de modelos cruzados ou a diversidade de papéis, em vez de simplesmente escalar o número de agentes idênticos.

O artigo conclui que, embora o LMSR proporcione robustez contra manipulação adversária, ele não pode superar a correlação inerente introduzida pelo treinamento de alinhamento compartilhado, necessitando de uma mudança na forma como os sistemas multi-agentes são construídos para tarefas de previsão.