Preference Optimization Drives Monoculture in LLM Prediction Markets

Resumen Técnico: La optimización de preferencias impulsa el monocultivo en los mercados de predicción de LLM

1. Planteamiento del problema

Los mercados de predicción dependen del supuesto teórico de que los errores de los participantes son independientes; bajo esta condición, los precios de mercado convergen hacia la mejor estimación de la multitud (Wolfers & Zitzewitz, 2004; Hanson, 2003). Sin embargo, a medida que los agentes de Modelos de Lenguaje Extensos (LLM) se vuelven participantes activos en plataformas como Kalshi y Polymarket, surge una pregunta crítica: ¿se mantiene la independencia de errores cuando la "multitud" consiste en LLMs que comparten el mismo proceso de entrenamiento?

La literatura existente atribuye la correlación de errores a fenómenos conductuales como el efecto de rebaño o las cascadas de información. Este documento postula una causa estructural: el propio entrenamiento de alineación, específicamente la Optimización de Preferencias Directas (DPO), obliga a los modelos hacia una distribución de salida preferida compartida. Esto crea un "monocultivo de optimización de preferencias" donde los agentes, a pesar de ser instancias distintas, fallan y tienen éxito de manera conjunta, socavando la inteligencia colectiva del mercado.

2. Metodología

Los autores evalúan esta hipótesis utilizando una configuración experimental controlada:

• Mecanismo de mercado: Una Regla de Puntuación de Mercado Logarítmica (LMSR) con un parámetro de liquidez $b=100$ y dos resultados.
• Protocolo de trading: Se plantean 50 preguntas binarias (TruthfulQA) a $N$ agentes (que oscilan entre 1 y 40). Los agentes operan secuencialmente, apostando solo cuando su confianza declarada supera el precio actual del mercado. La riqueza persiste a través de las preguntas, lo que permite que los agentes precisos acumulen capital.
• Métricas:
  • Correlación de error por pares ($\rho$): Correlación de Pearson entre los vectores de error binarios de los agentes.
  • Número efectivo de pronosticadores ($N_{eff}$): Calculado como $N_{eff} = \frac{N}{1 + (N-1)\rho}$. Esta métrica cuantifica el poder de pronóstico independiente de un grupo de $N$ agentes correlacionados.
• Variables experimentales:
  • Escalabilidad: Pruebas con $N \in \{5, 10, 20, 40\}$ agentes del mismo modelo.
  • Diversidad de modelos: Comparación de pares del mismo modelo frente a pares de modelos cruzados (Llama, Qwen, Mistral, GLM).
  • Ablaciones causales: Aislamiento del impacto de etapas de entrenamiento específicas (Pre-entrenamiento/ICL, Ajuste Fino Supervisado (SFT) y DPO) utilizando puntos de control de pesos idénticos de los pipelines de Princeton NLP y AllenAI Tulu 3.
  • Estrategias de mitigación: Pruebas de diversidad de temperatura, diversidad de roles (roles epistémicos) y mezcla de modelos cruzados.

3. Contribuciones clave y resultados

A. El efecto de monocultivo
El estudio encuentra que los agentes de LLM ajustados con DPO exhiben altas correlaciones de error por pares ($\rho \approx 0.70$).

• Rendimientos decrecientes: Diez agentes del mismo modelo proporcionan el poder de pronóstico de solo $\approx 1.4$ pronosticadores independientes ($N_{eff} \approx 1.38$).
• Precisión plana: Aumentar el número de agentes de 5 a 40 no mejora la precisión del mercado (manteniéndose plana entre 66.0 y 69.6%), lo cual no logra igualar a un solo agente independiente (70.2%).
• Distribución de errores: Los datos empíricos muestran un pico de unanimidad (todos los agentes aciertan o todos fallan) en comparación con la distribución binomial esperada bajo independencia.

B. Identificación causal de DPO
A través de ablaciones controladas, el documento identifica la Optimización de Preferencias (DPO) como el principal motor de esta correlación:

• Ablación de Princeton NLP: Utilizando pesos de SFT idénticos, la transición a DPO aumentó la correlación en $\Delta\rho = +0.46$ (aunque la línea base de SFT tenía una precisión cercana al azar).
• Ablación de Tulu 3: En niveles de precisión significativos, la transición de SFT a DPO aumentó la correlación en $\Delta\rho = +0.24$ (modelo 8B) y $+0.28$ (modelo 70B).
• Conclusión: El pre-entrenamiento crea un "monocultivo de conocimiento", pero el proceso de alineación (específicamente DPO) amplifica esto hacia un "monocultivo de respuestas" al empujar las políticas hacia la moda de la distribución preferida del modelo de recompensa.

C. Estrategias de mitigación
El documento prueba tres estrategias para reducir la correlación:

1. Diversidad de modelos cruzados: Mezclar diferentes familias de modelos (por ejemplo, Llama y Qwen2.5) reduce $\rho$ de 0.68 a 0.40, elevando $N_{eff}$ de 1.4 a 2.2. Esta es la mitigación más efectiva.
2. Diversidad de roles: Asignar roles epistémicos distintos (escéptico, bayesiano, etc.) reduce $\rho$ a 0.44 sin pérdida de precisión.
3. Diversidad de temperatura: Aumentar la temperatura reduce $\rho$, pero conlleva una penalización significativa en la precisión (caída del 4.4%).

D. Robustez adversaria

• LMSR vs. Debate: En entornos adversarios (por ejemplo, 1 agente honesto contra 9 maliciosos), los mercados LMSR superan al debate multi-agente. El debate colapsa bajo presión adversaria (precisión del 44.0% en 1v9), mientras que el LMSR mantiene una mayor precisión (59.6%) debido a la función de costo convexo de LMSR, que impone costos de capital prohibitivos para revertir un consenso fuerte.
• Autodeterrencia: Los adversarios equipados con una regla de omisión basada en umbral de precio declinan voluntariamente las operaciones cuando el consenso honesto es fuerte, estabilizando aún más el mercado.

4. Significado y afirmaciones

El documento afirma que la integridad de los mercados de predicción basados en LLM está fundamentalmente comprometida por el proceso estándar de alineación.

• Fallo estructural: El fallo de la "sabiduría de las multitudes" en los mercados de LLM no es un problema de escala, sino una consecuencia estructural de la optimización de preferencias.
• Métrica de integridad: Los autores proponen $N_{eff}$ como una métrica crítica de integridad para las plataformas de mercado. Un mercado de 1,000 agentes del mismo modelo proporciona efectivamente la misma información que $\approx 1.4$ agentes independientes.
• Requisito de diversidad: A medida que los LLM se alinean más, los mercados construidos a partir de ellos se vuelven más monoculturales. Para restaurar la eficacia del mercado, las plataformas deben priorizar la diversidad de modelos cruzados o la diversidad de roles en lugar de simplemente escalar el número de agentes idénticos.

El documento concluye que, si bien el LMSR proporciona robustez contra la manipulación adversaria, no puede superar la correlación inherente introducida por el entrenamiento de alineación compartido, lo que requiere un cambio en la forma en que se construyen los sistemas multi-agente para tareas de pronóstico.