Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most

Resumen Técnico: La Capacidad como Pasivo en la Predicción Distribucional

Declaración del Problema
Aunque los modelos de lenguaje grandes (LLM) generalmente demuestran un rendimiento mejorado en diversas tareas, este artículo identifica una clase específica de "escalamiento inverso" donde el aumento de la capacidad conduce a un peor rendimiento. Específicamente, los autores documentan que los LLM más capaces producen pronósticos distribucionales inferiores en series temporales caracterizadas por un crecimiento superlineal seguido de un riesgo de cola de cambio de régimen (por ejemplo, un colapso repentino o una intervención). Esta estructura es común en finanzas, epidemiología y economía. El modo de fallo central es que los modelos capaces detectan las señales de crecimiento con precisión, pero se comprometen en exceso a extrapolarlas, desplazando sus predicciones de la cola superior hacia arriba. Cuando el régimen cambia y el crecimiento revierte, estas colas superiores elevadas resultan en errores masivos, mientras que los modelos menos capaces permanecen más anclados.

Crucialmente, este escalamiento inverso es invisible bajo métricas binarias estándar o de umbral único (por ejemplo, puntuación Brier en un corte saliente), que a menudo muestran un escalamiento positivo. El fallo solo es detectable mediante reglas de puntuación continuas e inclusivas de colas (por ejemplo, CRPS), creando un escenario donde las mismas salidas del modelo son calificadas como "mejores" por los puntos de referencia convencionales pero "peores" por las métricas de precisión distribucional.

Metodología
El estudio emplea un enfoque multifacético para aislar y verificar este fenómeno:

1. ForecastBench-Sim (FBSim): Un punto de referencia libre de contaminación construido sobre despliegues generados proceduralmente del juego de estrategia FreeCiv. Genera preguntas binarias y continuas emparejadas a través de seis plantillas (tesorería, territorio, población, etc.). Los autores distinguen entre plantillas "disruptables" (donde el declive es un resultado modal) y las "no disruptables".
2. Aislamiento de Mecanismo Sintético: Para desentrañar los impulsores del escalamiento inverso, los autores utilizan un modelo epidemiológico SIR controlado (Susceptible-Infecado-Recuperado). Comparan series con crecimiento superlineal seguido de un cambio de régimen contra series de crecimiento lineal con estructuras de colapso idénticas.
3. Ablación Dentro de la Familia: Un experimento controlado $2 \times 2$ en la familia Llama-3.1 ({70B, 405B} $\times$ {base, instruct}) aísla los efectos independientes y acumulativos de la escala del modelo y el post-entrenamiento (RLHF/ajuste de instrucciones).
4. Replicación en el Mundo Real: El patrón se prueba en cuatro dominios del mundo real:
   • Incidencia de COVID-19 (60 países).
   • Precios de la vivienda en EE. UU. (burbuja 2003–2006).
   • Episodios de hiperinflación (12 episodios en 10 países).
   • Datos de sarampión en EE. UU. pre-vacuna (1928–1962, 35 temporadas, no seleccionados por severidad).
5. Sondas de Intervención: Los autores prueban si el conocimiento del dominio (por ejemplo, nombrar explícitamente el dominio o proporcionar señales de incertidumbre) rescata la calibración.
6. Métricas: El rendimiento se evalúa utilizando la Puntuación de Probabilidad Clasificada Continua (CRPS) para la precisión distribucional y la puntuación Brier para la precisión binaria/de umbral. La descomposición de la pérdida Pinball se utiliza para analizar los errores por cuantil.

Resultados Clave

• Escalamiento Inverso en Horizontes Largos: En FBSim, la correlación entre la capacidad del modelo (Índice de Capacidades de Época, ECI) y la precisión del pronóstico (CRPS) cambia de positiva en horizontes cortos ($\rho \approx +0.67$) a negativa en horizontes largos ($\rho \approx -0.42$). Esta inversión es robusta entre proveedores y linajes de modelos.
• Identificación del Mecanismo: El escalamiento inverso es impulsado específicamente por la combinación de crecimiento superlineal y cambio de régimen.
  • En datos sintéticos SIR (crecimiento superlineal + colapso), los modelos capaces muestran un fuerte escalamiento inverso ($\rho = -0.62$).
  • En datos de crecimiento lineal con la misma estructura de colapso, los modelos capaces muestran un escalamiento positivo ($\rho = +0.61$).
  • El fallo se concentra en la cola superior (p90). Los modelos más capaces desplazan su p90 hacia arriba para rastrear la trayectoria de crecimiento extrapolada, mientras que la cola inferior (p10) permanece anclada. Cuando ocurre el colapso, el p90 elevado incurre en penalizaciones masivas de Pinball, dominando el CRPS.
• Escala y Post-Entrenamiento: El estudio $2 \times 2$ de Llama-3.1 confirma que tanto el aumento de escala (de 70B a 405B) como el post-entrenamiento (de base a instruct) amplifican independientemente el error en regímenes de colapso. El efecto se acumula, mostrando el modelo instruct de 405B el peor rendimiento. El daño se propaga desde la cola superior en escalas más pequeñas hacia la tendencia central en escalas más grandes.
• Validación en el Mundo Real: El escalamiento inverso se replica en COVID-19, burbujas inmobiliarias, hiperinflación y sarampión pre-vacuna. Notablemente, el conjunto de datos de sarampión (no seleccionado por severidad) muestra el mismo cruce de escalamiento positivo a inverso a medida que aumenta el horizonte, confirmando que el efecto no es un artefacto de la preselección de eventos extremos.
• Fallo del Conocimiento del Dominio: Las intervenciones de prompt tienen efectos inconsistentes. Nombrar el dominio rescata la calibración para COVID-19 y la atenúa parcialmente para vivienda y sarampión, pero no tiene ningún efecto en la hiperinflación. Crucialmente, los modelos identifican correctamente las crisis de hiperinflación en 46/48 sondas directas, pero fallan en traducir este conocimiento en colas calibradas durante el pronóstico.
• Dependencia de la Métrica: El artículo demuestra que el signo de la relación capacidad-precisión se invierte dependiendo de la regla de puntuación. En FBSim, los modelos capaces mejoran en puntuaciones Brier binarias ($\rho = +0.45$) pero se degradan en CRPS ($\rho = -0.42$). Derivar puntuaciones Brier de las mismas predicciones continuas reproduce el escalamiento positivo, demostrando que el fallo reside en la integral de la cola superior, no en el resultado binario.

Significado y Afirmaciones
El artículo afirma que los puntos de referencia actuales de pronóstico con LLM, que dependen exclusivamente de métricas binarias o de umbral único, son fundamentalmente defectuosos para tareas que implican riesgo de cola. Estos puntos de referencia certifican la capacidad donde la puntuación inclusiva de colas revela una degradación catastrófica.

Los autores argumentan que los modelos más capaces son los más propensos a "comprometerse prematuramente" con trayectorias de crecimiento, lo que lleva a una mala calibración cuando los regímenes cambian. Esto no es un error de distracción, sino una forma de "compromiso impulsado por la competencia". Dado que los objetivos de entrenamiento estándar y las métricas de evaluación recompensan la precisión del umbral, es poco probable que este compromiso excesivo sea corregido solo por la escala y puede acumularse con un escalamiento adicional.

El artículo recomienda que las evaluaciones de pronóstico con LLM deben incluir medidas continuas y no acotadas de precisión (como CRPS o puntuación logarítmica) junto con métricas de umbral para detectar fallos en la cola superior. Los hallazgos sugieren que desplegar modelos de vanguardia actuales para tareas sensibles a la cola (por ejemplo, timing de intervención epidémica, gestión de riesgos financieros, política monetaria) sin una calibración distribucional adecuada podría conducir a un exceso sistemático y daños reales prevenibles.