Resumen Técnico: Un Techo de Co-Fallo en el Enrutamiento, Votación y Mezcla de Agentes

Planteamiento del Problema

El campo de la orquestación de Modelos de Lenguaje de Gran Escala (LLM) ha pasado de seleccionar un único modelo "mejor" a gestionar grupos heterogéneos de modelos mediante enrutamiento, votación, cascadas y Mezcla de Agentes (MoA). Los profesionales actualmente dependen de la correlación de error por pares ($\rho$) como el principal diagnóstico para determinar si la diversidad generará ganancias de precisión. El supuesto prevalente es que un $\rho$ bajo implica una alta diversidad y, por lo tanto, un alto potencial de mejora mediante ensambles.

Este artículo argumenta que $\rho$ es el diagnóstico erróneo. Postula que la precisión alcanzable de cualquier política cuya salida sea la respuesta de un modelo miembro (por ejemplo, un enrutador, voto por mayoría o cascada) está limitada no por las correlaciones por pares, sino por $\beta$, la tasa a la que todos los modelos en el grupo fallan en una misma consulta. El problema central es que $\rho$ no puede identificar $\beta$; distribuciones conjuntas de error distintas pueden compartir los mismos marginales y correlaciones por pares, pero poseer tasas de co-fallo radicalmente diferentes. En consecuencia, confiar en $\rho$ conduce a una subestimación sistemática de la "cola de co-fallo", lo que potencialmente causa que los compradores sobreestimen el valor de la orquestación o juzguen erróneamente el techo de la precisión alcanzable.

Metodología

Marco Teórico

Los autores formalizan la orquestación como un problema de asignación con restricciones de presupuesto.

1. El Teorema del Techo (Prop. 1): Para cualquier política de selección $\pi$ que devuelva la respuesta de un miembro, la precisión está acotada por $1 - \beta$, donde $\beta = P(\text{todos los } m \text{ modelos están equivocados})$. La ganancia máxima sobre el modelo único mejor es $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$.
2. No Identificación (Prop. 3): Para $m \ge 3$, la tasa de co-fallo $\beta$ no es una función de las leyes de error por pares. Los autores demuestran que existen distribuciones conjuntas con marginales unidimensionales y bidimensionales idénticos (y, por tanto, un $\rho$ idéntico) pero con diferentes $\beta$.
3. El Mecanismo de Subvaloración (Prop. 2): Los autores modelan los errores como una mezcla de un choque común (todos los modelos fallan con probabilidad $\pi$) y errores independientes. Demuestran que un cópula gaussiana de un solo factor, calibrada con $\rho$ por pares, predice una tasa de co-fallo $\beta_{sf}$ que converge a 0 a medida que el tamaño del grupo $m$ aumenta, mientras que el verdadero $\beta$ converge a $\pi > 0$. Así, la relación de subvaloración $\beta / \beta_{sf}$ diverge con el tamaño del grupo.
4. Certificado de Muestra Finita: Utilizando intervalos de Clopper–Pearson sobre un conjunto de consultas de validación, los autores derivan un "$0 certificado" de pre-despliegue. Si el límite inferior de $\beta$ implica que $1 - \beta_{lo}$ es cercano a la precisión actual del mejor modelo único, ninguna política puede justificar sus costos de orquestación.

Configuración Experimental

El estudio evalúa 67 modelos de frontera de 21 proveedores (incluyendo GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro, entre otros) a través de tres regímenes distintos:

• Mezcla Saturada: Benchmarks estándar (GSM8K, MMLU, ARC-Challenge, MATH-500).
• Dominio Único Difícil: MMLU-Pro y MATH-Hard (Nivel-5).
• Dominios Estructuralmente Disjuntos:
  • Matemáticas de respuesta abierta (MATH-500, MATH-Hard).
  • Código con calificación por ejecución (problemas de programación competitiva con pruebas de estrés).
  • Ciencia de nivel de posgrado (GPQA-Diamond), probado tanto en formato de opción múltiple como en respuesta libre.

La calificación es estrictamente programática (coincidencia exacta, extracción de enteros o basada en ejecución) para evitar el sesgo de los jueces de LLM, excepto para un experimento específico de GPQA de respuesta libre calificado por un panel de 5 jueces. Los costos se miden según el uso real de la API.

Resultados Clave

1. La Cola de Co-Fallo y la Trampa de $\rho$

En dominios abiertos (matemáticas y código), la tasa empírica de "todos mal" $\beta$ es significativamente mayor de lo predicho por las correlaciones por pares.

• MATH-500 (67 modelos): $\beta$ empírico $= 0.052$ (17/330 consultas). Una cópula gaussiana de un solo factor correctamente calibrada tetracóricamente predice $\beta_{sf} = 0.021$. La cola empírica es 2.5 veces más gruesa que la predicción de la cópula.
• Concursos de Código: $\beta$ empírico $= 0.079$. El modelo de un solo factor subvalora esto por 3.1 veces.
• Efecto del Tamaño del Grupo: El remuestreo de subconjuntos aleatorios de modelos muestra que la relación de subvaloración crece monótonamente con el tamaño del grupo (de 1.0 en $k=2$ a una mediana de 2.5 en $k=67$).
• Opción Múltiple vs. Respuesta Libre: En GPQA de opción múltiple, $\beta \approx 0$. Sin embargo, cuando se hacen las mismas preguntas en formato de respuesta libre (eliminando las opciones), $\beta$ salta a 0.127. Esto confirma que el régimen de co-fallo es impulsado por el formato de la tarea (apertura de la respuesta) más que por la materia en sí.

2. Los Dos Regímenes de Orquestación

El documento identifica dos regímenes distintos donde el "techo" se comporta de manera diferente:

• Limitado por el Techo (Matemáticas/Código Abiertos): Aquí, $\beta > 0$ es no despreciable. El techo $1-\beta$ es bajo, y la "ganancia de oráculo" (mejora teórica máxima) es pequeña. La limitación principal es la cola de co-fallo, que $\rho$ por pares no logra detectar.
• Limitado por la Realizabilidad (Ciencia/Opción Múltiple): Aquí, $\beta \approx 0$. El techo es efectivamente abierto, y la ganancia de oráculo es grande (ej., $G=0.15$ en GPQA). Sin embargo, esta ganancia representa un desacuerdo resoluble. Los enrutadores aprendidos actuales no logran capturar esta ganancia porque la señal a nivel de consulta es insuficiente para distinguir qué modelo será el correcto cuando la frontera discrepa.

3. Desempeño de Estrategias de Orquestación

• Enrutadores Aprendidos: En la mezcla saturada de 15 modelos, un enrutador aprendido (TF-IDF + dominio) capturó solo el 9% de la ganancia de oráculo (estadísticamente indistinguible de cero). Un enrutador basado en un LLM más fuerte capturó el 0%.
• Diversidad Ingenua: El voto por mayoría sin ponderar en tríos heterogéneos a menudo produce ganancias negativas comparado con el mejor miembro único, ya que los modelos diversos más débiles superan en votos al más fuerte.
• Ensambles de Calidad Emparejada: Al comparar un Self-MoA de alta correlación (múltiples muestras del mejor modelo) contra un ensamble heterogéneo de calidad emparejada y baja correlación, el ensamble heterogéneo gana (ganancia promedio $+0.027$). Esto respalda el teorema de diversificación, pero solo cuando la calidad de los miembros está controlada.
• Cascadas: El desempeño de la cascada colapsa hacia una mezcla aleatoria a medida que el AUC del verificador se acerca a 0.5, confirmando los límites teóricos.

Significado y Reivindicaciones

El documento pretende redefinir la economía de la orquestación de LLM desplazando el enfoque de la correlación por pares ($\rho$) hacia la tasa de co-fallo ($\beta$).

1. El Cambio de Diagnóstico: $\rho$ es ciego ante la cola de "todos mal". Un comprador no puede determinar si la orquestación es viable mirando solo $\rho$; debe estimar $\beta$ directamente.
2. El Certificado de $0: Un único conjunto de consultas calificadas puede proporcionar un límite inferior estadístico para $\beta$. Si $1 - \beta_{lo}$ es cercano a la precisión del mejor modelo actual, el documento afirma que es matemáticamente imposible que cualquier política de enrutamiento o votación justifique sus costos.
3. El Límite de la Escala: Simplemente añadir más modelos a un grupo no garantiza un mejor desempeño. Si el grupo comparte un "átomo de modo común" (un modo de fallo compartido), la tasa de co-fallo $\beta$ permanece positiva, limitando la utilidad de todo el grupo independientemente de su tamaño.
4. Dependencia del Formato: El régimen de "limitado por el techo" es una función del formato de la tarea (respuesta abierta vs. opción múltiple), no solo de la dificultad de la materia. Las tareas de respuesta abierta conllevan inherentemente una cola de co-fallo que limita la eficacia de los métodos de ensamble.

Los autores conclen que para los modelos de frontera actuales en tareas verificables y abiertas, la "palanca" para la mejora no es añadir más modelos o confiar en la diversidad ingenua, sino identificar la heterogeneidad de los modos de fallo y gestionar la rotación del mercado (el valor de la opción de la amplitud). La dependencia del campo en $\rho$ oscurece el verdadero techo establecido por $\beta$.