When Agents Disagree: The Selection Bottleneck in Multi-Agent LLM Pipelines

1. El Problema: La Paradoja de la Diversidad en Agentes Múltiples

El campo de los pipelines de LLMs multi-agente enfrenta una contradicción fundamental en la literatura reciente:

• A favor de la diversidad: Trabajos como Wang et al. [22] (Mixture-of-Agents o MoA) argumentan que equipos heterogéneos (modelos de diferentes familias) superan a los modelos individuales.
• En contra de la diversidad: Otros estudios, como Li et al. [14] (Self-MoA), concluyen que equipos homogéneos (múltiples copias del mismo modelo) superan consistentemente a los equipos mixtos.

Ambos estudios son metodológicamente sólidos, pero sus conclusiones parecen mutuamente excluyentes. El artículo identifica que la discrepancia no radica en la diversidad per se, sino en el mecanismo de agregación utilizado para combinar las respuestas de los agentes. La comunidad ha estado utilizando predominantemente la síntesis (combinar todas las respuestas en una sola), lo que puede estar ocultando el verdadero potencial de la diversidad.

2. Metodología y Marco Teórico

El Modelo del "Cuello de Botella de Selección"

Los autores proponen un modelo teórico que introduce un umbral de cruce ($s^*$) basado en la calidad del selector ($s$).

• Selector ($s$): Una métrica que cuantifica la capacidad del sistema para identificar y elegir la mejor respuesta entre un conjunto de candidatos. $s=0$ es selección aleatoria, $s=1$ es un selector perfecto.
• La Hipótesis: La diversidad es un activo solo si la calidad del selector supera un umbral crítico ($s > s^*$). Si el selector es débil ($s < s^*$), la diversidad se convierte en un pasivo porque el sistema no puede distinguir la mejor opción entre muchas variadas.
• Síntesis vs. Selección:
  • La síntesis (como en MoA) actúa como un selector con calidad efectiva $s \approx 0$, ya que mezcla todas las respuestas, diluyendo las respuestas excepcionales y promediando los errores.
  • La selección basada en jueces (Judge-based selection) opera con una calidad $s$ alta, permitiendo explotar la varianza del equipo diverso para elegir el "mejor" candidato.

Diseño Experimental

Se realizó un experimento dirigido (V4) con un diseño de celdas cruzadas:

• Tareas: 42 tareas distribuidas en 7 categorías (Codificación, Creatividad, Ética, Matemáticas, Razonamiento, Ciencia, Resumen). Total: $N=210$ ejecuciones.
• Composiciones de Equipos:
  1. Homogéneo: 3 copias de Claude Opus.
  2. Diverso (Fuerte): Opus + GPT-5.4 + Gemini 2.5 Pro.
  3. Diverso (Mixto): Opus + Gemini 2.5 Pro + Claude Haiku (un modelo más débil).
• Mecanismos de Agregación:
  1. Selección por Panel de Jueces: Un panel de LLMs externos evalúa y selecciona la mejor respuesta.
  2. Votación Mayoritaria: Los agentes votan por la mejor opción.
  3. Síntesis MoA: Un agente fusiona todas las respuestas en una sola.

Para evitar sesgos, se aplicó una separación estricta agente-juez (los modelos que generan no son los que evalúan) y se realizó una evaluación desacoplada con jueces independientes.

3. Contribuciones Clave

1. Modelo del Cuello de Botella de Selección: Se formaliza matemáticamente un umbral $s^*$ (Proposición 1) que unifica hallazgos contradictorios. Explica cuándo la diversidad ayuda y cuándo perjudica.
2. Evidencia Empírica de la Superioridad de la Selección: Se demuestra que la selección basada en jueces supera drásticamente a la síntesis MoA, invirtiendo la lógica de los pipelines actuales.
3. La Paradoja del Modelo Débil (Exploratoria): Se presenta evidencia de que incluir un modelo más débil y barato en un equipo diverso puede mejorar la calidad y reducir costos simultáneamente, desafiando la sabiduría convencional de usar solo modelos de vanguardia.

4. Resultados Principales

Los resultados se miden mediante la Tasa de Victoria (Win Rate - WR) corregida por el modelo Bradley-Terry, comparada contra una línea base de un solo modelo.

• Selección vs. Síntesis (El hallazgo más fuerte):

  • Selección (Jueces): El equipo diverso con selección alcanzó un WR de 0.810 (81% de victorias).
  • Síntesis (MoA): El mismo equipo diverso con síntesis obtuvo un WR de 0.179. La síntesis perdió contra el modelo individual en el 82% de las tareas.
  • Conclusión: La síntesis no solo falla en aprovechar la diversidad, sino que degrada activamente la calidad.

• Efecto de la Diversidad:

  • Bajo selección de jueces, el equipo diverso superó al equipo homogéneo (WR 0.512, cerca del azar) con un efecto de tamaño enorme ($g = 2.71$).
  • Bajo votación mayoritaria, el equipo diverso obtuvo un WR de 0.496, indistinguible del azar y del equipo homogéneo. Esto demuestra que sin un selector capaz, la diversidad es inútil.

• La Paradoja del Modelo Débil (Exploratorio):

  • El equipo "Diverso Mixto" (incluyendo el modelo más débil Haiku) con selección de jueces logró el mejor rendimiento global (WR = 0.929).
  • Además, fue la configuración más económica (costo relativo 1.0x vs 2.5x del equipo totalmente fuerte), sugiriendo una "comida gratis" en términos de calidad/costo.

• Validación Desacoplada:

  • Una evaluación con jueces totalmente independientes (que no participaron en la selección) confirmó todas las tendencias direccionales, aunque con tamaños de efecto atenuados, validando que los resultados no son un artefacto de circularidad.

5. Significado e Implicaciones

El artículo ofrece un cambio de paradigma para el diseño de pipelines de agentes LLM:

1. La Arquitectura > Capacidad del Generador: El factor más crítico para el rendimiento no es solo tener modelos más potentes, sino tener un selector de alta calidad. Invertir en mejores mecanismos de selección (jueces) es más impactante que simplemente aumentar la diversidad de generadores si no hay un selector adecuado.
2. Abandono de la Síntesis: El enfoque de "Mixture-of-Agents" basado en síntesis (fusionar respuestas) parece ser subóptimo para tareas de generación abierta. La recomendación práctica es cambiar a selección basada en jueces.
3. Optimización de Costos: Contrario a la intuición, incluir modelos más baratos y débiles en un equipo diverso puede mejorar la capacidad de discriminación del juez (al aumentar la varianza de las opciones) y reducir costos, siempre que el selector sea lo suficientemente robusto para ignorar las respuestas pobres.
4. Resolución de la Paradoja: El estudio reconcilia la literatura previa sugiriendo que los estudios que favorecen la homogeneidad probablemente operaron por debajo del umbral de selección ($s < s^*$), mientras que los que favorecen la diversidad operaron por encima de él.

En resumen, el papel argumenta que el valor de la diversidad en los sistemas multi-agente depende enteramente de la capacidad del sistema para seleccionar la mejor opción, no para promediar todas las opciones.