The Consensus Trap: Rescuing Multi-Agent LLMs from Adversarial Majorities via Token-Level Collaboration

Resumen Técnico: La Trampa del Consenso y la Colaboración a Nivel de Token

1. El Problema: La Vulnerabilidad de la Agregación a Nivel de Respuesta

Los sistemas actuales de múltiples agentes con Modelos de Lenguaje Grande (LLM) dependen principalmente de la agregación a nivel de respuesta, siendo el Voto Mayoritario (Majority Voting - MAJ) la técnica dominante. En este enfoque, cada agente genera una respuesta completa de forma independiente y el sistema elige la respuesta más frecuente.

El artículo identifica una vulnerabilidad crítica en entornos abiertos:

• Corrupción Contextual Sigilosa: Los agentes son susceptibles a manipulaciones sutiles, como inyecciones de prompts dirigidos (ej. publicidad encubierta o desinformación política) que alteran su trayectoria de razonamiento sin romper sus alineaciones de seguridad.
• El Colapso de la Mayoría: Si un adversario logra corromper a una mayoría local de agentes (ratio de corrupción $\rho > 0.5$), el sistema de votación colapsa matemáticamente. Dado que el voto agrega conclusiones finales (cajas negras), es ciego a la lógica intermedia defectuosa. Si más del 50% de los agentes están manipulados para producir la misma respuesta incorrecta, el sistema converge con confianza hacia el error, ignorando a la minoría honesta.
• Falta de Decorrelación: A diferencia de la teoría social de elección clásica que asume errores independientes, en la práctica, los agentes LLM comparten sesgos algorítmicos y son vulnerables a las mismas manipulaciones contextuales, lo que invalida la suposición de independencia necesaria para que el voto mayoritario funcione.

2. Metodología: Colaboración Round-Robin a Nivel de Token (RR)

Para superar este límite aritmético, los autores proponen un cambio de paradigma: pasar de la votación macroscópica a la Colaboración Round-Robin (RR) a Nivel de Token.

• Mecanismo de Funcionamiento:

  • En lugar de generar respuestas completas de forma aislada, los $N$ agentes construyen una sola trayectoria autoregresiva compartida.
  • Los agentes se turnan secuencialmente para generar bloques de $K$ tokens (trozos de texto).
  • En cada turno, el agente designado lee todo el contexto compartido hasta ese momento y genera su parte, la cual se concatena inmediatamente para el siguiente agente.
  • Este proceso se repite hasta completar la respuesta, y se puede ejecutar múltiples veces (M shots) para un voto final sobre las trayectorias completas (RRMaj).

• Dinámica Teórica:

  • El proceso se formaliza como un sistema dinámico de tiempo discreto.
  • Se modela la generación como un operador de transición en un espacio latente continuo. Los agentes honestos actúan como operadores que optimizan la consistencia lógica hacia una "Dirección de Verdad" ($\theta$), mientras que los agentes corruptos intentan desviar la trayectoria.
  • El "Atractor de Verdad": La lógica compartida actúa como un atractor. Si un agente honesto interviene y corrige una premisa falsa en medio de la generación (ej. "Espera, $\sqrt{9}=3$, por lo tanto $3+1=4$"), esa corrección se integra en el contexto compartido.
  • Restricción Sycophancy: Debido a la naturaleza autoregresiva y la "sycophancy" (tendencia del modelo a alinearse con el contexto previo), un agente corrupto posterior tiene dificultades para revertir una lógica correcta ya establecida en el contexto compartido, ya que la probabilidad de generar un token que contradiga el contexto factual decae exponencialmente.

• Eficiencia de Costos:

  • El método es neutro en costos en comparación con el Voto Mayoritario estándar. Ambos requieren el mismo número total de pasos de decodificación secuencial ($N \times L$ tokens). La única sobrecarga es el pre-llenado de contexto al cambiar de agente, que es altamente paralelizable y computacionalmente insignificante.

3. Contribuciones Clave

1. Demostración de la Transición de Fase de Robustez: Se demuestra empíricamente que mientras el Voto Mayoritario (MAJ) colapsa estrictamente cuando $\rho > 0.5$, la colaboración RR mantiene una alta precisión mucho más allá de este umbral.
2. Fundamento Teórico y el "Impuesto de Robustez":
   • Se prueba teóricamente que la inercia estructural profunda de los agentes honestos puede superar las perturbaciones superficiales de las inyecciones adversarias.
   • Se formaliza un trade-off asimétrico: La colaboración RR impone un "impuesto de robustez" mínimo (una ligera caída de precisión en entornos limpios) pero ofrece ganancias defensivas masivas en entornos hostiles, lo que la hace altamente rentable.
3. Resistencia a la Mayoría Adversaria: Se demuestra que incluso cuando la mayoría de los agentes están corruptos, la minoría honesta puede "rescatar" la lógica intermedia y forzar al sistema a converger hacia la respuesta correcta.

4. Resultados Experimentales

Los autores evaluaron el método en diversos benchmarks de razonamiento (matemático, lógico, seguimiento de estado) utilizando modelos de diferentes tamaños (Llama-3.3-70B, Mistral, Qwen, etc.).

• Colapso del Consenso Clásico: Bajo inyecciones de prompts moderadas y fuertes, cuando la corrupción alcanza el 60% ($\rho=0.6$, configuración 3c2t), la precisión del Voto Mayoritario (MAJ) cae drásticamente (ej. de ~90% a <1% en algunos casos de matemáticas).
• Recuperación con RR:
  • El método RR logra recuperaciones masivas. En el mismo escenario de 3c2t, RR elevó la precisión de Llama-3.3-70B en tareas de seguimiento de estado de 0.8% a 89.1%.
  • En promedio, RR logró una recuperación de +49.6% en condiciones de corrupción mayoritaria moderada.
  • Incluso bajo comandos imperativos fuertes ("DEBES elegir X"), RR superó la carga maliciosa, mientras que MAJ caía cerca de cero.
• Escalado de Computo en Tiempo de Prueba: A diferencia de MAJ, que empeora al aumentar el número de muestras (M) bajo corrupción mayoritaria (caída de Condorcet), RR mejora monótonamente al escalar M, transformando el escalado de agentes en un amplificador de verdad.
• Independencia del Último Hablante: Se demostró estadísticamente que la recuperación no depende de que un agente honesto sea el último en hablar; la lógica compartida es la fuerza motriz.
• Tamaño del Bloque (K): Se identificó un "punto dulce" para el tamaño del bloque de tokens ($K \approx 100-300$). Bloques muy pequeños fragmentan el razonamiento, mientras que bloques muy grandes permiten a los agentes corruptos consolidar su payload malicioso antes de que un agente honesto pueda intervenir.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Desafía la Sabiduría Convencional: Cuestiona la suposición de que simplemente agregar más agentes o usar votación resuelve los problemas de alucinación y manipulación en entornos abiertos.
• Propone una Defensa Estructural: En lugar de depender de la detección de errores o la corrección posterior, la defensa se integra en el proceso de generación mismo, utilizando la física de los modelos de lenguaje (inercia autoregresiva) a favor de la verdad.
• Viabilidad Práctica: Al mantener la paridad de costos con los métodos actuales, ofrece una solución escalable y económicamente viable para proteger sistemas multi-agente en aplicaciones críticas como asistentes de investigación autónomos, planificación de viajes o análisis de datos, donde la manipulación de prompts es una amenaza real y creciente.

En conclusión, el artículo demuestra que la colaboración microscópica a nivel de token es una defensa superior contra la corrupción mayoritaria, transformando la dinámica de los sistemas multi-agente de una suma lineal frágil a un producto de operadores no lineal robusto.