Can AI Agents Agree?

El estudio revela que los agentes basados en modelos de lenguaje no logran un acuerdo fiable en escenarios de consenso, incluso en condiciones benignas, ya que sus fallos se deben principalmente a la pérdida de actividad (como tiempos de espera) en lugar a la corrupción de valores, lo que sugiere que la coordinación robusta aún no es una capacidad emergente confiable.

Lo esencial

Imagina que tienes un grupo de amigos muy inteligentes (son como asistentes de IA avanzados) y les pides que se pongan de acuerdo en un número al azar, digamos entre 0 y 50. No importa qué número elijan, lo único importante es que todos elijan el mismo.

Este es el problema que los autores de este estudio intentaron resolver: ¿Pueden los "robots" inteligentes ponerse de acuerdo entre ellos?

Aquí te explico lo que descubrieron, usando analogías sencillas:

1. El Experimento: Una Mesa Redonda Digital

Imagina una reunión donde todos los participantes están conectados por una red perfecta. Cada uno tiene un papel en la mesa:

• Los Agentes Honestos: Son los que realmente quieren llegar a un acuerdo.
• Los Agentes "Byzantinos" (Los Trastornadores): Son como un par de amigos que, en secreto, quieren arruinar la reunión. No tienen que ser malvados, solo necesitan proponer números locos o decir "sigamos discutiendo" para que nunca se decidan.

El juego tiene reglas simples:

1. Todos proponen un número.
2. Todos se cuentan las propuestas de los demás.
3. Todos votan: "¿Ya nos pusimos de acuerdo? (Stop)" o "¿Seguimos hablando? (Continue)".
4. Si el 66% dice "Stop", el juego termina.

2. El Descubrimiento Sorprendente: ¡Ni siquiera sin traidores funciona bien!

Lo más impactante del estudio es que incluso cuando todos son honestos y no hay nadie intentando sabotear el juego, los robots fallan mucho.

• La analogía de la "Carrera de Convergencia": Imagina que todos los robots son corredores que intentan llegar al mismo punto de la meta. En lugar de correr juntos, a menudo se quedan dando vueltas en círculos, se pierden o simplemente se cansan y se detienen antes de llegar.
• El problema del tamaño: Cuantos más robots hay en el grupo, más difícil es que se pongan de acuerdo. Es como intentar organizar un grupo de 16 personas para tomar una decisión rápida; el ruido y la confusión aumentan, y es más probable que nadie llegue a un acuerdo a tiempo.
• El efecto de "mencionar al enemigo": Curiosamente, cuando les decían a los robots honestos: "Ojo, podría haber un traidor entre nosotros", se ponían más nerviosos y tardaban más en decidir. ¡Decirles que había un posible traidor los hacía más lentos, incluso si no había ninguno!

3. ¿Qué pasa cuando hay traidores?

Cuando introdujeron a unos pocos agentes "Byzantinos" (los que quieren sabotear), la situación empeoró drásticamente.

• No es que elijan el número incorrecto: Lo interesante es que los traidores rara vez lograban que todos se pusieran de acuerdo en un mal número.
• El verdadero daño es el "Parálisis": Lo que lograron los traidores fue evitar que se pusieran de acuerdo en absoluto. Lograron que la reunión se alargara hasta el infinito o hasta que se acabó el tiempo.
• La analogía del "Semáforo en Rojo": Imagina que los honestos intentan cruzar la calle. Los traidores no empujan a nadie hacia el lado incorrecto; simplemente se paran en medio de la calle y gritan "¡Peligro!" una y otra vez. Nadie se mueve, el tráfico se detiene y nunca llegan a la otra acera.

4. ¿Por qué fallan? (La pérdida de "Vida")

En el mundo de la informática, hay dos cosas importantes:

1. Seguridad (Safety): Que no tomen una decisión incorrecta.
2. Vida (Liveness): Que finalmente tomen alguna decisión.

El estudio descubrió que el problema principal de los robots no es que tomen malas decisiones, sino que no toman ninguna decisión. Se quedan "congelados" o en bucle infinito. Es como un grupo de personas discutiendo en una sala: todos están de acuerdo en que deberían decidir, pero nadie da el paso final, así que la reunión se acaba sin haber decidido nada.

Conclusión: ¿Podemos confiar en ellos?

La respuesta corta es: Aún no.

Aunque estos modelos de inteligencia artificial son muy inteligentes para escribir código o contar chistes, no son buenos para tomar decisiones de grupo de forma fiable.

• Si necesitas que un grupo de IA tome una decisión crítica (como coordinar un dron de rescate o gestionar una red eléctrica) y no pueden ponerse de acuerdo, el sistema falla.
• Cuanto más grande es el grupo, más frágil es la coordinación.
• Incluso un solo "mal actor" puede paralizar todo el sistema.

En resumen: Los robots actuales son como un coro de voces muy talentosas, pero si no hay un director humano muy estricto, a menudo cantan notas diferentes, se pierden el compás o simplemente se quedan callados esperando que el otro empiece. Aún no son capaces de "ponerse de acuerdo" por sí solos de forma confiable.

Resumen técnico

Resumen Técnico: ¿Pueden los Agentes de IA Ponerse de Acuerdo?

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) se están desplegando cada vez más como agentes autónomos que colaboran en tareas de planificación, codificación y razonamiento. Sin embargo, la capacidad de estos agentes para alcanzar un consenso robusto en entornos adversarios o incluso benignos no ha sido estudiada sistemáticamente.

El problema central es determinar si un grupo de agentes impulsados por LLM puede lograr un acuerdo válido (Byzantine Consensus) cuando:

• Algunos agentes pueden comportarse de manera maliciosa (agentes Bizantinos).
• No existe una "apuesta" o recompensa externa por un valor específico (escenario no-stake), lo que obliga a los agentes a acordar cualquier valor inicial honesto, no necesariamente el óptimo.
• La red es síncrona y de todos a todos (all-to-all).

El estudio cuestiona si las garantías clásicas de tolerancia a fallos bizantinos (como las de Pease et al., 1980) se traducen a algoritmos estocásticos y guiados por prompts como los LLM.

2. Metodología

Los autores diseñaron un entorno de simulación llamado A2A-Sim para evaluar el consenso escalar.

• Configuración del Juego:

  • Agentes: $N$ agentes comunicándose en una red síncrona de todos a todos durante $T_{max}$ rondas.
  • Valores: Los agentes honestos proponen valores escalares en el rango $[0, 50]$, inicializados aleatoriamente. Los agentes bizantinos no tienen un valor inicial y pueden elegir valores arbitrarios.
  • Objetivo: Llegar a un acuerdo donde todos los agentes honestos posean el mismo valor (que debe ser uno de los valores iniciales de los agentes honestos).
  • Terminación: El juego termina cuando $\ge 2/3$ de los agentes votan para detenerse ("stop"). Si no se alcanza este umbral en $T_{max}$, se considera un timeout (no consenso).

• Modelo de Amenaza:

  • Se considera un modelo bizantino restringido: los agentes maliciosos pueden proponer valores arbitrarios y justificaciones engañosas, pero no pueden mentir de forma equívoca (enviar mensajes diferentes a diferentes receptores), forjar identidades o suprimir mensajes. Deben enviar el mismo mensaje a todos en cada ronda.
  • Se probaron fracciones de agentes bizantinos ($f$) desde 0 hasta $1/3$.

• Implementación de Agentes:

  • Se utilizaron modelos de la familia Qwen3 (8B y 14B).
  • Cada agente recibe un resumen textual compacto del historial (propuestas y justificaciones truncadas) y una estrategia privada.
  • La salida es un JSON con: propuesta escalar, justificación de texto libre y decisión de terminación (vote/continue).
  • Se compararon dos variantes de prompting: una que advertía sobre la posible existencia de agentes bizantinos y otra que asumía un entorno totalmente cooperativo.

• Métricas de Evaluación:

  • Consenso Válido: Todos los agentes honestos acuerdan un valor inicial honesto.
  • Consenso Inválido: Se detiene el juego pero con valores inconsistentes o no válidos.
  • Sin Consenso: Timeout (falta de liveness).
  • Se ejecutaron 25 simulaciones independientes por configuración con intervalos de confianza del 95%.

3. Contribuciones Clave

1. Estudio de Capacidad: Evaluación del consenso en grupos de agentes LLM en entornos benignos, variando tamaños de grupo y modelos.
2. Estudio de Robustez: Demostración de que incluso un solo agente bizantino colapsa drásticamente el éxito del consenso.
3. Análisis de Fallos: Identificación de que las fallas se deben principalmente a la pérdida de liveness (tiempos de espera, estancamiento) y no a la corrupción sutil de los valores (falta de safety).

4. Resultados Principales

• Escenario Benigno (Sin Agentes Bizantinos, $B=0$):

  • El consenso válido no es fiable. Solo el 41.6% de las ejecuciones lograron un consenso válido.
  • Tamaño del Modelo: Qwen3-14B (67.4% de éxito) superó significativamente a Qwen3-8B (15.8%), pero ambos mostraron altas tasas de timeout.
  • Efecto del Tamaño del Grupo: A medida que crece el grupo ($N=4 \to 16$), el rendimiento se degrada. El consenso válido cayó del 46.6% al 33.3%.
  • Impacto del Prompting: Mencionar la posibilidad de agentes bizantinos en el prompt (incluso cuando no existen) perjudicó la liveness. Qwen3-14B mejoró del 59.1% al 75.4% de consenso válido cuando se eliminó la mención de adversarios, reduciendo a la mitad el tiempo de convergencia.

• Escenario Adversario (Con Agentes Bizantinos):

  • La presencia de agentes bizantinos reduce drásticamente el éxito. Incluso con un solo agente malicioso ($B=1$ en un grupo de 9), la probabilidad de consenso válido cae casi a cero.
  • Naturaleza del Fallo: Los agentes bizantinos rara vez logran forzar un "consenso inválido" (valores corruptos). En su lugar, previenen el acuerdo, causando timeouts. El 95% de los fallos se deben a la falta de liveness.
  • Las trayectorias de propuesta muestran que los agentes honestos a menudo se estancan o divergen cuando intentan detectar o mitigar amenazas percibidas.

5. Significado y Conclusión

El estudio concluye que el acuerdo fiable no es aún una capacidad emergente dependiente de los grupos actuales de agentes LLM, incluso en configuraciones controladas y sin incentivos económicos (no-stake).

• Fragilidad Social: La capacidad de los LLM para actuar como tomadores de decisiones sociales robustos es frágil. La coordinación necesaria para la delegación y la seguridad crítica sigue siendo problemática.
• Implicaciones para el Despliegue: Se debe tener precaución al desplegar sistemas multi-agente que dependen de la coordinación robusta, especialmente si el tamaño del grupo aumenta o si existe la posibilidad de comportamiento estratégico.
• Dirección Futura: Se necesita más investigación sobre comportamientos adversarios diversos, poblaciones de agentes heterogéneos y mecanismos de agregación más robustos (como consenso ponderado por confianza) para superar la pérdida de liveness observada.

En resumen, los agentes LLM actuales tienen dificultades para mantener la cohesión del grupo bajo presión o incertidumbre, fallando más por no poder "ponerse de acuerdo a tiempo" que por acordar en un valor incorrecto.