Resilient Consensus in Agentic AI

Resumen Técnico: Consenso Resiliente en la IA Agéntica

Planteamiento del Problema
Los agentes de Modelos de Lenguaje Extensos (LLM) se están desplegando cada vez más en sistemas multi-agente que requieren coordinación y toma de decisiones compartida. Un desafío crítico surge cuando estos agentes deben alcanzar un consenso en presencia de actores adversarios o defectuosos (agentes bizantinos). Si bien la teoría clásica de sistemas distribuidos proporciona garantías rigurosas para el consenso entre agentes deterministas, no está claro si estos límites y algoritmos teóricos se transfieren a los agentes de LLM, que operan mediante el uso de prompting probabilístico en lugar de reglas de actualización deterministas. El artículo investiga si las políticas de LLM inducidas por prompts pueden lograr el acuerdo garantizado teóricamente por las condiciones de consenso resiliente clásicas y si los mecanismos de filtrado clásicos pueden mitigar los fallos en la IA agéntica.

Metodología
Los autores enmarcan el problema del acuerdo entre agentes de LLM como un juego de consenso bizantino. La configuración experimental consiste en una red sincrónica de $N$ agentes, que comprende $H$ agentes honestos y $B$ agentes bizantinos, comunicándose a través de grafos completos y dirigidos generales.

• Agentes: Los agentes honestos están modelados utilizando el LLM meta-Llama-3.2-3B-Instruct, con la tarea de acordar un número entero entre 0 y 50. Reciben propuestas de sus vecinos y generan nuevas propuestas mediante ingeniería de prompts.
• Adversarios: Los agentes bizantinos también son LLMs, inducidos a proponer valores estratégicos (ya sea altos o bajos) para evitar que los agentes honestos converjan.
• Protocolo: El sistema se ejecuta durante un horizonte fijo ($T_{max}$). En cada ronda, los agentes transmiten sus propuestas y los agentes honestos actualizan su estado basándose en los valores recibidos.
• Intervención: El estudio evalúa la eficacia de envolver las políticas de los LLM con filtros de consenso resiliente clásicos, específicamente el filtro de tipo MSR global (para grafos completos) y el filtro de tipo MSR local (para grafos generales). Estos filtros funcionan eliminando los $f$ valores más pequeños y los $f$ valores más grandes del conjunto recibido antes de que un agente compute su siguiente propuesta.

Contribuciones Clave

1. Formalización del Fallo de Consenso de LLM: Los autores formalizan el juego de consenso bizantino para los LLM y demuestran que las políticas de LLM inducidas por prompts fallan al alcanzar el acuerdo incluso en regímenes donde la teoría clásica garantiza que existe un algoritmo convergente (específicamente cuando $N \ge 3B + 1$). Este fallo persiste a través de diversas temperaturas y horizontes temporales, lo que indica una brecha entre las políticas arbitrarias inducidas por prompts y las reglas de actualización resilientes requeridas para las garantías teóricas.
2. Restauración mediante Filtros Clásicos: El estudio muestra que envolver los agentes de LLM con filtros de consenso resiliente clásicos recupera el acuerdo alcanzable.
   • En grafos completos, el filtro de tipo MSR global restaura la probabilidad de consenso a aproximadamente el 100%, incluso en escenarios donde la base falla.
   • En grafos generales que satisfacen condiciones topológicas específicas, el filtro de tipo MSR local mejora el acuerdo, aunque la magnitud de la mejora depende de la robustez inherente de la topología de la red.
3. Análisis de Robustez: A través de estudios de ablación, los autores confirman que estos efectos son robustos en diferentes temperaturas de muestreo y horizontes de consenso. Además, demuestran que los filtros siguen siendo efectivos incluso cuando el número de agentes bizantinos ($B$) está mal especificado (sobreestimado), siempre que el parámetro del filtro $f$ se establezca como un límite superior.

Resultados Experimentales

• Rendimiento de la Base: En grafos completos, la probabilidad de consenso cae significativamente a medida que $B$ aumenta, fallando mucho antes del umbral teórico de $N < 3B + 1$. Por ejemplo, con $H=15$ y $B=4$, la probabilidad de consenso de la base fue de solo el 30% con una temperatura de 0.5, a pesar de que la teoría sugiere que el acuerdo debería ser posible.
• Eficacia del Filtro: La aplicación del filtro de tipo MSR global ($f=B$) en grafos completos resultó en un consenso casi perfecto (≈100%) en todos los valores de $B$ y temperaturas probadas.
• Grafos Generales: En una topología de grafo general específica, la base alcanzó un alto consenso dentro del régimen garantizado teóricamente ($B \le 4$), pero se degradó más allá de este. El filtro de tipo MSR local funcionó al menos tan bien como la base en el régimen garantizado, pero ofreció una mejora limitada, lo que sugiere que en grafos densamente conectados, la propia topología proporciona una robustez sustancial.
• Mal Especificación: Cuando el parámetro del filtro se fijó en $f=6$ mientras que el $B$ real era 0, 2 o 4, el protocolo filtrado mantuvo un consenso del 100%, superando a la base incluso en ausencia de adversarios.

Significancia y Reivindicaciones
El artículo postula que la teoría del consenso resiliente clásico sirve como una lente útil para la seguridad de la IA agéntica. El hallazgo principal no es una contradicción de la teoría clásica, sino una demostración de que la implementación de los agentes de LLM mediante el prompting estándar no satisface inherentemente las condiciones requeridas para el consenso. La brecha reside entre el comportamiento de una política inducida por prompts y una regla de actualización matemáticamente resiliente.

Los autores afirman que integrar herramientas de control clásicas, como los filtros de consenso resiliente, actúa como una capa de seguridad que puede garantizar el comportamiento colectivo incluso cuando los agentes de LLM individuales son poco fiables o adversarios. Concluyen que, si bien el presente trabajo se centra en el acuerdo escalar, la dirección natural para el trabajo futuro es extender estas nociones de resiliencia a tareas agénticas más complejas, como acordar planes, respuestas o decisiones estructuradas.