Resumen Técnico: AGENTCOLLABBENCH

Enunciado del Problema

Los sistemas multiagente (MAS) que utilizan Modelos de Lenguaje Grande (LLM) a menudo logran resultados de vanguardia mediante la colaboración entre pares. Sin embargo, los paradigmas de evaluación existentes son predominantemente basados en resultados, centrándose en si la finalización final de la tarea es correcta. Este enfoque es ciego a los fallos de proceso "silenciosos" donde un agente abandona una restricción crítica, una creencia falsa se propaga mediante consenso, o el contexto privado se filtra entre tareas. En tales escenarios, la salida final puede parecer sintácticamente válida y relevante para la tarea, sin embargo, la cadena de razonamiento está corrupta. El artículo argumenta que las pruebas de referencia actuales carecen de los instrumentos cuantitativos y controlables necesarios para medir si los agentes mantienen restricciones estrictas bajo presión de pares, preservan la información a través de reenvíos multi-salto, resisten el contagio de creencias falsas o previenen la filtración de contexto entre tareas antes del despliegue.

Metodología

Los autores presentan AGENTCOLLABBENCH, una prueba de referencia diagnóstica que comprende 900 tareas validadas por humanos diseñadas para aislar y medir cuatro modos de fallo conductual específicos. El conjunto de datos abarca tres dominios empresariales (Ingeniería de Software, DevOps e Ingeniería de Datos) y cinco topologías de comunicación (Cadena Lineal, Árbol Ramificado, DAG Convergente, Totalmente Conectado y Grafo Personalizado).

Métricas Principales

La prueba de referencia emplea cuatro métricas distintas, cada una dirigida a un mecanismo de fallo específico mediante la inyección controlada de artefactos:

1. Tasa de Decaimiento de Instrucciones (IDR): Mide la deriva de restricciones bajo presión de pares. Se inyecta una restricción estricta en el prompt del sistema de un agente, y los mensajes de pares emiten invitaciones de violación de leve a fuerte. La IDR calcula la fracción de turnos en los que el agente viola la restricción.
2. Durabilidad del Trazador Radiactivo (RTD): Mide la pérdida de información a través de saltos. Una cadena de trazador única y literal (por ejemplo, DATASOURCE_CRM_API_V5) se incrusta en una ubicación conocida del grafo. La RTD es la profundidad normalizada de la capa más profunda donde se detecta el trazador mediante coincidencia exacta.
3. Tasa de Contaminación por Consenso (CPR): Mide la propagación de creencias falsas. Se siembra una declaración falsa específica en el contexto de un agente. La CPR calcula la fracción de respuestas aguas abajo que tratan el hecho falso como verdadero (ya sea mediante respaldo explícito o dependencia implícita).
4. Contención de Filtración entre Tareas (CLC): Mide la filtración de privacidad a través de límites de tareas. Se siembran cadenas de trazador privadas en la Tarea A; la CLC informa la fracción de estos trazadores que aparecen literalmente en la salida de una Tarea B posterior dentro de la misma sesión.

Configuración Experimental

El estudio evalúa cuatro modelos base LLM modernos: GPT-4.1 mini, Gemini 2.5 Flash Lite, Qwen-3.5-35B-A3B y Llama 3.1 8B Instruct. El protocolo de evaluación incluye:

• Validez de Construcción: Escaleras de perturbación (baja/media/alta intensidad) para presión de pares, plausibilidad de hechos e intensidad de filtración para asegurar que las métricas se muevan en las direcciones esperadas.
• Separación del Juez: La IDR y la CPR se evalúan utilizando jueces LLM (DeepSeek V4 Flash) disjuntos de los modelos base para prevenir sesgos, con una validación humana que establece un alto acuerdo interanotador ($\kappa$ de Cohen $\approx 0.74$).
• Análisis Topológico: Comparación del rendimiento a través de diferentes estructuras de comunicación para aislar factores de riesgo estructurales de la capacidad del modelo.

Resultados Clave

1. Huella Conductual de los Modelos

Ningún modelo único domina en los cuatro ejes conductuales. Los resultados revelan perfiles de vulnerabilidad distintos e no intercambiables:

• Qwen-3.5-35B-A3B: Lidera en Estabilidad de Instrucciones (IDR: 0.9%) y Durabilidad del Trazador (RTD: 94.0%), pero ocupa el tercer lugar en contención de filtración.
• GPT-4.1 mini: Es el mejor en contener Filtración entre Tareas (CLC: 2.6%) y resistir Creencias Falsas (CPR: 17.7%), pero ocupa el tercer lugar en durabilidad del trazador.
• Llama 3.1 8B Instruct: Rinde peor en tres de las cuatro métricas, mostrando un alto decaimiento de instrucciones (10.1%), alta contaminación por consenso (40.3%) y baja durabilidad del trazador (62.6%).
• Gemini 2.5 Flash Lite: Exhibe el perfil más equilibrado a través de las métricas.

Estos perfiles no son sustitutos de la capacidad general; los modelos que ocupan un lugar alto en tablas de clasificación estándar (por ejemplo, Chatbot Arena) no rinden consistentemente bien en estas métricas conductuales.

2. Topología como Factor de Riesgo Primario

La topología de comunicación explica una parte significativa (7–40%) de la varianza en la supervivencia de información multi-salto (RTD), un tamaño de efecto comparable a la elección del modelo base.

• Enrutamiento Directo vs. Multi-salto: Las topologías totalmente conectadas y de grafo personalizado logran una RTD casi perfecta al eliminar las rutas de propagación multi-salto.
• El Cuello de Botella del DAG Convergente: Los DAG convergentes y los árboles ramificados, que requieren reenvío multi-salto, muestran una pérdida de restricciones sustancialmente mayor. Específicamente, los nodos de DAG convergente exhiben un "cuello de botella de síntesis": cuando un agente pondera entradas competitivas de múltiples padres, a menudo descarta las restricciones transportadas por una rama minoritaria (presente solo en una entrada de padre). Este modo de fallo está estructuralmente ausente en las cadenas lineales.
• Tasas de Pérdida por Salto: En los DAG convergentes, la tasa de pérdida de trazadores por salto es de 1.6 a 5.0 veces mayor que en las cadenas lineales, dependiendo del modelo.

3. Complejidad Estructural vs. Presión Conductual

La complejidad estructural (definida por la cantidad de agentes, el número de turnos y la complejidad de las restricciones) no predice consistentemente las tasas de fallo conductual. Para la mayoría de las métricas (IDR, CPR, CLC), no hay una tendencia monótona a través de los niveles de complejidad, lo que indica que los modos de fallo conductual son distintos de la carga estructural.

Significado y Afirmaciones

El artículo afirma que la fiabilidad multiagente es fundamentalmente un problema estructural, y escalar la inteligencia del modelo por sí solo no es un sustituto de la arquitectura.

• Necesidad Diagnóstica: AGENTCOLLABBENCH demuestra que las topologías subóptimas pueden borrar silenciosamente las salvaguardas de modelos altamente capaces. Un sistema puede obtener una buena puntuación en pruebas de referencia basadas en resultados mientras falla catastróficamente en dimensiones críticas para el despliegue como la retención de restricciones y la privacidad.
• Más Allá de la Precisión del Resultado: El trabajo argumenta que la evaluación basada únicamente en resultados pasa por alto los fallos que más importan en los sistemas desplegados. La prueba de referencia proporciona un "analizador estático" para sistemas multiagente, poniendo de manifiesto señales de riesgo específicas y auditables (IDR, RTD, CPR, CLC) antes de la producción.
• Implicaciones Arquitectónicas: La identificación del cuello de botella de síntesis del DAG convergente sugiere que se requieren intervenciones arquitectónicas (por ejemplo, eco explícito de restricciones en los nodos de convergencia), ya que la sustitución del modelo por sí sola no puede recuperar las restricciones perdidas en estas topologías.

Los autores concluyen que los sistemas multiagente requieren diagnósticos conductuales que expongan fallos a nivel de proceso, argumentando que la fiabilidad es una propiedad multidimensional no capturada por puntuaciones de capacidad agregadas.