Resumen Técnico: CANTANTE

Enunciado del Problema

Los sistemas multiagente (MAS) basados en Modelos de Lenguaje Grande (LLM) han demostrado un rendimiento sólido en tareas complejas como la ingeniería de software, la modelación predictiva y la generación aumentada por recuperación. Sin embargo, automatizar su configuración sigue siendo un desafío estructural. Aunque existen puntuaciones de evaluación a nivel de sistema (por ejemplo, precisión, recompensa), los parámetros que gobiernan el comportamiento individual de cada agente (como los prompts) son locales. Esto genera una discrepancia en la "asignación de crédito": optimizar el sistema requiere convertir una señal escalar global en señales de actualización específicas para cada agente.

Los enfoques existentes a menudo propagan las puntuaciones globales directamente a los agentes individuales o actualizan los agentes de forma secuencial (por ejemplo, round-robin), fallando en descomponer eficazmente la señal de recompensa. Esto resulta en una optimización ineficiente donde los agentes pueden recibir señales de actualización incorrectas (por ejemplo, que un planificador sea penalizado por un error de un codificador) o donde el espacio de búsqueda se vuelve intratable debido a la naturaleza combinatoria de las configuraciones conjuntas.

Metodología: CANTANTE

Los autores introducen CANTANTE (Atribución Contrastiva para el Ajuste de Sistemas Multiagente), un marco que formaliza la optimización de MAS como un problema de asignación de crédito. El mecanismo central es la atribución contrastiva intra-grupo, que descompone las recompensas a nivel de sistema en señales de actualización por agente.

Mecanismo Central

1. Muestreo de Configuración Conjunta: En cada iteración, los optimizadores locales proponen $K$ parametrizaciones candidatas (por ejemplo, prompts) para cada uno de los $N$ agentes. Estas se ensamblan en $K$ configuraciones conjuntas.
2. Ejecución y Evaluación: Cada configuración conjunta se ejecuta en un conjunto de consultas, produciendo puntuaciones a nivel de sistema y trazas de ejecución (trayectorias de las salidas de los agentes).
3. Atribución Contrastiva: En lugar de asignar crédito basándose en puntuaciones absolutas, un modelo de atribución (un LLM con prompt) compara las trayectorias dentro de un grupo de comparación aleatorio de tamaño $g$. Evalúa cómo la salida específica de cada agente contribuyó a las diferencias observadas en los resultados del sistema en relación con las otras configuraciones del grupo.
   • El atribuidor genera un crédito escalar $c \in [-1, +1]$ para cada agente por ejecución.
   • Esto permite al sistema distinguir entre configuraciones con puntuaciones de sistema idénticas analizando las diferencias conductuales intermedias.
4. Actualizaciones Locales: Los créditos agregados se envían a los optimizadores locales respectivos, que actualizan los parámetros del agente (prompts) de forma independiente.

Instanciación

En los experimentos, CANTANTE se instancia para la optimización de prompts, tratando los prompts de los agentes como parámetros del sistema aprendibles. El marco es agnóstico a la elección del optimizador local; los autores utilizan CAPO (Optimización de Prompts Consciente del Costo) como optimizador local predeterminado, pero demuestran compatibilidad con otros como EvoPrompt.

Contribuciones Clave

1. Formalización: El artículo formaliza la optimización de MAS basados en LLM como un problema de asignación de crédito, distinguiéndolo de la optimización de prompts estándar donde el sistema se trata como un bloque monolítico.
2. Diseño del Marco: CANTANTE introduce un mecanismo de atribución contrastiva que aísla las contribuciones por agente comparando ejecuciones conjuntas, desacoplando la atribución del mecanismo de actualización específico.
3. Validación Empírica: El marco se evalúa frente a líneas base de última generación (GEPA y MIPROv2) en tres benchmarks distintos con topologías de flujo de trabajo diferentes:
   • MBPP: Programación (flujo de trabajo condicional con planificador, ejecutor y validador).
   • GSM8K: Razonamiento matemático (ensamblaje paralelo con tres ejecutores y un agente de consenso).
   • HotpotQA: Respuesta a preguntas de múltiples saltos (generación aumentada por recuperación con recuperador, lector, sintetizador y verificador de alucinaciones).
4. Ablación y Análisis: Los autores aíslan la atribución contrastiva como el principal motor de las ganancias de rendimiento mediante una ablación de "atribución de identidad" (donde las puntuaciones globales se propagan directamente). También analizan las correlaciones de crédito para diagnosticar cuellos de botella en la topología de MAS.

Resultados

CANTANTE logra el rango promedio más alto entre todos los optimizadores evaluados en los benchmarks.

• Ganancias de Rendimiento:
  • MBPP: Logró una precisión del 41.89%, una mejora de +18.9 puntos porcentuales sobre la línea base más fuerte (MIPROv2) y +36.35 puntos sobre los prompts iniciales no optimizados. También exhibió una varianza significativamente menor entre semillas en comparación con las líneas base.
  • GSM8K: Logró una precisión del 82.33%, mejorando sobre MIPROv2 en +12.5 puntos porcentuales y sobre GEPA en 21.06 puntos.
  • HotpotQA: Logró una precisión del 11.93%, permaneciendo dentro de una desviación estándar de la línea base más fuerte y mejorando sobre la configuración inicial.
• Eficiencia: En MBPP y GSM8K, CANTANTE logró una mayor precisión requiriendo menos tokens en tiempo de inferencia por consulta en comparación con los prompts no optimizados y otras líneas base, lo que indica que las ganancias no fueron impulsadas por un aumento en el cómputo, sino por una mejor parametrización.
• Robustez: El método permaneció efectivo con tamaños de conjunto de datos reducidos (hasta 75 muestras) y fue robusto a cambios en el modelo de atribución y el prompt.
• Correlación de Crédito: El análisis confirmó que el atribuidor produce señales significativas por agente en lugar de simplemente repetir las puntuaciones globales. Por ejemplo, en GSM8K, los agentes que se ejecutaron más tarde recibieron una atribución más alta debido al sesgo de recencia, un patrón consistente con comportamientos conocidos de los LLM.

Significado y Afirmaciones

El artículo afirma que CANTANTE representa un paso hacia el tratamiento de los parámetros de los sistemas multiagente como objetos de aprendizaje automático en lugar de una configuración manual. Al abordar la discrepancia estructural entre los parámetros locales y la retroalimentación global, el marco permite la adaptación principista de los MAS a nuevas tareas.

Los autores enfatizan que la atribución contrastiva es un primitivo de optimización más efectivo para MAS basados en LLM que la propagación de puntuaciones globales. La capacidad de generar señales significativas por agente permite:

1. Una optimización más estable y eficiente (como se observa en una menor varianza y una convergencia más rápida).
2. Capacidades de diagnóstico para el diseño de topologías de MAS (identificar qué agentes son cuellos de botella).
3. El desacoplamiento del mecanismo de atribución del optimizador local, permitiendo la integración de estrategias de optimización sofisticadas.

El trabajo se presenta como un enfoque fundamental para automatizar la configuración de flujos de trabajo agénticos complejos, reduciendo el trabajo manual actualmente requerido para su implementación.