Learning to Recommend Multi-Agent Subgraphs from Calling Trees

Resumen Técnico: Aprendizaje para la Recomendación de Subgrafos Multi-Agente a partir de Árboles de Llamadas

Formulación del Problema
El artículo aborda una brecha crítica en los Sistemas Multi-Agente (MAS) a medida que los mercados de agentes se expanden para contener miles de agentes heterogéneos. Mientras que los sistemas de recomendación existentes sobresalen al clasificar elementos individuales basados en registros planos de usuario-ítem (por ejemplo, comercio electrónico), fallan al abordar la naturaleza estructurada, secuencial y dependiente de la interacción de la orquestación de agentes. En un MAS, seleccionar un agente no es una decisión terminal, sino una intervención que altera el estado del sistema, induce dependencias y afecta la compatibilidad de las elecciones subsecuentes. El desafío central es que muchos agentes son funcionalmente superpuestos; por lo tanto, la selección no puede tratarse como un problema de recuperación pura. Un orquestador debe elegir agentes que no solo sean relevantes, sino también fiables, compatibles con el contexto de ejecución actual y capaces de cooperar con otros agentes seleccionados. El artículo formula esto como un problema de decisión con restricciones donde el objetivo es recomendar un solo agente (a nivel de Agente) o un equipo conectado de agentes (a nivel de Sistema/Subgrafo) para ejecutar una subtarea.

Metodología
Los autores proponen un marco de recomendación con restricciones de dos etapas genérico, fundamentado en árboles de llamadas históricos (trazas de ejecución que capturan llamadas padre-hijo, dependencias de ramificación y patrones de cooperación local) en lugar de registros planos. El marco opera en dos fases:

1. Construcción de Factibilidad (Recuperación): Un módulo de recuperación filtra el enorme conjunto de agentes para construir un conjunto de candidatos compacto y semánticamente relevante ($A_{feasible}$ para agentes o $G_{feasible}$ para sistemas de agentes) condicionado a la subtarea y el contexto actuales. Esta etapa se apoya en mecanismos de recuperación estándar (por ejemplo, similitud de embeddings o llamada a herramientas basada en LLM) para reducir el espacio de búsqueda.
2. Optimización de Utilidad (Reclasificación): Dentro del conjunto factible, un modelo de puntuación aprendido realiza la optimización de utilidad para seleccionar la mejor opción. Esta etapa tiene en cuenta la relevancia, la fiabilidad y los efectos de interacción.

El artículo define dos instancias específicas de este marco:

• SARL (Aprendizaje de Recomendación de Agente Único): Selecciona el siguiente agente/herramienta individual. Utiliza una función de puntuación paramétrica $s_\theta(t, a)$ que incorpora la codificación de la consulta de la tarea, la capacidad del agente, las relaciones estructuradas en grafos, la fiabilidad histórica y los efectos contextuales conscientes de la lista.
• ASRL (Aprendizaje de Recomendación de Sistema de Agentes): Selecciona un equipo de agentes pequeño y conectado (subgrafo). Generaliza la unidad de decisión a un grupo, utilizando una función de puntuación $s_\theta(t, g)$ que agrega capacidades colectivas, patrones de cooperación interna y adecuación estructural dentro del grafo global.

Ambos modelos se entrenan utilizando trazas de orquestadores históricos, minimizando una función de pérdida (por ejemplo, entropía cruzada softmax) sobre los resultados de ejecución observados, con restricciones que aseguran que el agente o sistema seleccionado pertenezca al conjunto factible.

Contribuciones Clave

1. Formulación del Problema: El artículo identifica y formaliza la recomendación de agentes en MAS como un problema de decisión con restricciones, destacando las limitaciones de las suposiciones tradicionales de independencia de nivel de ítem en entornos multi-agente.
2. Marco Unificado: Introduce un marco de "divide y vencerás" de dos etapas que separa la construcción de la factibilidad de la optimización de la utilidad, permitiendo tanto la recomendación a nivel de agente como a nivel de sistema (subgrafo).
3. Benchmark de Datos Estructurados: Los autores construyen un benchmark de árbol de llamadas unificado normalizando los registros de invocación de ocho corpora multi-agente heterogéneos (incluyendo Agent-data-protocol, GTA, MCPToolBench++, etc.) en una representación estructurada compartida, lo que permite una evaluación consistente.
4. Validación Empírica: Experimentos extensos demuestran que el enfoque propuesto supera consistentemente a las estrategias de línea base fuertes (recuperación directa, clasificación por similitud de coseno y selección de un solo paso mediante LLM) en términos de precisión Top-1, estabilidad y coherencia de ejecución.

Resultados

• Agente Único (SARL): En seis conjuntos de datos de escala moderada, SARL (recuperación por LLM + reclasificación) logró una precisión Top-1 superior en comparación con la recuperación directa y las líneas base de similitud de coseno (por ejemplo, 79.85% frente a 40.0% en Agent-data-protocol). Los resultados indican que, si bien la recuperación proporciona un conjunto de candidatos sólido, la reclasificación supervisada es crucial para resolver la ambigüedad y seleccionar el agente más fiable.
• Nivel de Sistema (ASRL): El enfoque ASRL logró una precisión Top-1 casi perfecta (100% en la mayoría de los conjuntos de datos) en todos los benchmarks. El artículo señala que la recuperación a nivel de grafo genera un mayor recall y reduce la ambigüedad semántica en comparación con la selección de un solo agente, permitiendo que el clasificador aprendido identifique el subgrafo correcto de manera más fiable.
• Escalabilidad: El análisis de complejidad de tokens muestra que el diseño de dos etapas iguala el costo de tokens Big-O de la recuperación directa, ofreciñendo sin embargo mejoras significativas en el rendimiento, lo que lo hace viable para grandes escalas de pools de agentes donde la puntuación directa por LLM es computacionalmente prohibitiva.

Significancia y Reivindicaciones
El artículo sostiene que la orquestación efectiva de multi-agentes requiere ir más allá de la selección aislada de agentes para razonar sobre subgrafos completos y aprovechar la supervisión de árboles de llamadas. Al fundamentar las recomendaciones en estructuras de ejecución históricas, el marco propuesto permite la construcción de equipos de agentes coherentes y ejecutables en lugar de solo listas de herramientas compatibles. Los autores afirman que este enfoque mejora significamente la fiabilidad, la coordinación y la calidad de ejecución de extremo a extremo de los MAS a gran escala.

El artículo también incluye una declaración de impacto que reconoce riesgos potenciales, tales como la amplificación de sesgos presentes en los registros históricos (por ejemplo, el sesgo de popularidad) y la posibilidad de una reducción en la diversidad del mercado. Sugiere que los despliegues prácticos deben incluir restricciones explícitas de seguridad, presupuesto y política dentro del conjunto factible para mitigar estos problemas.