Learning Transferable Topology Priors for Multi-Agent LLM Collaboration Across Domains

Resumen Técnico: Aprendizaje de Priors Topológicos Transferibles para la Colaboración de LLM Multiagente a Través de Dominios

Enunciado del Problema
Los sistemas multiagente basados en Modelos de Lenguaje Grande (LLM) han demostrado un gran potencial para el razonamiento complejo mediante la coordinación de agentes especializados a través de comunicación estructurada. Sin embargo, en entornos multi-dominio (por ejemplo, atención médica, derecho, ciencia), los métodos existentes de evolución de topología suelen construir u optimizar una topología de colaboración para cada consulta desde cero. Este enfoque incurre en una sobrecarga sustancial de búsqueda en línea, un alto consumo de tokens en tiempo de inferencia y una escalabilidad limitada. Los paradigmas actuales enfrentan una compensación: los métodos de prompting sin entrenamiento están limitados por las capacidades congeladas del modelo subyacente, mientras que los métodos de ajuste fino intensivos en entrenamiento corren el riesgo de olvido catastrófico y altos costos de almacenamiento a través de múltiples dominios. El desafío central es cómo reutilizar estructuras de colaboración efectivas a través de dominios para adaptarse a nuevas tareas sin buscar repetidamente topologías de comunicación desde cero.

Metodología: Marco TopoPrior
Los autores proponen TopoPrior, un marco diseñado para aprender priors topológicos transferibles para la colaboración de LLM multiagente. En lugar de tratar cada consulta como un nuevo problema de búsqueda de topología, TopoPrior desplaza parte de la carga de búsqueda de la optimización en línea por consulta al aprendizaje de priors cruzados entre dominios fuera de línea. El marco consta de dos componentes clave:

1. Aprendizaje de Priors Topológicos Transferibles:
   Este módulo emplea un marco de grafo variacional condicional para capturar regularidades estructurales reutilizables en grafos de colaboración a través de dominios.

   • Codificador Variacional: Utiliza una Red de Convolución de Grafos (GCN) para codificar grafos de referencia de colaboración y sus consultas asociadas en un espacio latente compartido.
   • Generador Condicional: Reconstruye autoregresivamente topologías iniciales condicionadas a la consulta a partir del prior latente aprendido y la consulta de entrada. Genera nodos de agente (seleccionando de un conjunto de roles predefinido) y enlaces de comunicación dirigidos.
   • Prior Condicional: Mapea consultas no vistas a regiones útiles del espacio latente de la topología, sirviendo como un prior específico de la consulta cuando los grafos de referencia no están disponibles en tiempo de inferencia.

2. Adaptación Latente Condicionada a la Consulta:
   Para garantizar que los priors aprendidos sean robustos a través de dominios mientras permanecen sensibles a las necesidades específicas de la consulta, el marco introduce un módulo de adaptación latente adversarial.

   • Se aplica un discriminador adversarial de dominio a la variable latente $z$ para reducir la discrepancia de dominio innecesaria durante el entrenamiento.
   • Esto se logra mediante una capa de reversión de gradiente (GRL), que alinea las distribuciones latentes a través de dominios fuente sin borrar las variaciones estructurales dependientes de la consulta necesarias para la especialización de tareas.

Contribuciones Clave

• Formulación del Problema: Los autores formulan la inicialización de topología para sistemas de LLM multiagente en entornos multi-dominio como un problema de aprendizaje de priors topológicos transferibles, donde las estructuras de colaboración reutilizables se aprenden fuera de línea para mejorar la evolución posterior.
• Diseño del Marco: Proponen TopoPrior, un marco ligero que combina el aprendizaje de priors topológicos variacionales condicionales con la adaptación latente condicionada a la consulta para generar grafos de colaboración iniciales informativos.
• Validación Empírica: Experimentos extensos en los puntos de referencia MMLU y C-Eval demuestran que TopoPrior mejora el rendimiento de razonamiento posterior y la eficiencia de tokens de inferencia en línea a través de múltiples bases de evolución de topología heterogéneas con un sobrecosto de parámetros modesto.

Resultados Experimentales
Los autores evaluaron TopoPrior en MMLU y C-Eval (incluyendo un subconjunto "Difícil") utilizando tres bases de LLM: Llama3-8B-Instruct, DeepSeek-V3-671B-Instruct y Qwen2.5-72B-Instruct. El marco se integró con cuatro bases de evolución de topología existentes: G-Designer, AgentPrune, ARG-Designer y AgentDropout.

• Rendimiento: La integración de TopoPrior mejoró consistentemente el rendimiento posterior. Por ejemplo, en MMLU con Llama3-8B-Instruct, TopoPrior+ARG mejoró la precisión promedio de 65.58% a 68.53% (+2.95 puntos). Se observaron ganancias similares en otras bases y modelos más grandes.
• Eficiencia: El marco redujo significativamente el uso de tokens en tiempo de inferencia en línea, con reducciones de hasta 40.22% observadas en ciertas configuraciones. También redujo el número de rondas de comunicación requeridas para la convergencia.
• Eficiencia de Parámetros: El generador de priores topológicos introdujo solo 3.3 millones de parámetros entrenables adicionales (totalizando ~7.1M con la base), un aumento negligible en comparación con la base de 8B de parámetros y significativamente menor que las líneas base intensivas en entrenamiento como MoDULA o MoDE.
• Estudios de Ablación y Generalización: Los estudios de ablación confirmaron que el objetivo de aprendizaje de priores topológicos ($L_{prior}$) es el componente central, mientras que la adaptación latente ($L_{adapt}$) y el prior condicionado a la consulta ($f_{prior}$) proporcionan estabilidad. El marco también demostró robustez bajo supervisión débil (usando grafos de referencia parcialmente convergentes) y una generalización efectiva fuera de dominio a dominios no vistos (por ejemplo, Arte, Militar) al mapear consultas a clusters latentes semánticamente plausibles.

Significado y Afirmaciones
El artículo afirma que la inicialización de topología transferible es un mecanismo efectivo y ligero para mejorar la eficiencia de la colaboración de LLM multiagente a través de dominios. Al amortizar el costo de búsqueda de topología a través de consultas y dominios mediante el aprendizaje de priores fuera de línea, TopoPrior permite que los sistemas multiagente se adapten a nuevas tareas sin la alta sobrecarga de buscar topologías de comunicación desde cero.

Los autores enfatizan que su enfoque es complementario a las bases de evolución de topología existentes, proporcionando una señal de inicialización más fuerte en lugar de reemplazar los mecanismos de refinamiento posteriores. Señalan que, aunque existe el costo fuera de línea de generar grafos de referencia, los ahorros de tokens durante la inferencia pueden amortizar este costo a escalas de despliegue suficientemente grandes (punto de equilibrio estimado en ~373,670 consultas para el conjunto de pruebas MMLU). El trabajo sugiere que aprender regularidades estructurales reutilizables es una dirección práctica para mejorar la adaptabilidad y eficiencia de los sistemas multiagente, particularmente en escenarios que requieren experiencia diversa a través de múltiples dominios.