Resumen Técnico: ReM-MoA: La Memoria de Razonamiento Sostiene el Escalado de la Mezcla de Agentes (Mixture-of-Agents)

Declaración del Problema

Las arquitecturas de Mezcla de Agentes (MoA) buscan mejorar el escalado en el tiempo de inferencia organizando múltiples agentes de Modelos de Lenguaje Extensos (LLM) en capas de procesos de razonamiento. Si bien aumentar la profundidad (número de capas) y la anchura (número de agentes por capa) ofrece teóricamente una vía para un razonamiento colectivo escalable, las variantes existentes de MoA no logran mantener las ganancias de rendimiento a medida que las arquitecturas se profundizan. Las observaciones empíricas revelan tres modos de fallo distintos:

1. Degradación: Los sistemas MoA estándar suelen alcanzar su punto máximo en profundidades bajas y posteriormente se degradan, ya que la concatenación bruta entre capas propaga tanto el razonamiento útil como los errores acumulados.
2. Estancamiento Temprano: Las variantes que utilizan la propagación residual local (p. ej., RMoA) no logran recuperar el razonamiento de alta calidad generado en capas anteriores no adyacentes, lo que provoca que el rendimiento se estanque.
3. Saturación y Colapso de la Diversidad: Los sistemas que dependen de la interacción intra-capa (p. ej., AttentionMoA) o de un contexto acumulado idéntico provocan que los agentes converjan hacia rutas de solución redundantes, colapsando la diversidad de exploración.

Los métodos existentes intentan abordar estos problemas mediante la consolidación de información, la interacción entre agentes o la selección guiada por la calidad, pero ninguno logra mantener con éxito el equilibrio entre la preservación de la calidad (retener trayectorias de razonamiento de alta calidad) y la preservación de la diversidad (evitar que los agentes converjan hacia rutas idénticas) a medida que el sistema escala.

Metodología: ReM-MoA

Los autores proponen ReM-MoA, un marco de MoA aumentado con memoria diseñado para sostener el escalado tratando el problema como una tarea conjunta de preservación de calidad-diversidad. El marco consta de tres componentes interconectados:

1. Memoria de Razonamiento Clasificada ($M$)

A diferencia de los sistemas de memoria episódica que acumulan experiencia a través de diversas tareas, ReM-MoA mantiene una memoria de razonamiento estructurada y transversal a las capas dentro de una única instancia del problema.

• Mecanismo: En cada capa $l$, $N$ agentes proponentes generan trazas de razonamiento. Un Agente Revisor (un LLM) evalúa comparativamente estas trazas, asignando una puntuación entera y una justificación específica a cada una.
• Almacenamiento: La memoria almacena una unión de entradas de todas las capas anteriores ($M_{\le l} = \bigcup_{k=1}^l M_k$), donde cada entrada es una triple de (traza, puntuación, justificación).
• Acceso: La memoria es de solo adición (append-only) y permite el acceso de lectura desde cualquier capa posterior, lo que permite a las capas más profundas revisar y construir sobre las rutas de razonamiento de profundidades arbitrarias, no solo de las adyacentes.

2. Enrutamiento de Memoria Diversificado y Curado ($\Pi$)

Para prevenir el colapso de la diversidad, el marco asegura que los agentes dentro de una misma capa no consuman un contexto idéntico.

• Mecanismo: Un esquema de enrutamiento selecciona subconjuntos distintos de la memoria para cada agente proponente. Estos subconjuntos se extraen de tres familias de funciones de enrutamiento:
  • Contrastiva ($Conn$): Combina trazas de alta puntuación (Top) y baja puntuación (Bot) para proporcionar señales contrastivas.
  • Refuerzo Positivo ($Top$): Se enfoca en patrones exitosos.
  • Enfoque en Modos de Fallo ($Bot$): Expone errores comunes.
• Distribución: Para $N$ agentes, las funciones de enrutamiento se distribuyen entre estas familias (p. ej., un agente recibe la contrastiva, otro la positiva, otro la enfocada en fallos). Esto asegura que la capa en su conjunto explore el contenido de la memoria mientras que los agentes individuales reciben conjuntos de referencia distintos y conscientes de la calidad.

3. Destilación del Revisor (Mejora Opcional)

Para mejorar la calidad de la clasificación del Agente Revisor, los autores introducen un proceso opcional de destilación de modelos de frontera.

• Proceso: Un modelo profesor fuerte (p. ej., GPT-5.5) supervisa la puntuación y las justificaciones de las trazas generadas por el propio ReM-MoA en un conjunto de entrenamiento multidominio.
• Ajuste Fino (Fine-tuning): Un modelo Revisor base más pequeño es ajustado mediante el uso de LoRA para imitar los juicios del profesor. Esto crea un Revisor de propósito general capaz de transferir sus capacidades a otros dominios de razonamiento.

Contribuciones Clave

1. Caracterización Empírica de los Fallos de Escalado: El artículo identifica y caracteriza tres modos de fallo específicos en los sistemas MoA existentes (degradación, estancamiento y colapso de la diversidad) impulsados por la concatenación bruta, el acceso limitado entre capas y el contexto homogeneizado.
2. Marco ReM-MoA: La propuesta de un marco que sostiene el escalado a través de una Memoria de Razonamiento Clasificada y un Enrutamiento de Memoria Diversificado y Curado. Este enfoque preserva las trayectorias de razonamiento de alta calidad mientras mantiene la diversidad de exploración al exponer a los agentes a combinaciones distintas de trazas exitosas y fallidas.
3. Pipeline de Destilación Opcional: La introducción de un pipeline de destilación del Revisor multidominio que mejora el módulo de clasificación, permitiendo que el sistema se generalice a dominios no vistos.
4. Evaluación Exhaustiva: Experimentos extensos en cinco benchmarks de razonamiento (Matemáticas, Lógica Formal, Código, Conocimiento y Sentido Común) que demuestran que ReM-MoA supera a las variantes previas tanto en el escalado de profundidad como de anchura.

Resultados Experimentales

Los autores evaluaron ReM-MoA frente a Standard MoA, RMoA y AttentionMoA en cinco benchmarks: MATH, MMLU-redux, Lógica Formal, CRUX (código) y HellaSwag.

• Escalado de Profundidad ($L=1$ a $9$, $N=3$):

  • El MoA Estándar se degradó significativamente (p. ej., una caída de ~9.1 puntos en MMLU-redux al llegar a $L=9$).
  • RMoA y AttentionMoA se estancaron o saturaron prematuramente.
  • ReM-MoA mejoró consistentemente a medida que aumentaba la profundidad. La brecha de rendimiento entre ReM-MoA y el baseline más fuerte se amplió de forma monótona con la profundidad (p. ej., una ventaja de +7.3 puntos en Lógica Formal en $L=9$).
  • ReM-MoA$^*$ (con el Revisor destilado) extendió aún más el escalado sostenido en todos los benchmarks, transformando las tendencias de saturación en crecimiento continuo en tareas que previamente se habían estancado.

• Escalado de Anchura ($N=3$ a $8$, $L=3$):

  • ReM-MoA superó a todos los baselines en todas las configuraciones de anchura.
  • Aunque el escalado de anchura mostró rendimientos decrecientes en comparación con el de profundidad, ReM-MoA mantuvo una ventaja constante, con una brecha que se amplió de +2.30 a +3.68 puntos a medida que $N$ aumentaba.

• Estudios de Ablación:

  • Eliminar el acceso entre capas (restringiendo las lecturas a la capa inmediatamente anterior) causó la mayor caída de rendimiento, confirmando la necesidad de acceder a capas no adyacentes.
  • Eliminar la diversificación del enrutamiento (compartiendo un mismo conjunto de referencia entre todos los agentes) provocó una regresión similar al fallo del modelo completo, probando que la diversidad intra-capa es crítica.
  • Eliminar las justificaciones resultó en una caída de rendimiento menor pero preservó la tendencia de escalado, indicando que las justificaciones actúan como un refinamiento más que como un andamiaje esencial.

• Transferencia de Destilación:

  • Un Revisor destilado en cuatro dominios (dejando fuera el dominio de evaluación) recuperó el 44% de la ganancia lograda por un modelo destilado multidominio, demostrando la transferibilidad a dominios de razonamiento no vistos.

Significado y Afirmaciones

El artículo afirma que la memoria de razonamiento estructurada y transversal a las capas es un mecanismo crítico faltante para un escalado eficiente de la inferencia multi-agente. Al desacoplar la preservación de la alta calidad del razonamiento del mantenimiento de la diversidad de exploración, ReM-MoA supera el colapso de escalado observado en arquitecturas previas.

Los autores sostienen que ReM-MoA establece un nuevo paradigma donde las ganancias de escalado no son meramente una función de la agregación o la interacción, sino de cómo las trazas de razonamiento se almacenan, clasifican y se enrutan selectivamente. El marco demuestra que, con la arquitectura de memoria correcta, los sistemas multi-agente pueden sostener mejoras de rendimiento a medida que escalan tanto en profundidad como en anchura, una propiedad que anteriormente no se había alcanzado en el campo. El pipeline de destilación opcional sugiere además que estos beneficios pueden generalizarse a través de dominios sin necesidad de verificadores específicos de la tarea.