Resumen Técnico: MASPRM (Modelo de Recompensa de Proceso para Sistemas Multi-Agente)

Planteamiento del Problema

La búsqueda en tiempo de inferencia sobre Sistemas Multi-Agente (MAS) suele desperdiciar recursos computacionales porque los métodos existentes tienen dificultades para identificar qué mensaje intermedio de un agente específico hizo avanzar el progreso hacia una solución. Mientras que los métodos a nivel de respuesta (por ejemplo, votación mayoritaria, reordenamiento por verificador) pueden seleccionar entre soluciones completas, no logran proporcionar guía a nivel de paso. En consecuencia, los procedimientos de búsqueda como la Búsqueda de Árbol de Monte Carlo (MCTS) o la Búsqueda de Haz (Beam Search) pueden continuar expandiendo prefijos que probablemente están bajo la política pero que están desalineados con la corrección final, lo que conduce a una exploración improductiva.

Extender los Modelos de Recompensa de Proceso (PRM) de un solo agente a MAS no es trivial debido a cuatro desafíos específicos:

1. Granularidad de la Puntuación: Un "paso" en MAS es una acción de un agente (planificación, enrutamiento, uso de herramientas) en lugar de un token, lo que requiere la puntuación de prefijos de transcripción enrutados.
2. Programación y Grafo: El valor de una transcripción depende del orden específico de las acciones de los agentes y el enrutamiento de mensajes.
3. Heterogeneidad: Los agentes tienen roles, acceso a herramientas y prompts distintos, lo que significa que los prefijos intermedios se originan de diferentes distribuciones.
4. Observabilidad Parcial: Cada agente solo observa su vista local de la transcripción global, pero se necesita un puntuador global para una guía consistente.

Metodología

Los autores proponen MASPRM, un modelo de recompensa de proceso diseñado para puntuar prefijos de transcripción enrutados y acciones propuestas por agentes, actuando como un controlador en tiempo de inferencia para la Búsqueda de Haz por Pasos (SBS) y MCTS.

Arquitectura Central

• Representación de Estado: Un estado $s_t$ se define como $(x, H_{t-1}, i_t)$, donde $x$ es la entrada, $H_{t-1}$ es el prefijo completo de la transcripción enrutada e $i_t$ es el agente en acción.
• Observabilidad: Aunque los agentes en acción generan acciones basadas en sus vistas locales ($H^{(i)}_{t-1}$), el puntuador MASPRM se condiciona a la transcripción completa del prefijo enrutado ($H_{t-1}$) y a la identidad del agente en acción. Esto permite que el puntuador maneje la heterogeneidad y la programación de forma implícita dentro de la representación de entrada.
• Generación de Datos de Entrenamiento (MAS-MCTS): El modelo se entrena sin anotaciones humanas a nivel de paso. En su lugar, los autores utilizan ejecuciones (rollouts) de MAS-MCTS etiquetadas únicamente con recompensas de resultado terminal ($R(s_T) \in \{+1, -1\}$).
  • Las recompensas terminales se propagan hacia atrás a los bordes para estimar los valores de acción $\hat{Q}(s, a)$.
  • Los pares de preferencia se construyen comparando estados sucesores hermanos (hijos del mismo padre) donde uno tiene un valor propagado más alto que el otro.
• Objetivo de Entrenamiento: MASPRM se entrena utilizando una pérdida de clasificación de Bradley-Terry sobre estos pares de preferencia. Esto se elige porque el papel principal del puntuador durante la inferencia es clasificar los estados sucesores candidatos durante la búsqueda, en lugar de realizar una regresión puntual.
• Guía de Inferencia:
  • MCTS: MASPRM puntúa los nuevos bordes expandidos para inicializar visitas virtuales y guía la selección de la UCB (Upper Confidence Bound).
  • SBS: MASPRM puntúa todos los sucesores muestreados en cada profundidad de haz, permitiendo al algoritmo podar ramas poco prometedoras y retener los mejores candidatos.

Contribuciones Clave

1. Formulación de MASPRM: Un modelo de recompensa de proceso diseñado específicamente para puntuar acciones de agentes y prefijos de transcripción enrutados en entornos colaborativos multi-agente, permitiendo la asignación de crédito consciente del agente.
2. Supervisión MAS-MCTS: Un paradigma de entrenamiento que propaga las recompensas terminales hacia los valores de acción del agente para entrenar el modelo de proceso sin requerir anotaciones humanas a nivel de paso.
   el desarrollo de algoritmos de búsqueda guiada (SBS y MCTS) sobre ejecuciones de agentes, lo que mejora la calidad de la decisión y poda eficazmente las ramas improductivas en configuraciones MAS predefinidas.

Resultados Experimentales

Los autores evaluaron MASPRM en cuatro benchmarks: GSM8K y MATH (razonamiento matemático), y MMLU y LOGIQA (comprensión de conocimiento/lectura). Los experimentos utilizaron Qwen2.5-1.5B y Qwen2.5-7B como modelos base para los agentes y los puntuadores.

• Rendimiento vs. Modelos de Recompensa de Resultado (ORM): Bajo tamaños de puntuador coincidentes y presupuestos de MCTS comparables, MASPRM superó consistentemente a los ORM de tamaño equivalente.
  • Con un tamaño de puntuador de 1.5B: MASPRM excedió al ORM por +2.0 a +3.0 puntos en todos los benchmarks.
  • Con un tamaño de puntuador de 7B: MASPRM excedió al ORM por +4.1 a +14.5 puntos.
• Rendimiento vs. Verosimilitud de la Política: MASPRM mejoró significativamente el Hit@1 sobre la guía de verosimilitud de la política, particularmente en métodos de búsqueda paso a paso.
  • Con un puntuador de 7B y agentes de 1.5B bajo MCTS, MASPRM logró una ganancia promedio de +13.4 puntos sobre la verosimilitud de la política.
  • En GSM8K, la configuración 7B MASPRM + MCTS alcanzó un 82.9% de Hit@1, una mejora sustancial sobre la línea base de un solo paso (47.2%) y el 1.5B ORM (66.8%).
• Calidad de Clasificación: MASPRM mejoró la calidad de las soluciones clasificadas, reduciendo la brecha entre Hit@1 y Hit@5 hasta en 10.3 puntos, lo que indica una mejor identificación de trayectorias correctas de forma temprana en la búsqueda.
• Generalización:
  • Transversal de Datasets: MASPRM entrenado en un dataset (ej. GSM8K) se transfirió zero-shot a datasets relacionados (ej. MATH) con ganancias de +5.4 a +11.1 puntos sobre la verosimilitud de la política, aunque el entrenamiento in-domain siguió siendo superior.
  • Transversal de Agentes: Un MASPRM entrenado con ejecuciones de Qwen2.5-1.5B guió con éxito a agentes Llama3.2 3B sin reentrenamiento, mejorando el Hit@1 en +8.7 a +13.0 puntos sobre la verosimilitud de la política.

Significado y Reivindicaciones

El artículo afirma que la búsqueda multi-agente en tiempo de inferencia se vuelve sustancialmente más confiable cuando es guiada por un modelo de valor de proceso aprendido entrenado únicamente con recompensas terminales.

Las reivindicaciones clave respecto a la importancia del trabajo incluyen:

• Eficiencia de Agentes Pequeños: El enfoque demuestra que los LLM más pequeños (ej. 1.5B) pueden lograr un alto rendimiento en tareas de razonamiento complejo cuando se combinan con un modelo de recompensa de proceso aprendido y una búsqueda estructurada, ofreciendo una alternativa rentable a escalar los parámetros del modelo.
• Guía a Nivel de Paso: Los resultados sugieren que la guía de proceso es más beneficiosa para algoritmos que toman decisiones intermedias repetidas (como MCTS), en lugar de solo la selección de la respuesta final.
• Escalabilidad: El método escala eficazmente con el tamaño del puntuador; pasar de un puntuador de 1.5B a uno de 7B produjo ganancias significativas adicionales, particularmente en entornos MCTS.
• Limitaciones: Los autores señalan modestamente que, si bien MASPRM complementa el escalado de modelos grandes, aún no sustituye a este en las tareas de razonamiento más difíciles (ej. LOGIQA, donde se mantuvo por debajo de GPT-4o-mini y Mistral 24B). El alcance actual se limita a configuraciones MAS de pipeline de roles predefinidos en tareas de respuesta terminal verificables.

El trabajo concluye que las señales de valor aprendidas a nivel de proceso, derivadas sin anotaciones humanas a nivel de paso, son un componente útil y efectivo para guiar la búsqueda multi-agente.