Resumen Técnico: TMAS – Escalado de la Computación en Tiempo de Prueba mediante Sinergia Multiagente

1. Declaración del Problema

El escalado en tiempo de prueba (TTS) ha surgido como un paradigma para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grande (LLM) asignando computación adicional durante la inferencia. Mientras que los enfoques tempranos se centraron en extender trayectorias de generación individuales (por ejemplo, Cadena de Pensamiento) o agregar soluciones independientes en paralelo (por ejemplo, Autoconsistencia), los métodos estructurados recientes intentan organizar el razonamiento a través de múltiples trayectorias y rondas de refinamiento.

Sin embargo, los métodos TTS estructurados existentes enfrentan limitaciones significativas para equilibrar la exploración (probar diversas rutas de solución) y la explotación (refinar direcciones prometedoras):

• Coordinación Débil: Los métodos de agregación de trayectorias a menudo dependen de información histórica ruidosa sin filtrar explícitamente qué retener, lo que conduce a una reutilización de señales subóptima.
• Colaboración Insuficiente: Los sistemas de verificación-refinamiento introducen retroalimentación explícita, pero a menudo dejan diferentes trayectorias débilmente acopladas, fallando en compartir hallazgos intermedios reutilizables o retroalimentación local entre intentos.
• Granularidad de la Memoria: Los enfoques actuales no logran distinguir entre conclusiones intermedias fiables de bajo nivel (señales locales) y conocimientos estratégicos de alto nivel (patrones globales), limitando el intercambio efectivo de información.

El desafío central es diseñar un marco que coordine explícitamente la colaboración multiagente, gestione una memoria jerárquica para separar la experiencia local de la estrategia global, y alinee al modelo para utilizar eficazmente esta estructura sin quedar atrapado en patrones subóptimos.

2. Metodología: El Marco TMAS

Los autores proponen TMAS (Computación en tiempo de prueba mediante Sinergia Multiagente), un marco que organiza la inferencia como un proceso colaborativo entre agentes especializados. El sistema opera de forma iterativa, equilibrando la exploración paralela con la explotación secuencial.

2.1. Arquitectura Multiagente

TMAS emplea cinco agentes especializados para gestionar la tubería de inferencia:

1. Agente de Solución ($A_{sol}$): Genera $N$ trayectorias de solución candidatas en paralelo. Utiliza una estrategia $\epsilon$-greedy: con probabilidad $1-\epsilon$, explota la experiencia acumulada y los recorridos anteriores; con probabilidad $\epsilon$, explora guiado por directrices de alto nivel para evitar redundancia.
2. Agente de Verificación ($A_{ver}$): Realiza $M$ pasadas de verificación independientes en cada candidato, proporcionando retroalimentación analítica y puntuaciones escalares (corrección, corrección parcial o errores).
3. Agente de Resumen ($A_{sum}$): Agrega los resultados de verificación en resúmenes concisos a nivel de recorrido, destacando pasos validados y fallas lógicas.
4. Agente de Experiencia ($A_{exp}$): Extrae señales reutilizables de bajo nivel de los recorridos actuales para actualizar el Banco de Experiencia. Esto incluye conclusiones intermedias verificadas, habilidades concretas y heurísticas específicas de evitación de errores.
5. Agente de Directrices ($A_{guide}$): Abstrae enfoques estratégicos de alto nivel de los recorridos paralelos para actualizar el Banco de Directrices. Esto registra direcciones globales de solución y conocimientos estructurales para desviar a los agentes subsiguientes de patrones previamente intentados (y fallidos).

2.2. Gestión Jerárquica de la Memoria

TMAS introduce dos bancos de memoria distintos para facilitar el flujo estructurado de información:

• Banco de Experiencia: Almacena señales de razonamiento concretas y específicas de la trayectoria (por ejemplo, "ancla verificada $T(2)=3$"). Estas se reutilizan para refinar el razonamiento local y evitar repetir errores específicos.
• Banco de Directrices: Almacena registros estratégicos de alto nivel (por ejemplo, "intentó inducción con argumento de división"). Estos se utilizan para imponer diversidad, asegurando que los nuevos recorridos no repitan simplemente marcos estratégicos previamente explorados.

2.3. Aprendizaje por Refuerzo con Recompensa Híbrida

Para alinear el modelo con el proceso colaborativo de TMAS, los autores diseñan un Sistema de Recompensa Híbrida basado en GRPO (Optimización de Política Relativa de Grupo). A diferencia de la RL estándar que optimiza solo la corrección final, este sistema incluye tres objetivos complementarios:

1. Recompensa de Corrección Estándar: Preserva la capacidad básica de razonamiento (recompensa +1 para respuestas correctas, -1 en caso contrario).
2. Recompensa de Utilización de Experiencia: Fomenta que el modelo utilice eficazmente el Banco de Experiencia. Si un problema es difícil de resolver sin el banco pero soluble con él, el modelo recibe un bono proporcional a la dificultad del problema sin el banco. Esto evita que el banco sea tratado como contexto pasivo.
3. Recompensa de Exploración de Estrategia Novel: Fomenta el descubrimiento de nuevas estrategias de solución de alto nivel. Los recorridos que siguen una directriz no cubierta por el banco existente reciben una recompensa mayor, mientras que aquellos que repiten estrategias conocidas son penalizados, incluso si son correctos.

3. Contribuciones Clave

1. Marco TMAS: Un sistema multiagente novedoso que organiza explícitamente el flujo de información entre agentes, trayectorias e iteraciones. Transforma intentos de razonamiento independientes en un proceso iterativo coordinado mediante agentes especializados de Experiencia y Directrices.
2. Mecanismo de Memoria Jerárquica: La introducción de bancos separados para experiencia de bajo nivel (señales locales reutilizables) y directrices de alto nivel (evitación estratégica) para equilibrar la explotación de hallazgos fiables con la exploración de rutas diversas.
3. Esquema de RL con Recompensa Híbrida: Un objetivo de entrenamiento adaptado a TMAS que optimiza conjuntamente la competencia básica de razonamiento, la utilización efectiva de la experiencia y la exploración de estrategias novedosas, abordando la compensación entre exploración y explotación en el razonamiento iterativo.

4. Resultados Experimentales

Los autores evaluaron TMAS en benchmarks de razonamiento desafiantes: IMO-AnswerBench-50 y HLE-Math-100, utilizando Qwen3-30B y Qwen3-4B como modelos base.

• Escalado Iterativo: TMAS demostró un escalado iterativo más fuerte que las líneas base existentes (Self-Refine, Verify-Refine, PaCoRe, RSE). Mientras otros métodos se estancaron o degradaron en iteraciones posteriores, TMAS continuó mejorando, logrando el mejor rendimiento en etapas tardías (por ejemplo, 40.50% en IMO-AnswerBench-50 con Qwen3-30B en la iteración 19).
• Impacto de la RL Híbrida: El entrenamiento con el sistema de recompensa híbrida amplificó significativamente la eficacia del escalado. En el modelo Qwen3-4B, TMAS+RL-Híbrida no solo logró una precisión máxima más alta, sino que también mitigó la degradación del rendimiento observada en RL-Vainilla (entrenamiento con recompensas de corrección únicamente) durante iteraciones posteriores.
• Eficiencia del Modelo: El entrenamiento con RL híbrida redujo sustancialmente la brecha de rendimiento entre los modelos de 4B y 30B. En IMO-AnswerBench-50, la brecha se redujo de 23.44 a 9.62 puntos, sugiriendo que la computación efectiva en tiempo de prueba iterativa puede permitir que modelos más pequeños se acerquen al rendimiento de modelos mucho más grandes.
• Estudios de Ablación:
  • Eliminar cualquiera de los módulos de Experiencia o Directrices degradó el rendimiento, siendo la eliminación conjunta la que causó la caída más severa.
  • Un coeficiente de exploración intermedio ($\epsilon=0.2$) produjo resultados óptimos, confirmando la necesidad de un equilibrio entre descubrimiento y explotación.
  • Conteos excesivos de verificación (por ejemplo, 16) o soluciones paralelas (por ejemplo, 12) no produjeron mejoras monótonas, indicando rendimientos decrecientes y posible introducción de ruido.

5. Significado y Limitaciones

El artículo afirma que TMAS representa un paso significativo hacia adelante en la organización de la computación en tiempo de prueba al ir más allá de la simple agregación de trayectorias o verificación. Al estructurar explícitamente el flujo de información y separar la memoria en niveles jerárquicos, TMAS permite una colaboración más efectiva entre las trayectorias de razonamiento. El esquema de recompensa híbrida se presenta como un habilitador crucial para entrenar modelos que aprovechen esta estructura compleja.

Limitaciones:

• Cuello de Botella de Verificación: Los autores identifican una "frontera de capacidad compartida" donde, en los problemas más difíciles, el agente de verificación (instanciado desde la misma familia de modelos) puede tener dificultades para distinguir entre soluciones plausibles pero defectuosas y las correctas. Esto puede conducir a señales de retroalimentación poco fiables para el bucle de refinamiento.
• Restricciones Computacionales: La evaluación no se realizó en modelos de vanguardia (por ejemplo, GPT-5.5) debido a restricciones de costos y API.
• Construcción de Datos: La tubería actual de RL requiere un modelo docente externo para pre-construir trayectorias de inicio en frío y datos de entrenamiento basados en memoria. Los autores sugieren que el trabajo futuro podría incorporar dinámicamente trayectorias de iteraciones anteriores para expandir la fuente de datos.

En conclusión, TMAS ofrece un enfoque estructurado para escalar la computación en tiempo de prueba que equilibra eficazmente la exploración y la explotación mediante sinergia multiagente y memoria jerárquica, demostrando que la computación adicional puede traducirse en un mejor rendimiento de razonamiento cuando se organiza correctamente.