Resumen Técnico: MARS – Co-evolución de Sistemas Duales para la Investigación Profunda mediante Aprendizaje por Refuerzo Multi-Agente

1. Declaración del Problema

Los Modelos de Razonamiento Grandes (LRMs) enfrentan dos limitaciones fundamentales al abordar tareas complejas y de gran densidad de conocimiento:

1. Ineficiencia en el Procesamiento de Información: Ante tareas de procesamiento de información más simples (por ejemplo, analizar páginas web o resumir artículos), los LRMs tienden a "sobreanalizar", consumiendo un exceso de tokens de razonamiento. Esto limita su capacidad para procesar grandes volcciones de información externa requerida para la investigación profunda.
2. Conocimiento Estático: Los LRMs están confinados al corte de conocimiento de sus datos de entrenamiento y no pueden acceder a información actualizada sin herramientas externas.

Los enfoques existentes que combinan modelos de razonamiento con herramientas externas (por ejemplo, WebThinker, Search-R1) emplean típicamente procesadores de información fijos o entrenados de forma independiente. Estos procesadores no están optimizados para la tarea de razonamiento específica descendente, lo que genera un desajuste donde el procesador proporciona demasiada información irrelevante (sobrecarga) o pierde detalles críticos (pérdida). Además, estos sistemas suelen depender del Ajuste Fino Supervisado (SFT) sobre trayectorias curadas, lo que puede no generalizar bien o escalar de manera eficiente.

2. Metodología

Los autores proponen MARS (Multi-Agent System for Deep ReSearch), un marco que permite la co-evolución de dos sistemas cognitivos dentro de un único Modelo de Lenguaje Grande (LLM) mediante Aprendizaje por Refuerzo Multi-Agente (MARL).

2.1 Marco de Colaboración de Sistema Dual

Inspirado en la teoría del proceso dual de la cognición humana, MARS integra dos sistemas:

• Sistema 1 (Rápido, Intuitivo): Responsable del procesamiento de información de alto rendimiento. Destila información clave de las salidas de herramientas brutas (por ejemplo, resultados de búsqueda, artículos) basándose en el "propósito" específico proporcionado por el Sistema 2.
• Sistema 2 (Lento, Deliberativo): Responsable del razonamiento estratégico, la planificación y la invocación de herramientas. Mantiene el contexto de razonamiento y decide cuándo llamar a las herramientas y qué información se necesita.

Flujo de Trabajo:

1. El Sistema 2 analiza el contexto actual y genera un paso de razonamiento, solicitando opcionalmente una herramienta con un propósito específico ($p_i$).
2. El entorno externo ejecuta la herramienta, devolviendo salidas brutas (que pueden ser múltiples documentos de longitud variable).
3. Bin-Packing (Empaquetado en Contenedores): Para manejar las salidas de longitud variable de manera eficiente, un algoritmo First Fit Decreasing (FFD) organiza estas salidas en fragmentos de tamaño óptimo.
4. El Sistema 1 procesa estos fragmentos en paralelo, condicionado al propósito $p_i$, para extraer la información destilada ($\tilde{o}_i$).
5. La información destilada se concatena en el contexto para el siguiente turno del Sistema 2.

2.2 Estrategias de Optimización Multi-Agente

Los autores extienden la Optimización de Política Relativa de Grupo (GRPO) al entorno multi-agente con tres innovaciones clave para asegurar un entrenamiento conjunto estable y efectivo:

1. Cálculo de Gradiente Desacoplado: Aunque el Sistema 1 y el Sistema 2 comparten la misma recompensa a nivel de trayectoria, sus actualizaciones de gradiente están desacopladas.

   • La pérdida del Sistema 2 se calcula solo sobre los tokens de razonamiento y planificación, enmascarando los tokens de salida del Sistema 1.
   • La pérdida del Sistema 1 se calcula solo sobre sus salidas de destilación, condicionada a la entrada empaquetada (bin-packed).
   • Esto asegura una asignación de crédito adecuada: el Sistema 2 aprende mejores planes/propósitos, mientras que el Sistema 1 aprende mejores estrategias de extracción específicas para esos propósitos.

2. Optimización de Bin-Packing: Para permitir el procesamiento paralelo por parte del Sistema 1, las salidas de las herramientas de longitud variable se ordenan por longitud y se empaquetan en contenedores que quepan dentro de la ventana de contexto del modelo. Esto reduce el número de pasos de generación requeridos para el Sistema 1.

3. Muestreo Balanceado Ponderado por Ventaja: En un despliegue (rollout), el Sistema 2 genera un número fijo de muestras (una por trayectoria), mientras que el Sistema 1 genera un número variable (dependiente de las llamadas a herramientas y el conteo de contenedores). Para evitar que un sistema domine el proceso de aprendizaje:

   • Las ventajas se pre-calculan para todas las muestras dentro de un grupo.
   • Las muestras del Sistema 1 se luego submuestrean o sobremuestrean (mediante duplicación aleatoria) para igualar el número de muestras del Sistema 2, asegurando una optimización equilibrada mientras se preserva la integridad estadística.

2.3 Configuración de Entrenamiento: "Zero RL"

Un aspecto crítico de MARS es su régimen de entrenamiento. Opera bajo una configuración de "Zero RL":

• El modelo se entrena directamente desde el modelo base (por ejemplo, Qwen2.5-7B o Qwen3-8B).
• No se utiliza Ajuste Fino Supervisado (SFT) ni destilación de política de modelos más fuertes.
• Esto contrasta con las líneas base como WebThinker, que dependen de calentamientos SFT, permitiendo una evaluación directa de la eficacia del marco de RL multi-agente.

3. Contribuciones Clave

1. Marco de Co-evolución: Introducción de MARS, un marco de sistema dual donde el Sistema 1 (procesamiento de información) y el Sistema 2 (razonamiento) se optimizan conjuntamente mediante recompensas de trayectoria compartidas. Esto permite que el Sistema 1 aprenda la destilación de información relevante para la tarea en lugar de una sumarización genérica.
2. GRPO Adaptado para RL Multi-Agente: Desarrollo de tres técnicas específicas para permitir un entrenamiento conjunto estable: gradientes desacoplados para la asignación de crédito, bin-packing para el procesamiento paralelo y muestreo balanceado ponderado por ventaja.
3. Rendimiento Zero RL: Demostración de que un modelo de 8B parámetros entrenado sin SFT puede superar a líneas base más grandes entrenadas con SFT y acercarse a modelos propietarios en evaluaciones desafiantes.

4. Resultados Experimentales

Los autores evaluaron MARS en varios bancos de pruebas, incluyendo Humanity's Last Exam (HLE) y 7 tareas de QA con alta densidad de conocimiento.

• Humanity's Last Exam (HLE):

  • MARS (8B) alcanzó un 8.17% de precisión.
  • Supera a WebThinker (32B con SFT, 6.87%) y C-3PO (72B con SFT, 5.79%).
  • Reduce la brecha con modelos propietarios como Claude 3.7 Sonnet (7.89%) y o1 (7.75%).
  • La mejora es amplia en diversas disciplinas (Bio/Med, CS/AI, Matemáticas, etc.), no está aislada a un solo dominio.

• Tareas de QA con Alta Densidad de Conocimiento:

  • MARS logró una mejora promedio del 8.9% sobre la línea base C-3PO en 7 tareas (incluyendo NQ, TriviaQA, HotpotQA, etc.).
  • Las ganancias fueron particularmente pronunciadas en el razonamiento de múltiples saltos (multi-hop) (+12.2% sobre C-3PO), lo que indica la capacidad del marco para manejar cadenas de razonamiento complejas que requieren múltiples iteraciones de recuperación-razonamiento.

• Estudios de Ablación:

  • Eliminación del Sistema 1: Eliminar el Sistema 1 (forzando al Sistema 2 a procesar salidas de herramientas brutas) causó una caída del 1.91% en la precisión de HLE (7.38% $\to$ 5.47%). Esto confirma que el Sistema 1 co-evoluciona activamente para extraer información relevante para la tarea, en lugar de actuar como un sumarizador pasivo.
  • Uso de Herramientas: El modelo aprende a utilizar múltiples herramientas (Search, Scholar, Python) de manera efectiva. Eliminar cualquier herramienta individual (especialmente Search o Python) degradó significativamente el rendimiento en dominios específicos.
  • Dinámicas de Entrenamiento: El análisis muestra que, conforme avanza el entrenamiento, el modelo pasa de una recuperación conservadora de "un solo paso" (single-shot) a una recolección de evidencia iterativa, con el Sistema 1 filtrando el ruido de manera efectiva.

5. Significado y Reivindicaciones

El artículo afirma que MARS demuestra la viabilidad de las arquitecturas de sistema dual co-evolucionadas a través del aprendizaje por refuerzo multi-agente sin depender del ajuste fino supervisado.

• Eficiencia vs. Capacidad: El marco aborda con éxito el compromiso entre procesar grandes volúmenes de información externa y mantener la calidad del razonamiento. El Sistema 1 maneja la "carga de lectura", permitiendo que el Sistema 2 se concentre en el razonamiento complejo sin dilución del contexto.
• Especialización Aprendida: Los resultados sugieren que la "estrategia óptima de destilación de información" no es estática, sino que depende de la tarea de razonamiento. A través de la co-evolución, el Sistema 1 aprende a extraer conocimientos específicamente útiles para el Sistema 2, una capacidad que los prompts fijos o el entrenamiento independiente no pueden lograr.
• Escalabilidad: El éxito de "Zero RL" indica que el propio marco de RL multi-agente es un poderoso motor de rendimiento, reduciendo potencialmente la dependencia de escalas de modelos masivas o conjuntos de datos SFT costosos.

Los autores enfatizan que este enfoque mejora la fiabilidad de la investigación profunda al permitir que los modelos sinteticen información actualizada manteniendo un fuerte razonamiento de múltiples pasos, con aplicaciones potenciales en educación y revisión de literatura científica. También señalan los riesgos potenciales relacionados con la desinformación y la necesidad de supervisión humana en entornos de alto riesgo.