ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization

1. El Problema: La Limitación de la Ventana de Contexto en Agentes Web

Los agentes basados en Modelos de Lenguaje Grande (LLM) han demostrado un gran rendimiento en tareas intensivas en conocimiento, como la búsqueda web. Sin embargo, enfrentan un conflicto fundamental:

• Exploración de Largo Alcance vs. Contexto Limitado: Las consultas complejas requieren ciclos extensos de búsqueda, navegación y verificación cruzada (exploración de largo alcance).
• Agotamiento del Contexto: El paradigma actual, ReAct (Razonar + Actuar), acumula cada pensamiento, acción y observación en el historial. En tareas complejas, esto agota rápidamente la ventana de contexto limitada de los LLMs (ej. 32k tokens), obligando a truncar la información y perdiendo pistas cruciales antes de resolver el problema.
• Limitaciones de las Soluciones Actuales: Métodos existentes como MEM1 o MemAgent requieren modificaciones arquitectónicas (ej. tokens de memoria internos) y reentrenamiento de extremo a extremo, lo que rompe la compatibilidad con agentes preexistentes y es costoso.

2. Metodología Propuesta: ReSum

Los autores introducen ReSum, un paradigma ligero y "plug-and-play" (conectar y usar) que permite una exploración ilimitada mediante la resumen contextual periódico.

A. El Paradigma ReSum

En lugar de acumular todo el historial, ReSum invoca periódicamente una herramienta externa para condensar la historia de interacción en un resumen compacto:

1. Inicialización: El agente comienza con la consulta del usuario.
2. Iteración: El agente razona y usa herramientas (búsqueda, visita web) como en ReAct.
3. Disparador de Resumen: Cuando el historial se acerca al límite de tokens, se activa una herramienta de resumen ($\pi_{sum}$).
4. Compresión: La herramienta genera un resumen orientado a objetivos que consolida la evidencia clave, identifica brechas de información y sugiere los siguientes pasos.
5. Reinicio: El historial se reinicia con la consulta original y el resumen generado ($q' = (q, s)$), liberando espacio de contexto para continuar la exploración indefinidamente.

B. ReSumTool-30B (Herramienta de Resumen Especializada)

Un LLM genérico a menudo falla al distinguir evidencia clave de ruido en historias largas. Para solucionar esto, los autores desarrollaron ReSumTool-30B:

• Base: Fine-tuning de Qwen3-30B-A3B-Thinking.
• Entrenamiento: Se utilizó un pipeline de tres etapas con datos sintetizados de alta calidad (pares de conversación-resumen) generados por un modelo "maestro" potente (GPT-OSS-120B) en tareas de búsqueda web complejas.
• Capacidad: Este modelo supera a modelos mucho más grandes (como DeepSeek-R1-671B) en la calidad del resumen, extrayendo evidencia verificable y guiando los pasos futuros de búsqueda.

C. ReSum-GRPO (Adaptación mediante Aprendizaje por Refuerzo)

Aunque ReSum funciona sin entrenamiento, los agentes estándar no están alineados nativamente para razonar sobre contextos comprimidos. Para optimizar esto, proponen ReSum-GRPO:

• Segmentación de Trayectorias: Las trayectorias largas se dividen en segmentos en los puntos de resumen.
• Difusión de Ventaja (Advantage Broadcasting): Utilizan una variante de Group Relative Policy Optimization (GRPO). En lugar de asignar recompensas parciales, calculan una recompensa global basada en la respuesta final correcta. Esta recompensa se normaliza y se "difunde" (broadcast) a todos los segmentos de la trayectoria.
• Objetivo: Esto asigna crédito a los pasos iniciales de exploración que contribuyeron al éxito final, enseñando al agente a razonar efectivamente desde estados comprimidos y a recolectar información que genere buenos resúmenes.

3. Contribuciones Clave

1. ReSum: Un paradigma de mejora que permite exploración ilimitada sin modificar la arquitectura del agente, manteniendo la compatibilidad con agentes ReAct existentes.
2. ReSumTool-30B: Un modelo de resumen especializado que supera a modelos de razonamiento masivos en la síntesis de evidencia para agentes web.
3. ReSum-GRPO: Un algoritmo de entrenamiento eficiente que adapta a los agentes al nuevo paradigma mediante RL, utilizando solo 1,000 muestras de entrenamiento para lograr mejoras significativas.

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks desafiantes como GAIA, BrowseComp y BrowseComp-zh.

• Configuración sin Entrenamiento (Training-Free):

  • ReSum superó al paradigma ReAct estándar en un 4.5% promedio en Pass@1.
  • La combinación de ReSum con ReSumTool-30B permitió que un agente de 30B (WebSailor-30B) superara a modelos propietarios líderes como Claude-4 y Kimi-K2 en tareas de búsqueda compleja (ej. 16.0% vs 12.2% en BrowseComp).
  • ReSum demostró mayor compatibilidad y rendimiento que MEM1 en configuraciones sin entrenamiento.

• Configuración con Entrenamiento (ReSum-GRPO):

  • Tras el entrenamiento con solo 1,000 muestras, ReSum-GRPO logró una mejora adicional del 8.2% sobre ReSum base.
  • Los agentes entrenados con ReSum-GRPO rivalizaron con modelos de código abierto entrenados con más de 10,000 muestras.
  • Eficiencia: ReSum-GRPO ofrece un mejor equilibrio entre rendimiento y costo computacional en comparación con MEM1-GRPO, que consume casi 3 veces más tokens por una mejora marginal.

5. Significado e Impacto

• Escalabilidad: ReSum demuestra que es posible realizar búsquedas de información de largo alcance sin depender de ventanas de contexto masivas o arquitecturas de memoria internas complejas.
• Eficiencia de Datos: La capacidad de lograr alto rendimiento con solo 1,000 muestras de entrenamiento para la adaptación del paradigma es un avance significativo en la eficiencia de los agentes.
• Compatibilidad: Al ser un enfoque "plug-and-play", permite mejorar agentes existentes sin reentrenamiento costoso, facilitando su adopción en sistemas reales.
• Futuro: El trabajo sienta las bases para agentes autónomos que pueden gestionar su propio contexto de manera dinámica, superando las limitaciones actuales de los LLMs en tareas de investigación profunda.

En resumen, ReSum resuelve el cuello de botella del contexto en agentes web mediante una compresión inteligente y periódica, potenciada por un modelo de resumen especializado y un algoritmo de RL eficiente, logrando un rendimiento superior con menores requisitos computacionales y de datos.