IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling

Resumen Técnico: IterResearch

Planteamiento del Problema

Los avances recientes en agentes de investigación profunda han demostrado el potencial para la construcción autónoma de conocimiento mediante el razonamiento dinámico sobre fuentes externas. Sin embargo, los enfoques existentes dependen predominantemente de un paradigma de mono-contexto, donde toda la información recuperada y los pasos de razonamiento intermedio se anexan a una única ventana de contexto que se expande continuamente. Los autores identifican dos modos de falla críticos en este paradigma para tareas de largo horizonte:

1. Sofocación del Contexto: A medida que la ventana de contexto se llena con interacciones previas, el espacio disponible para el razonamiento activo se reduce, forzando respuestas limitadas que degradan hacia conclusiones prematuras o superficiales.
2. Contaminación por Ruido: La información irrelevante de las búsquedas web y los errores de exploración temprana se integran permanentemente en el contexto, creando una interferencia en cascada que diluye la calidad de la señal a lo largo del proceso de razonamiento.

Estas limitaciones impiden que los agentes existentes mantengan una capacidad de razonamiento sostenida a medida que aumenta la profundidad de la exploración.

Metodología

El artículo presenta IterResearch, un nuevo paradigma de investigación profunda iterativa que reimagina la investigación de largo horizonte a través de la lente del Escalamiento de Interacción. La metodología se basa en dos componentes principales:

1. Paradigma de Investigación Profunda Iterativa (Arquitectura inspirada en MDP)

En lugar de la acumulación lineal de contexto, IterResearch adopta una formulación de Proceso de Decisión de Markov (MDP) definida por la tupla $\langle S, D, E, T, R \rangle$.

• Espacio de Estados ($S$): Cada estado $s_t$ es un espacio de trabajo reconstruido estratégicamente que contiene solo elementos esenciales: la pregunta constante $q$, un reporte evolutivo $M_t$ (que sirve como memoria comprimida de los hallazgos validados) y el contexto inmediato del paso anterior.
• Espacio de Decisión ($D$): La política $\pi$ genera una decisión compuesta $d_t$ que consiste en un pensamiento interno ($Think_t$), un reporte actualizado ($M_{t+1}$) y una acción externa ($a_t$).
• Función de Transición ($T$): Crucialmente, la función de transición reconstruye el espacio de trabajo en lugar de anexar al historial. La trayectoria histórica se descarta deliberadamente, preservando únicamente el conocimiento sintetizado en el reporte actualizado. Esto asegura que el tamaño del espacio de trabajo permanezca constante ($O(1)$) independientemente del número de rondas de interacción, permitiendo teóricamente una exploración ilimitada.

2. Optimización de Política Consciente de la Eficiencia (EAPO)

Para entrenar este paradigma iterativo de manera efectiva, los autores proponen EAPO, una estrategia de entrenamiento que aborda dos desafíos:

• Descuento Geométrico de Recompensa: Reconociendo que no todas las trayectorias exitosas son igualmente valiosas, los autores adaptan el descuento geométrico estándar ($r_t = \gamma^{T-t} \cdot R_T$). Esto crea una presión de eficiencia implícita, incentivando a los agentes a alcanzar conclusiones correctas mediante una exploración concisa y enfocada en lugar de una búsqueda exhaustiva.
• Submuestreo Adaptativo: Dado que el paradigma iterativo descompone las trayectorias en múltiples muestras de entrenamiento independientes (una por ronda), el recuento de muestras varía entre preguntas. Los autores emplean un submuestreo adaptativo para alinear los lotes de entrenamiento con el tamaño de paralelismo de datos, asegurando un entrenamiento distribuido estable mientras preservan más del 99% de los datos.

Contribuciones Clave

1. Nuevo Paradigma: La propuesta de IterResearch, que elimina la sofocación del contexto y la contaminación por ruido mediante el mantenimiento de un reporte de memoria evolutivo y la reconstrucción estratégica del espacio de trabajo.
2. Estrategia de Entrenamiento: El desarrollo de EAPO, que combina el descuento de recompensa geométrica para la eficiencia y el submuestreo adaptativo para un entrenamiento estable en trayectorias de longitud variable.
3. Validación Empírica: Experimentos extensos que demuestran que IterResearch logra mejoras sustanciales sobre los agentes de código abierto existentes y cierra la brecha con los sistemas propietarios de frontera.

Resultados Experimentales

Los autores evaluaron IterResearch (basado en Qwen3-30B-A3B) a través de seis benchmarks desafiantes: Humanity's Last Exam (HLE), BrowseComp, BrowseComp-zh, GAIA, Xbench-DeepSearch y SEAL-0.

• Ganancias de Rendimiento: IterResearch logró una mejora promedio de +14.5 puntos porcentuales (pp) sobre los agentes de código abierto existentes en los seis benchmarks. Superó a todas las líneas base de código abierto y demostró un rendimiento competitivo o superior comparado con sistemas propietarios (por ejemplo, superando a DeepResearch de OpenAI en HLE y BrowseComp-zh).
• Escalamiento de Interacción: El paradigma exhibió capacidades de escalamiento sin precedentes, extendiéndose a 2048 interacciones con solo un contexto de 40K. El rendimiento mejoró drásticamente del 3.5% al 42.5% a medida que el límite máximo de interacciones aumentó de 2 a 2048, un logro estructuralmente imposible para los enfoques de mono-contexto debido al desbordamiento de contexto.
• Transferencia entre Paradigmas: Se encontró que las trayectorias generadas por IterResearch mejoran significativamente a los agentes de mono-contexto cuando se usan como datos de entrenamiento, lo que sugiere que el paradigma induce comportamientos de exploración superiores transferibles a diferentes arquitecturas.
• Estrategia de Prompting: Sin ningún entrenamiento, aplicar la estructura de prompting de IterResearch a modelos de frontera (por ejemplo, o3, DeepSeek-V3.1) produjo mejoras sustanciales sobre el prompting ReAct estándar, particularmente en tareas de largo horizonte (hasta +19.2pp en BrowseComp).

Significado y Afirmaciones

El artículo posiciona a IterResearch como una solución versátil para el razonamiento de largo horizonte, efectiva tanto como agente entrenado como paradigma de prompting agnóstico al modelo. Los autores reclaman tres ideas fundamentales:

1. Escalamiento de Interacción: El paradigma iterativo desbloquea un escalamiento de interacción extremo, sugiriendo que la dificultad percibida de las tareas de largo horizonte puede derivar de una capacidad de exploración insuficiente en lugar de límites de razonamiento inherentes.
2. Comportamientos de Exploración Superiores: El paradigma induce comportamientos de exploración de alta calidad que crean señales de entrenamiento transferibles, incluso para agentes que utilizan diferentes paradigmas arquitectónicos.
3. Eficacia Agnóstica al Modelo: La estructura iterativa con reconstrucción del espacio de trabajo proporciona una ventaja cognitiva fundamental para el razonamiento de largo horizonte, mejorando el rendimiento a través de diversas arquitecturas de modelos sin requerir un ajuste fino específico.

El trabajo concluye que la iteración con síntesis estratégica, en lugar de la acumulación lineal, es fundamental para conquistar los desafíos del razonamiento de largo horizonte.