Resumen Técnico: Diagnóstico y Mitigación de la Putrefacción del Contexto en la Búsqueda de Largo Horizonte

Definición del Problema

A medida que los Modelos de Lenguaje Grande (LLMs) se despliegan cada vez más en tareas agénticas de largo horizonte, como la búsqueda profunda en la web, acumulan un contexto extenso que comprende tanto la retroalimentación del entorno como el razonamiento interno. Este documento identifica una degradación crítica en el rendimiento del modelo conocida como putrefacción del contexto (context rot). Específicamente, en escenarios de búsqueda profunda donde los agentes ejecutan decenas o cientos de llamadas a herramientas, el contexto extenso provoca que los modelos o bien se rindan directamente (declarando que no pueden resolver el problema) o proporcionen respuestas inciertas prematuramente (ofreciendo una respuesta clara mientras reconocen explícitamente la incertidumbre no resuelta en su razonamiento).

A diferencia de investigaciones previas centradas en entradas largas de un solo turno (por ejemplo, pruebas de "aguja en un pajar") o conversaciones humanas de múltiples turnos, este trabajo investiga la putrefacción del contexto en tareas de búsqueda agéntica de múltiples turnos, múltiples fuentes y acumulación progresiva. Los autores observan que, a medida que la longitud de la trayectoria aumenta, los modelos no solo pierden precisión; sino que cambian su comportamiento hacia estos dos modos de falla específicos, quedando a menudo atrapados en "patrones de lucha" (intentos fallidos repetidos o falta de progreso).

Metodología

1. Diagnóstico y Taxonomía

Los autores desarrollaron una taxonomía detallada de estados terminales para diagnosticar la putrefacción, categorizando los resultados de los agentes en:

• Rendirse (Give Up): El agente declara explícitamente que no puede resolver el problema.
• Respuesta Incierta (Uncertain Answer): El agente proporciona una respuesta clara, pero el razonamiento indica explícitamente una incertidumbre no resuelta.
• Respuesta Confiable (Confident Answer): El agente proporciona una respuesta clara con un razonamiento que indica la satisfacción de todos los criterios.
• Sin Respuesta (No Answer): El agente no logra emitir una respuesta debido a límites de contexto o presupuestos de turnos.

Utilizando un LLM como juez (validado contra expertos humanos con un 98.7% de acuerdo), los autores evaluaron cuatro modelos de código abierto destacados (Qwen3.5-397B-A17B, GLM-4.7, GLM-5.0, MiniMax-M2.5) a través de tres benchmarks: BrowseComp, BrowseComp-Plus (corpus local) y xbench-DeepSearch.

2. Análisis de Poda (Pruning)

Para comprender la relación entre el contexto acumulado y la putrefacción, los autores realizaron experimentos de poda de contexto. Descartaron sistemáticamente diferentes partes del historial acumulado (respuestas de herramientas, contenido de razonamiento o todo el contexto) mientras mantenían la ventana de interacción más reciente. Esto les permitió aislar si la putrefacción era causada por la longitud de la trayectoria, los turnos de interacción o el contenido específico del contexto acumulado.

3. Estrategias de Mitigación

El documento evalúa dos enfoques principales para mitigar la putrefacción del contexto:

A. Gestión de Contexto (En Proceso)
Los autores evaluaron sistemáticamente siete métodos a través de tres categorías, modificando el marco ReAct:

1. Compactación de Contexto: Reescribir periódicamente el historial acumulado en un resumen compacto. Los disparadores incluyeron la longitud de la trayectoria, los turnos de interacción y un "puntaje de lucha" (detección semántica de falla).
2. Recorte de Contexto (Trimming): Descartar el contenido previo sin reescribirlo. Las variantes incluyeron descartar todas las respuestas de herramientas excepto la última, mantener solo los últimos turnos de interacción, y combinar el recorte con la sumarización.
3. Aislamiento de Contexto: Utilizar sub-agentes (por ejemplo, FoldAgent) para ejecutar tareas y devolver solo resultados resumidos, manteniendo limpio el espacio de contexto del agente principal.

B. Muestreo de Rechazo Post-hoc
Los autores desarrollaron una estrategia de filtrado consciente de la putrefacción. Se generan múltiples trayectorias para una sola consulta utilizando ReAct estándar (sin gestión de contexto). Un filtro excluye entonces las trayectorias que terminan en estados de "Rendirse" o "Respuesta Incierta", reteniendo solo las "Respuestas Confiables" para la agregación (mediante votación por mayoría, longitud mínima o menor número de turnos).

Resultados Clave

1. Características de la Putrefacción del Contexto

• Prevalencia: El contexto extenso provoca que los modelos se rindan o proporcionen respuestas inciertas, un fenómeno que empeora a medida que el contexto crece.
• No es Solo Longitud: La putrefacción no depende únicamente de la longitud de la trayectoria o del número de turnos. Los experimentos de poda mostraron que eliminar el contexto acumulado casi elimina la putrefacción, pero eliminar solo el razonamiento o solo las respuestas de las herramientas (manteniendo el otro) aún reduce la putrefacción, lo que indica que el contenido de la acumulación es importante.
• Correlación con la Lucha: Las trayectorias que terminan en estados de putrefacción exhiben puntajes de "lucha" significativamente más altos (fallos repetidos, falta de progreso) en comparación con las trayectorias exitosas.
• Tamaño de Ventana vs. Rendimiento: El tamaño de la ventana de contexto en sí mismo no es el cuello de botella principal; los modelos pueden resolver problemas dentro de la ventana, pero el rendimiento se degrada debido a cómo el modelo procesa el contexto acumulado.

2. Efectividad de la Gestión de Contexto

• La Estrategia Mixta es Óptima: Un enfoque híbrido que combina el Recorte de Contexto (mantener los últimos turnos) y la Compactación de Contexto (resumir el contenido antiguo) logró el mejor equilibrio entre costo (llamadas a herramientas) y mitigación de la putrefacción. La compactación pura redujo significamente la putrefacción pero incurrió en altos costos y trayectorias inconclusas; el recorte puro fue eficiente pero menos efectivo para reducir la putrefacción.
• Dependencia del Modelo: El aislamiento de contexto (sub-agentes) mostró una alta varianza. Funcionó excepcionalmente bien con bases sólidas (ej. Qwen3.5), pero funcionó mal con modelos más débiles (ej. GLM-4.7), lo que sugiere que requiere un LLM base robusto para ser efectivo.
• Frecuencia de Disparo: Aumentar la frecuencia de la gestión pasiva (por ejemplo, resumir en umbrales de longitud más cortos) mitigó la putrefacción pero aumentó los costos y la tasa de trayectorias inconclusas.

3. Efectividad del Muestreo de Rechazo

• Ganancias de Rendimiento: Aplicar el filtrado consciente de la putrefacción a múltiples trayectorias muestreadas produjo una ganancia de rendimiento promedio de 2.6% a 4.9% a través de los métodos de agregación.
• Sinergia: Combinar el muestreo de rechazo con los métodos de gestión de contexto mejoró aún más el rendimiento. En conjuntos de datos con putrefacción severa (BrowseComp, BrowseComp-Plus), el mejor método de gestión de contexto combinado con el muestreo de rechazo superó al ReAct estándar. En conjuntos de datos con menos putrefcción (xbench-DeepSearch), el ReAct estándar con muestreo de rechazo a veces igualó o superó a los métodos de gestión de contexto.

Significado y Contribuciones

El documento afirma las siguientes contribuciones:

1. Diagnóstico: Revela un fenómeno de putrefacción prevalente pero previamente no detectado en la búsqueda agéntica de largo horizonte, caracterizado por rendiciones directas y respuestas inciertas prematuras, lo cual se ve exacerbado por el crecimiento del contexto.
2. Análisis Causal: A través de experimentos de poda, demuestra que la putrefacción es causada directamente por el contenido del contexto acumulado, no meramente por estadísticas de la trayectoria como la longitud o el conteo de turnos.
3. Evaluación Sistemática: Proporciona una evaluación exhaustiva de siete métodos de gestión de contexto a través de tres categorías, ofreciendo una guía clara para la selección de estrategias basadas en el compromiso entre rendimiento, costo y severidad de la putrefacción.
4. Mitigación Novedosa: Introduce una estrategia de filtrado consciente de la putrefacción para el muestreo de rechazo, demostrando su efectividad para mejorar la fiabilidad del agente sin modificar el marco del agente subyacente.

Los autores concluyen que estos hallazgos proporcionan una base para construir agentes autónomos más robustos capaces de manejar desafíos de largo horizonte cada vez más complejos y del mundo real, gestionando eficazmente los compromisos entre la retención del contexto y la degradación del modelo.