When Does Context Compaction Pay in Long-Horizon Agents?

Imagina un asistente digital que puede trabajar durante horas, resolviendo problemas complejos leyendo archivos, ejecutando código y comprobando su propio progreso. Para hacer esto, el asistente debe recordar todo lo que ha hecho hasta el momento, manteniendo un registro continuo de sus acciones y los resultados que ve. Este registro se llama "contexto". A medida que el trabajo continúa, este registro se vuelve cada vez más largo, llegando eventualmente a ser tan grande que ralentiza al asistente y cuesta una cantidad significativa de dinero procesarlo. Para gestionar esto, los ingenieros de software han desarrollado un truco llamado "compactación de contexto". En lugar de llevar toda la historia hacia adelante, el sistema le pide al asistente que escriba un breve resumen de lo que sucedió, descarta los detalles antiguos y continúa el trabajo utilizando solo ese resumen. Es un poco como un viajero que, después de caminar cien millas, escribe una postal a su yo futuro describiendo el viaje, y luego quema el diario detallado para ahorrar espacio en su mochila. La esperanza es que este resumen sea suficiente para mantener al viajero en el camino mientras ahorra tiempo y recursos.

Un nuevo estudio realizado por el investigador Yuyao Wang investiga si esta estrategia realmente funciona para tareas de larga duración. El investigador probó esta idea en nueve problemas difíciles de múltiples pasos utilizando dos modelos de lenguaje avanzados diferentes. Estableció un experimento controlado donde guardó el estado de los agentes en momentos específicos y luego dejó que continuaran hasta la meta utilizando dos métodos diferentes. En un método, los agentes mantenían su historial completo, actuando como una línea base. En el otro, los agentes pasaban a utilizar resúmenes cada vez que su historial crecía demasiado. El investigador no solo midió el costo final, sino también cómo el cambio de estrategia afectaba el comportamiento del agente, el número de pasos que tomaba y el tiempo que pasaba esperando a que se escribieran los resúmenes.

Los resultados revelaron un giro sorprendente. Aunque las matemáticas sugerían que cambiar a un resumen debería ahorrar dinero, la realidad era a menudo lo contrario. Para uno de los modelos probados, los agentes que cambiaron a resúmenes terminaron costando más dinero que aquellos que mantuvieron su historial completo. La razón no fue que los resúmenes fueran malos, sino que el acto de resumir cambió el comportamiento del agente de una manera que creó trabajo extra. Cuando el agente recibía un resumen en lugar del historial completo, a menudo sentía la necesidad de volver a leer archivos o comprobar información que ya había visto, lo que provocaba una cascada de solicitudes adicionales. Estos pasos extra, que el investigador llamó acciones de "solo lectura", se acumulaban rápidamente. En muchos casos, el dinero ahorrado al tener un historial más corto fue completamente anulado por el costo de estas comprobaciones adicionales e innecesarias. De hecho, para el modelo principal probado, la estrategia aumentó los costos en 20 de los 21 estados diferentes cuando se continuó hasta el final de la tarea.

El estudio también analizó cuánto tiempo tuvieron que trabajar estos agentes después del cambio para determinar si la estrategia podría alguna vez dar frutos. El investigador encontró que la compactación de contexto solo se convierte en una victoria financiera si queda una gran cantidad de trabajo por hacer después de que se escribe el resumen. Si la tarea está casi terminada, el costo de escribir el resumen y los pasos adicionales que el agente toma para ajustarse no valen la pena con respecto a los ahorros. Sin embargo, para tareas con un largo camino por delante, la estrategia puede funcionar, pero solo bajo condiciones específicas. El precio de la tecnología importa enormemente; para un modelo, la estrategia solo ahorró dinero si el costo de leer desde la memoria de la computadora era extremadamente alto, mucho más alto de lo que se cobra actualmente por la mayoría de los proveedores. Para el otro modelo probado, la estrategia fue mucho más efectiva, ahorrando dinero incluso con los precios actuales, pero esto se debió en gran medida a que el comportamiento de ese modelo cambiaba de forma mucho menos drástica cuando recibía un resumen.

Más allá del costo, el investigador también examinó qué tan rápido trabajaban los agentes. Simuló el proceso en un solo chip de computadora para ver si los historiales más cortos harían que el sistema fuera más rápido. Encontró que, si bien los historiales más cortos aceleraban el procesamiento de los pasos individuales, el tiempo dedicado a generar los resúmenes y los pasos adicionales que los agentes realizaban a menudo hacían que todo el proceso fuera más lento. En algunos escenarios, los agentes que utilizaban resúmenes tardaron casi el doble en completar la misma tarea que aquellos con el historial completo, a pesar de que nunca estuvieron esperando en una fila. Esto sucedió porque el tiempo ahorrado en el procesamiento del historial largo se perdió debido al tiempo dedicado a generar el resumen y al trabajo extra que el agente realizó.

El estudio concluye que la compactación de contexto no es una solución simple para tareas de larga duración. Es un compromiso que depende en gran medida del modelo específico que se esté utilizando, el costo de la tecnología y cuánto trabajo queda por hacer. El investigador encontró que simplemente recortar el historial a menudo confunde al agente, causando que repita trabajo que ya ha hecho. Para que esta estrategia funcione, los sistemas deben diseñarse cuidadosamente para preservar los pasos más recientes y asegurar que el agente no sienta la necesidad de volver a comprobar su propio historial. Hasta que estas condiciones se cumplan, mantener el historial completo, a pesar de su costo, sigue siendo a menudo el camino más confiable e incluso el más económico para los agentes que abordan problemas largos y complejos.