Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them

Imagina un asistente digital que puede trabajar durante horas en un único proyecto complejo, leyendo archivos, ejecutando herramientas y hablando con un usuario humano. A medida que esta conversación crece, eventualmente se vuelve demasiado larga para que la memoria de la computadora pueda contenerla toda a la vez. Para seguir trabajando, el sistema debe comprimir el historial, reemplazando las partes iniciales del chat con un breve resumen que capture los puntos principales. Esto es un truco estándar en la inteligencia artificial, muy parecido a un humano tomando notas para recordar una reunión larga. Durante años, los investigadores se han preocupado de que estos resúmenes puedan olvidar detalles importantes, causando que el asistente pierda el rastro de las reglas específicas o instrucciones de seguridad de un usuario. El temor predominante ha sido que la máquina simplemente pierda el hilo.

Sin embargo, un nuevo estudio sugiere que el problema no es que la máquina olvide, sino que recuerda demasiado bien. De hecho, a menudo recuerda las cosas de una manera demasiado amplia o estricta. Los investigadores lo llaman "inflación de restricciones". Esto sucede cuando un resumen toma una petición temporal y de una sola vez y la convierte en una regla permanente. Por ejemplo, si un usuario dice: "Salta las pruebas para este archivo específico porque no hay internet", un buen resumen anotaría que las pruebas se saltaron para ese archivo en particular. Un resumen defectuoso, sin embargo, podría registrar la instrucción como "Siempre salta las pruebas cuando no haya internet". La regla sigue ahí, pero su significado ha cambiado de ser un arreglo temporal a una política establecida. Este cambio sutil puede causar que el asistente cometa errores más adelante, aplicando un arreglo temporal a cada tarea futura.

Para medir qué tan seguido ocurre esto, los investigadores construyeron un entorno de prueba llamado InflateBench. Crearon 240 sesiones de trabajo realistas en cinco áreas diferentes, como programación, análisis de datos y trabajo de oficina. En cada sesión, plantaron seis instrucciones específicas con un alcance conocido, como una tarea de una sola vez o una preferencia temporal. Luego, pasaron estas sesiones a través de siete métodos diferentes de resumen, utilizando dos tipos diferentes de modelos de lenguaje. El objetivo era ver si los resúmenes mantenían las instrucciones intactas, las perdían por completo o las expandían accidentalmente. También probaron si estas reglas expandidas realmente cambiaban lo que el asistente digital hacía después.

Los resultados fueron sorprendentes. Los resúmenes casi nunca perdían una instrucción; de hecho, conservaban más del 9io por ciento de ellas. Pero aunque rara vez olvidaban, frecuentemente exageraban en exceso. Cuando el sistema utilizaba un resumen de texto libre, inflaba aproximadamente entre el 12 y el 14 por ciento de los elementos elegibles. Cuando utilizaba una plantilla estructurada con secciones específicas para reglas y preferencias, ese número aumentaba a casi el 20 por ciento. El error más común era convertir una preferencia en un requisito, o tomar una tarea de una sola vez y tratarla como una regla permanente. Por ejemplo, una petición para usar una herramienta específica solo para el trabajo actual era a menudo reescrita como una regla de que la herramienta debe usarse siempre.

El estudio también probó dos soluciones populares que fueron diseñadas para prevenir la pérdida de instrucciones. Un método consistía en extraer las reglas hacia una lista separada, y el otro consistía en "anclar" las reglas para que aparecieran en cada resumen. Los investigadores encontraron que estos arreglos no ayudaron porque las instrucciones no se estaban perdiendo en primer lugar. En cambio, estos métodos empeoraban mucho el problema de la inflación. El método de "anclaje", en particular, causó que la inflación se disparara a más del 50 por ciento en algunos casos. Al obligar al sistema a repetir las reglas textualmente, los resúmenes perdían el contexto que mostraba que esas reglas eran temporales. El sistema ya no podía distinguir entre una regla permanente y una petición de una sola vez.

Finalmente, los investigadores verificaron si estas reglas infladas realmente cambiaban el comportamiento del asistente digital. Encontraron que sí lo hacían. Cuando el resumen contenía una regla inflada, el asistente era significativamente más propenso a aplicar esa regla a tareas futuras donde no correspondía. Aunque los asistentes no seguían las reglas infladas en todos los casos, la tasa de error era lo suficientemente alta como para ser una preocupación seria. El estudio concluye que la forma actual de manejar conversaciones largas necesita cambiar. Simplemente mantener las reglas no es suficiente; el sistema también debe llevar un registro de cuánto tiempo deben durar esas reglas. Sin esto, el asistente digital corre el riesgo de convertirse en un trabajador rígido que sigue instrucciones viejas y temporales como si fueran leyes eternas.