Imagina un asistente digital que puede leer bibliotecas enteras, escribir software complejo o gestionar un proyecto de investigación durante semanas. Para hacer esto, el asistente mantiene un registro continuo de todo lo que ha visto y hecho, un historial que se vuelve más largo con cada acción. Este historial se almacena en un espacio de memoria temporal llamado ventana de contexto. Si bien estas ventanas son vastas, capaces de contener cientos de miles de palabras, no son infinitas. Cuando una tarea se prolonga demasiado, la memoria se llena y el asistente corre el riesgo de olvidar los detalles más importantes del principio. Para resolver esto, los ingenieros utilizan una técnica llamada resumen. La idea es simple: antes de que la memoria se llene demasiado, el asistente condensa su largo historial en una versión más corta y compacta, descartando el ruido mientras conserva la señal, y luego continúa su trabajo a partir de ese resumen. Es una forma digital de tomar notas para recordar una conversación larga.

Sin embargo, un nuevo estudio de investigadores de la Universidad Estatal de Pensilvania sugiere que esta red de seguridad está fallando de una manera sutil pero crítica. Los investigadores investigaron si estos modelos de inteligencia artificial podían realmente recibir la instrucción de conservar más detalles cuando resumían. Querían saber si, a medida que la historia crecía, el resumen también podía crecer, preservando una fracción constante de la información original. En su lugar, descubrieron que los modelos tienen un límite estricto. No importa cuán larga sea la historia, el resumen mantiene aproximadamente el mismo tamaño, reduciendo la cantidad de información retenida a una fracción mínima. Incluso cuando los humanos piden explícitamente a la computadora que escriba un resumen más largo, la computadora se niega a cumplir, aferrándose a sus propios hábitos breves. Los investigadores descubrieron que la única forma de cambiar este comportamiento no es pidiéndolo amablemente, sino reentrenando a la computadora con ejemplos de resúmenes más largos.

El equipo probó este comportamiento en once modelos de lenguaje de gran tamaño diferentes, que van desde asistentes de propósito general hasta herramientas especializadas en codificación y razonamiento. Alimentaron a estos modelos con entradas que crecían desde apenas mil palabras hasta cien mil palabras, utilizando tanto documentos largos como registros del mundo real de un agente resolviendo problemas de programación. En un sistema perfecto, si la entrada crece cien veces más, el resumen debería crecer proporcionalmente para mantener el mismo nivel de detalle. En cambio, los modelos se comportaron como si estuvieran atrapados en una rutina. A medida que la entrada aumentaba a cien mil palabras, los resúmenes apenas crecían. De hecho, a esa escala masiva, menos del uno por ciento de la entrada original sobrevivió en el resumen. Para un documento de ese tamaño, esto significa que por cada cien oraciones en el texto original, solo cerca de una oración llegó al resumen final. El resto se perdió. Este patrón se mantuvo sin importar si el modelo estaba diseñado para la escritura de código, la conversación general o el razonamiento complejo. El tamaño del modelo no ayudó; incluso los modelos más grandes y potentes producían resúmenes que eran demasiado cortos para la tarea.

Los investigadores probaron entonces un enfoque más directo. Sospecharon que los modelos simplemente podrían necesitar una instrucción más clara. Tomaron las mismas entradas masivas y añadieron comandos específicos al prompt, diciéndole a los modelos que escribieran resúmenes de una cierta longitud, medida en palabras, caracteres o tokens. Pidieron resúmenes que fueran un cuarto, un tercio o incluso la mitad del tamaño del texto original. Los resultados fueron frustrantemente consistentes. Aunque los modelos escribieron resúmenes ligeramente más largos cuando se les pidió, alcanzaron un techo rígido muy rápidamente. Si los investigadores pedían un resumen de dieciséis mil palabras, los modelos dejaban de escribir después de unos pocos miles, ignorando el resto de la petición. Los modelos parecían incapaces de estirar su producción para igualar la demanda, independientemente de cómo se midiera la longitud o cómo se redactara la solicitud. Las instrucciones proporcionaron un pequeño aumento en la longitud, pero nada cerca de lo suficiente como para evitar la pérdida de detalles críticos.

Esto llevó a los investigadores a una conclusión sorprendente: el problema no está en el prompt o en la entrada, sino en los datos de entrenamiento. Para probar esto, tomaron dos de los modelos y les dieron un reentrenamiento ligero, o ajuste fino (fine-tuning), utilizando únicamente resúmenes de diferentes longitudes. Un grupo fue entrenado con resúmenes muy cortos, y otro con resúmenes mucho más largos. Cuando probaron estos modelos reentrenados con las mismas instrucciones neutrales, los resultados cambiaron drásticamente. El modelo entrenado con resúmenes cortos escribió textos aún más cortos, mientras que el entrenado con resúmenes largos escribió textos significativamente más largos, a pesar de que el prompt nunca mencionó la longitud. Esto sugiere que los modelos han aprendido un hábito de brevedad por defecto de sus datos de entrenamiento, un hábito que anula cualquier petición de lo contrario. La longitud del resumen no es un cálculo flexible basado en el tamaño de la entrada; es un comportamiento rígido grabado en el ADN del modelo.

Las implicaciones para los agentes autónomos son significativas. Estos sistemas dependen de la síntesis para sobrevivir a tareas largas, pero si el resumen es demasiado corto, la información vital como una ruta de archivo, un intento fallido o una restricción específica se pierde para siempre. Una vez perdida, el agente no puede recuperarla y debe perder tiempo redescubriéndola o proceder a ciegas. El estudio muestra que simplemente pedirle a un agente que "recuerde más" solicitando un resumen más largo no es una solución confiable. La solución no reside en mejorar el prompt, sino en cambiar los datos utilizados para entrenar a los sintetizadores. Hasta que los datos de entrenamiento enseñen a estos modelos a preservar más detalles a medida que el contexto crece, los asistentes digitales en los que confiamos para tareas de largo alcance continuarán perdiendo su memoria, un pequeño e inalterable resumen a la vez.