LCM: Lossless Context Management

Este artículo presenta la Gestión de Contexto sin Pérdidas (LCM), una arquitectura determinista que mejora la memoria de los LLM mediante compresión recursiva del contexto y partición de tareas, permitiendo que el agente Volt supere a Claude Code en tareas de codificación de contexto largo de hasta 1 millón de tokens, garantizando al mismo tiempo la recuperación sin pérdidas del estado y la finalización.

Lo esencial

Imagina que estás intentando resolver un misterio masivo de varios días. Tienes un detective brillante (la IA), pero tiene una memoria muy a corto plazo. Si le das una pila de 1.000 pistas, olvidará las primeras antes de llegar a la última.

Durante mucho tiempo, la solución fue simplemente darle al detective un cuaderno más grande (una "ventana de contexto" más grande). Pero eventualmente, incluso los cuadernos más grandes se vuelven demasiado pesados para llevar, y el detective empieza a confundirse por el volumen abrumador de papel.

Este artículo presenta una nueva forma de ayudar al detective: Gestión de Contexto sin Pérdida (LCM). Piénsalo como darle al detective un bibliotecario automatizado superinteligente que gestiona las notas por él, en lugar de pedirle al detective que escriba su propio sistema de archivo.

Así es como funciona, usando analogías simples:

1. El Problema: El Debate "GOTO" vs. "Estructurado"

El artículo compara dos formas de manejar la memoria:

• La Vieja Forma (RLM): Imagina pedirle al detective que escriba su propio sistema de archivo en código. Tiene que decidir cómo organizar las notas, cuándo tirar cosas y cómo encontrarlas más tarde. Esto es como darle a un programador libertad ilimitada para usar declaraciones GOTO (saltar a cualquier parte del código). Es poderoso, pero si el detective comete un error en su guion de archivo, todo el sistema se bloquea o se desordena.
• La Nueva Forma (LCM): En lugar de pedirle al detective que escriba el sistema de archivo, el motor (el ordenador que ejecuta al detective) proporciona un archivador preconstruido y perfecto. El detective solo dice: "Aquí hay una nueva pista", y el motor decide automáticamente cuándo resumir las pistas antiguas y dónde almacenarlas. Esto es como usar programación estructurada (bucles y sentencias if): es menos flexible, pero nunca se bloquea por mala lógica.

2. Las Dos Herramientas Mágicas de LCM

El artículo dice que LCM utiliza dos trucos principales para mantener al detective enfocado:

A. El Archivador "Sin Pérdida" (DAG Jerárquico)

• Cómo funciona: El motor mantiene una "Copia Maestra" de cada nota, palabra por palabra, en una bóveda segura (el Almacén Inmutable).
• El Resumen: Para ahorrar espacio en el espacio de trabajo activo del detective, el motor crea una "tarjeta de resumen" para las notas antiguas. Coloca la tarjeta de resumen en el espacio de trabajo y oculta la nota completa en la bóveda.
• La Magia: Si el detective necesita ver la nota original más tarde, puede pedirla, y el motor intercambia instantáneamente la tarjeta de resumen por la nota completa. Nada se pierde realmente; solo se comprime hasta que se necesita.
• Analogía: Imagina leer un libro de 500 páginas. En lugar de llevar todo el libro, llevas un marcador con un resumen de una oración de cada capítulo. Si necesitas verificar un detalle, vuelves a la página específica del libro. Nunca pierdes el texto original.

B. El Equipo "Paralelo" (LLM-Map)

• El Problema: Si el detective tiene que leer 1.000 archivos uno por uno, se cansará y olvidará el primer archivo para cuando llegue al último.
• La Solución: En lugar de que el detective lea los archivos él mismo, el motor actúa como un jefe que contrata a 16 asistentes. El detective le da al jefe una sola instrucción: "Lee estos 1.000 archivos y dime el punto principal de cada uno". El motor envía los 1.000 archivos a los asistentes simultáneamente.
• El Resultado: Los asistentes hacen el trabajo pesado en paralelo. El detective solo ve la lista final y organizada de resultados. El detective nunca tiene que sostener 1.000 archivos en su cabeza a la vez.

3. La Promesa de "Coste Cero"

Una de las mayores afirmaciones del artículo es que este sistema no ralentiza las cosas para tareas pequeñas.

• Analogía: Si solo tienes 5 notas para archivar, el motor no se molesta en crear un sistema de archivo complejo. Simplemente deja que el detective las lea directamente. El "archivador" solo entra en acción cuando la pila se vuelve demasiado grande. Esto significa que, para conversaciones normales y cortas, el sistema se siente tan rápido como una IA estándar.

4. Los Resultados: Venciendo a la Competencia

Los autores probaron su sistema (llamado Volt) contra Claude Code, que actualmente es uno de los mejores asistentes de codificación con IA del mundo.

• La Prueba: Le dieron a ambos sistemas un "misterio" masivo con hasta 1 millón de palabras de pistas (tokens).
• El Resultado:
  • Para pistas pequeñas (menos de 32.000 palabras), ambos sistemas funcionaron aproximadamente igual.
  • Para pistas enormes (de 32.000 a 1 millón de palabras), Volt ganó en todo momento.
  • El artículo afirma que Volt fue significativamente mejor encontrando la respuesta correcta en conjuntos de datos masivos porque no se "confundió" por el volumen de texto, mientras que Claude Code empezó a tener dificultades a medida que el texto se hacía más largo.

5. Por Qué Esto Importa (Según el Artículo)

El artículo argumenta que pedirle a una IA que gestione su propia memoria (como la "Vieja Forma") es arriesgado porque la IA puede cometer errores en su propio código. Al mover la gestión de la memoria al motor del ordenador (la "Nueva Forma"), el sistema se vuelve:

1. Más Confiable: No se bloquea porque la IA escribió un mal guion.
2. Más Eficiente: Maneja grandes cantidades de datos sin que la IA se abrume.
3. Sin Pérdida: Garantiza que ninguna información se elimine realmente, solo se resuma.

En resumen, el artículo sugiere que para tareas muy largas y complejas, es mejor darle a la IA un asistente automatizado y estructurado para manejar la memoria, en lugar de dejar que la IA intente ser ella misma la bibliotecaria.

Resumen técnico

Resumen Técnico: Gestión de Contexto sin Pérdidas (LCM)

Declaración del Problema

El principal cuello de botella para las tareas complejas de agentes a largo plazo sigue siendo la ventana de contexto efectiva de los Modelos de Lenguaje Grande (LLM). Incluso los modelos con ventanas nominales que superan el millón de tokens luchan en sesiones de varios días donde el volumen de llamadas a herramientas, contenidos de archivos y razonamiento intermedio excede la capacidad. Esto se ve agravado por la "podredumbre del contexto", donde el rendimiento se degrada significativamente antes de alcanzar el límite duro de tokens.

Trabajos anteriores, específicamente los Modelos de Lenguaje Recursivos (RLM), propusieron que los modelos deberían gestionar activamente su propio contexto mediante recursión simbólica (por ejemplo, escribiendo scripts para fragmentar y procesar sus propios prompts). Aunque los RLM demostraron la viabilidad de la gestión activa del contexto, heredan la estocasticidad del modelo: una estrategia de memoria que funciona en una ejecución puede fallar en la siguiente. Además, envolver cada interacción en un andamiaje recursivo introduce latencia y costo ("penalización de contexto corto") para tareas que caben dentro de las ventanas estándar. Existe una tensión entre la expresividad del flujo de control generado por el modelo y la fiabilidad requerida para los sistemas de producción.

Metodología: Gestión de Contexto sin Pérdidas (LCM)

LCM propone una alternativa determinista y centrada en la arquitectura al enfoque centrado en el modelo de los RLM. En lugar de pedirle al modelo que invente estrategias de memoria, LCM traslada la carga de la arquitectura de memoria al motor, proporcionando una infraestructura determinista respaldada por bases de datos. El sistema se basa en dos pilares fundamentales: Compresión Recursiva del Contexto y Particionamiento Recursivo de Tareas.

1. Arquitectura de Memoria de Doble Estado

LCM garantiza la recuperabilidad sin pérdidas mediante un diseño de doble estado:

• El Almacén Inmutable: Un almacén persistente y transaccional (por ejemplo, PostgreSQL) donde cada mensaje de usuario, respuesta del asistente y resultado de herramienta se persiste de forma verbatim y nunca se modifica. Esta es la fuente de verdad.
• El Contexto Activo: La ventana enviada al LLM en cada turno, ensamblada a partir de mensajes recientes en crudo y nodos de resumen precalculados.

Los nodos de resumen funcionan como vistas materializadas derivadas de mensajes más antiguos mediante resumen por LLM. Crucialmente, el sistema retiene "punteros sin pérdidas" a los datos originales. Si un resumen es insuficiente, la herramienta lcm_expand permite al agente recuperar el contenido original de forma verbatim. Para evitar la inundación del contexto, lcm_expand está restringido a subtareas, mientras que el bucle de interacción principal observa solo resúmenes.

2. DAG Jerárquico y Bucle de Control

La estructura de datos central es un Grafo Acíclico Dirigido (DAG) de resúmenes. A medida que el contexto activo se llena, los mensajes más antiguos se compactan en nodos de resumen mientras se preservan los originales.

• Bucle de Control Determinista: El motor gestiona la compactación utilizando umbrales de tokens suaves ($\tau_{soft}$) y duros ($\tau_{hard}$).
• Continuidad de Coste Cero: Por debajo de $\tau_{soft}$, no ocurre ningún resumen; el sistema actúa como un registrador pasivo, incurriendo en ninguna sobrecarga. La compactación se activa de forma asíncrona cuando se superan los umbrales, intercambiando resúmenes en el contexto entre turnos del LLM.
• Escalación de Tres Niveles: Para garantizar la convergencia y prevenir el "fallo de compactación" (donde un resumen es más largo que la entrada), LCM emplea un protocolo de escalación estricto:
  1. Normal: Resumen por LLM preservando detalles.
  2. Agresivo: Resumen por LLM en viñetas con objetivos de tokens reducidos.
  3. Respuesta Determinista: Un truncamiento no basado en LLM a un límite fijo de tokens (por ejemplo, 512 tokens).

3. Manejo de Archivos Grandes

Para archivos que exceden los límites de contexto (por ejemplo, registros grandes o conjuntos de datos), LCM no carga el contenido completo. En su lugar, almacena una referencia (ruta, ID) y un Resumen de Exploración precalculado. Este resumen es generado por un distribuidor consciente del tipo (extracción de esquemas para datos estructurados, análisis estructural para código, resumen por LLM para texto), permitiendo que el modelo razone sobre el archivo sin cargarlo. Los IDs de archivo se propagan a través del DAG de resúmenes, asegurando que el modelo mantenga la conciencia de los archivos encontrados incluso después de múltiples rondas de compactación.

4. Recursión a Nivel de Operador

LCM reemplaza los bucles escritos por el modelo con primitivas gestionadas por el motor:

• LLM-Map: Procesa una lista de elementos en paralelo mediante llamadas sin estado al LLM (por ejemplo, clasificación, extracción).
• Agentic-Map: Inicia sesiones completas de subagentes para cada elemento, adecuado para razonamiento multi-paso o uso de herramientas.
• Garantías: El motor maneja la iteración, la concurrencia, los reintentos y la validación de esquemas. Las salidas se almacenan en archivos JSONL externos, evitando la contaminación del contexto.
• Invariante de Reducción de Alcance: Para prevenir bucles infinitos de delegación, un subagente debe declarar qué trabajo retiene frente a qué delega. Si un agente intenta delegar toda su responsabilidad, el motor rechaza la llamada. Esta garantía estructural asegura la terminación sin límites de profundidad arbitrarios.

Contribuciones Clave

1. Cambio Arquitectónico: LCM traslada la gestión del contexto de un proceso estocástico generado por el modelo (RLM) a un proceso determinista gestionado por el motor. Esto refleja el cambio histórico desde las declaraciones GOTO sin restricciones hasta el flujo de control estructurado en los lenguajes de programación.
2. Recuperabilidad sin Pérdidas: A diferencia de RAG o ventanas deslizantes, LCM garantiza que cualquier estado anterior pueda recuperarse de forma verbatim a través del almacén inmutable, independientemente de cuántas veces se haya comprimido el contexto.
3. Continuidad de Coste Cero: La arquitectura no incurre en sobrecarga de latencia o costo para tareas cortas que caben dentro de la ventana de contexto nativa, abordando una ineficiencia clave en los andamiajes recursivos.
4. Convergencia Determinista: El protocolo de escalación de tres niveles y la invariante de reducción de alcance proporcionan garantías matemáticas contra el fallo de compactación y la recursión infinita, respectivamente.

Resultados

Los autores evaluaron LCM (implementado en el agente Volt) frente a Claude Code (v2.1.4) y Opus 4.6 puro en la prueba OOLONG (específicamente la división trec_coarse), probando longitudes de contexto desde 8K hasta 1M de tokens.

• Rendimiento: Volt (LCM) logró una puntuación absoluta promedio de 74.8, superando a Claude Code, que obtuvo 70.3, por 4.5 puntos.
• Sensibilidad a la Longitud del Contexto:
  • < 32K tokens: Volt y Claude Code tuvieron un rendimiento comparable, con Claude Code manteniendo una ligera ventaja en longitudes más cortas.
  • > 32K tokens: Volt superó consistentemente a Claude Code. La brecha se amplió significativamente en el régimen ultra-largo:
    • En 256K tokens: Volt lideró por 10.0 puntos.
    • En 512K tokens: Volt lideró por 12.6 puntos.
    • En 1M tokens: Volt lideró por 4.3 puntos.
• Degradación de la Línea Base: Opus 4.6 puro sin andamiaje mostró una degradación pronunciada más allá de 65K tokens, cayendo por debajo de una puntuación de 20 en las longitudes más grandes.
• Mecanismo: La ventaja de rendimiento se atribuye al uso por parte de LCM de LLM-Map para la agregación paralela, lo que evita la saturación del contexto. Por el contrario, Claude Code depende del modelo para diseñar estrategias de fragmentación, lo que introduce variabilidad de error y carga cognitiva a medida que crece el contexto.

Significado y Afirmaciones

El artículo afirma que LCM representa una validación y extensión del paradigma recursivo pionero por los RLM. Demuestra que la manipulación recursiva del contexto puede superar no solo a los LLM convencionales, sino también a los agentes de vanguardia en codificación con acceso nativo al sistema de archivos (como Claude Code).

Los autores argumentan que LCM ofrece un compromiso superior para entornos de producción:

• Fiabilidad sobre Flexibilidad: Al sacrificar la máxima flexibilidad de los bucles escritos por el modelo, LCM gana garantías de terminación, continuidad de coste cero y recuperabilidad de estado sin pérdidas.
• Viabilidad de Producción: Las primitivas deterministas permiten el despliegue inmediato de arquitecturas de contexto infinito sin esperar a que los modelos dominen la meta-habilidad de gestionar su propia memoria.
• Complementariedad: Los autores sugieren que LCM y RLM no son mutuamente excluyentes; un sistema futuro podría optar por defecto por los operadores estructurados de LCM para casos comunes, mientras retiene la recursión simbólica al estilo RLM para tareas excepcionales que requieren máxima flexibilidad.

El artículo concluye que la visión "Centrada en la Arquitectura" (proporcionar primitivas estructuradas) ofrece ventajas de fiabilidad y costo para cargas de trabajo de agregación en producción, especialmente a medida que las longitudes de contexto escalan más allá de las capacidades de las ventanas de modelos crudos actuales.