Contextual Memory Virtualisation: DAG-Based State Management and Structurally Lossless Trimming for LLM Agents

Resumen Técnico: Virtualización de Memoria Contextual (CMV)

1. El Problema: Ineficiencia en Sesiones Extendidas de LLM

Los agentes de LLM (como los de codificación) acumulan un "estado" significativo dentro de su ventana de contexto durante sesiones de trabajo prolongadas. Este estado incluye mapeos arquitectónicos, decisiones de compensación, convenciones de códigobase y entendimiento profundo del proyecto.

• Pérdida de Estado: Cuando la ventana de contexto se llena, los sistemas nativos (ej. /compact en Claude Code) realizan una compresión con pérdida (lossy compaction). Resumir 132k tokens de estado acumulado a 2.3k tokens (una reducción del 98%) descarta el entendimiento matizado construido durante la sesión.
• Ineficiencia Económica y Temporal: Cada nueva sesión comienza desde cero, obligando al modelo a volver a "construir" el entendimiento del códigobase, lo que implica un costo computacional y de tokens repetido y evitable.
• Limitaciones de Enfoques Existentes:
  • RAG (Generación Aumentada por Recuperación): Añade documentos pero no preserva el estado conversacional.
  • MemGPT: Gestiona memoria mediante paginación pero está limitado a una sola sesión y depende del modelo para gestionar su propia memoria.
  • Plugins de Memoria: Persisten hechos resumidos pero pierden el matiz conversacional completo.
  • Utilidades Nativas: Carecen de control de versiones, seguimiento de linaje o limpieza de contexto estructurada.

2. Metodología y Propuesta: Virtualización de Memoria Contextual (CMV)

El autor propone CMV, un sistema que trata el entendimiento acumulado del LLM como un estado controlado por versiones, inspirándose en la memoria virtual de los sistemas operativos.

A. Modelo de Estado Basado en DAG (Grafo Acíclico Dirigido)
En lugar de una línea temporal lineal, la historia de la sesión se modela como un grafo $G = (V, E)$:

• Nodos (Snapshots): Copias inmutables del registro de conversación (JSONL) en un punto específico, anotadas con metadatos.
• Aristas (Branches): Representan sesiones de trabajo independientes bifurcadas desde un snapshot.
• Operaciones Clave:
  • Snapshot: Captura el estado actual como un "commit" raíz.
  • Branch: Crea una nueva sesión desde un snapshot (con o sin recorte).
  • Trim: Captura, recorta y lanza una nueva sesión en un solo paso.
  • Tree: Visualiza el linaje completo (similar a git log --graph).
• Beneficio: Permite que un usuario "congele" un entendimiento arquitectónico (ej. 40 min de trabajo) y cree ramas paralelas para autenticación, refactorización o rendimiento sin repetir la fase de construcción de contexto.

B. Algoritmo de Recorte Estructuralmente Sin Pérdidas (Three-Pass Trimming)
El desafío técnico es reducir la carga de tokens sin perder el entendimiento sintetizado del modelo. El algoritmo elimina el "bloat" mecánico (salidas de herramientas crudas, imágenes base64, metadatos) preservando verbatim cada mensaje de usuario y respuesta de asistente.

El algoritmo opera en tres pasadas sobre registros JSONL:

1. Paso 1 (Detección de Límites): Escanea líneas crudas para detectar marcadores de compresión nativa (sin analizar JSON completo) para identificar dónde comienza la historia resumada.
2. Paso 2 (Colección de IDs): Recopila los IDs de las llamadas a herramientas (tool use) que ocurrieron antes del límite de compresión. Esto es crucial para detectar resultados huérfanos.
3. Paso 3 (Procesamiento y Recorte): Aplica reglas de filtrado:
   • Descarte: Todo contenido antes del último límite de compresión (ya resumado), metadatos de archivo, y bloques de imágenes base64.
   • Stubbing (Acortamiento): Si el contenido de una herramienta supera un umbral (ej. 500 caracteres), se reemplaza por un marcador [Trimmed: ~N chars], preservando los metadatos (ruta de archivo, comando) pero eliminando el payload masivo.
   • Manejo de Huérfanos: Si una llamada a herramienta fue eliminada en el Paso 1, pero su resultado existe después del límite, el resultado se elimina silenciosamente para evitar errores de validación de la API (ya que el ID de la llamada ya no existe).
   • Eliminación de Bloques de Pensamiento: Se eliminan las firmas criptográficas no portátiles de los bloques de "pensamiento".

3. Resultados y Evaluación Económica

Se realizó un estudio de caso con un solo usuario en 76 sesiones reales de codificación con Claude Opus 4.6.

• Reducción de Tokens:
  • Reducción media del 20% en todos los casos.
  • Reducción máxima del 86% en sesiones con mucha sobrecarga mecánica.
  • En sesiones "mixtas" (uso intensivo de herramientas, >15% de bytes de resultados), la reducción media fue del 39%.
• Viabilidad Económica (Análisis de Costos):
  • El recorte invalida la caché de prompts, incurriendo en una penalización de "falta de caché" (cold cache) en el primer turno.
  • Punto de Equilibrio (Break-even): Las sesiones con reducciones significativas recuperan la penalización de la caché en muy pocos turnos.
    • Sesiones mixtas: Punto de equilibrio promedio en 10 turnos.
    • Sesiones generales: Punto de equilibrio promedio en 35 turnos.
  • Para usuarios con suscripción plana, el beneficio es puramente la extensión de la ventana de contexto efectiva, evitando límites de tasa.
• Costo Oculto Evitado: El mayor valor no es el ahorro por recorte, sino evitar la reconstrucción de contexto. Bifurcar desde un snapshot evita los 10-20 turnos y 15-30 minutos necesarios para que el modelo vuelva a entender el códigobase desde cero.

4. Contribuciones Clave

1. Modelo de Estado DAG: Formaliza la historia conversacional como un sistema de control de versiones, permitiendo ramas, linaje y reutilización de contexto entre sesiones independientes.
2. Algoritmo de Recorte Sin Pérdidas: Un método de tres pasadas que reduce tokens eliminando ruido estructural (herramientas, imágenes) manteniendo la integridad conversacional y la corrección de la API.
3. Análisis Empírico de Costos: Demuestra que, incluso con penalizaciones de caché, el recorte es económicamente viable y que el modelo de ramas elimina costos de reconstrucción mucho mayores.
4. Implementación de Referencia: Código abierto disponible para Claude Code, demostrando que la gestión de estado persistente es posible en la capa de herramientas sin esperar mejoras en el modelo base.

5. Significado y Limitaciones

• Significado: CMV demuestra que no es necesario esperar a ventanas de contexto infinitas o modelos más inteligentes para resolver la efimeridad del contexto. Se puede solucionar a nivel de herramienta, tratando el contexto como un recurso persistente y versionado. Sugiere la necesidad de un "Sistema Operativo para Agentes" (AIOS) que gestione nativamente el estado conversacional persistente.
• Limitaciones:
  • El recorte es estructural, no semántico. Si un resultado de herramienta recortado es crítico para un razonamiento futuro, el modelo podría alucinar o pedir volver a leer el archivo (aunque se preserva el resumen del asistente).
  • La evaluación es un estudio de caso de un solo usuario; la generalización a otros patrones de uso o estilos de codificación requiere más investigación.
  • La estimación de tokens basada en bytes sobreestima la reducción en sesiones con muchas imágenes (debido a la facturación fija de tokens de visión).

En conclusión, el artículo presenta un marco robusto para transformar la gestión de contexto de los LLM de un proceso lineal y efímero a uno persistente, versionado y optimizado, mejorando tanto la eficiencia económica como la productividad del usuario.