Resumen Técnico: Teoría de la Compactación de Contexto

Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) poseen una ventana de contexto limitada, lo que restringe la cantidad de entrada que pueden procesar en una sola inferencia. Los agentes de IA, que operan mediante llamadas iterativas a los LLM y la acumulación de estados (consultas del usuario, respuestas del LLM y resultados de herramientas), inevitablemente exceden este límite durante sesiones de larga duración. Para poder seguir operando, los agentes deben emplear la compactación de contexto: un proceso para resumir el estado del agente o seleccionar un subconjunto del mismo para que quepa dentro de la ventana de contexto.

Aunque la compactación de contexto es ubicua en los agentes de producción (por ejemplo, Claude Code, Codex, Cursor), no ha recibido esencialmente ningún análisis formal. El trabajo existente se basa en evaluaciones empíricas de la precisión en tareas posteriores, careciendo de garantías formales sobre qué información se preserva o se pierde. Además, los agentes enfrentan una restricción secundaria conocida como "podredumbre de contexto" (context rot), donde la calidad del razonamiento se degrada a medida que crece la longitud de la entrada, lo que hace necesaria la compactación incluso antes de alcanzar el límite duro de la ventana de contexto. El problema central es que la información descartada durante la compactación se pierde permanentemente para el LLM en pasos futuros, lo que potencialmente puede causar que el agente tome decisiones inconsistentes con el historial original de la conversación.

Metodología

Los autores inician un estudio formal de la compactación de contexto introduciendo un marco teórico basado en juegos de dos jugadores. Este marco abstrae el estado interno del agente como un conjunto de elementos de información discretos en lugar de una secuencia de tokens.

1. Marco Teórico: Dos Juegos

El artículo define dos juegos distintos para modelar las dos principales estrategias algorítmicas utilizadas por los agentes contemporáneos:

• El Juego de Selección de Contexto: Modela algoritmos que seleccionan un subconjunto del estado acumulado del agente para retenerlo.

  • Jugadores: Un selector (el algoritmo de compactación) y un adversario (que representa las necesidades de información futuras).
  • Mecanismo: El adversario fija un universo de elementos $X$. El selector elige un subconjeto $S \subseteq X$ sujeto a un presupuesto de tamaño $B$. El adversario luego emite una consulta $q$, y el selector debe responderla usando solo $S$.
  • Regímenes de Consulta: El estudio considera tanto regímenes estocásticos (consultas extraídas de una distribución conocida) como regímenes de adversario ciego (el adversario elige la peor consulta posible sin haber visto el subconjunto seleccionado).

• El Juego de Generación de Contexto: Modela algoritmos que resumen el estado emitiendo un mensaje arbitrario de longitud acotada.

  • Mecanismo: Un generador (condensador) mapea el universo de elementos $X$ a un mensaje $m$ de longitud máxima $B$. Un intérprete utiliza entonces $m$ y la consulta $q$ para producir una respuesta.
  • Alcance: Esta clase incluye la sumarización basada en LLM, donde el condensador genera nuevos tokens (un resumen) y el intérprete es la llamada subsiguiente al LLM. Esta clase es estrictamente más poderosa que la selección, ya que permite reordenar, generar nuevos tokens y codificar la información de manera más eficiente que simplemente retener un subconjunto.

2. Conexión con la Complejidad de Comunicación

Los autores establecen una equivalencia rigurosa entre el Juego de Generación de Contexto y la complejidad de comunicación unidireccional (one-way communication complexity).

• La Equivalencia: El generador actúa como "Alice" (emisor) y el intérprete actúa como "Bob" (receptor). El presupuesto mínimo requerido para que un algoritmo de generación responda a un conjunto de consultas con un error $\le \epsilon$ es exactamente igual a la complejidad de comunicación unidireccional aleatorizada del problema de comunicación inducido con un error $\epsilon$.
• Selección como Comunicación Restringida: El Juego de Selección de Contexto corresponde a una subclase restringida de protocolos unidireccionales donde el mensaje debe identificar explícitamente un subconjunto de elementos, y la respuesta es una función únicamente de ese subconjunto.

3. Estudio de Caso Empírico

Para validar el marco teórico, los autores presentan un estudio de caso evaluando un punto de conexión (endpoint) de compactación de contexto desplegado en producción (detallado en el Apéndice A).

• Configuración: El estudio registra un conjunto de elementos en el contexto del endpoint y le asigna la tarea de responder consultas de pertenencia a conjuntos.
• Referencia (Benchmark): La tasa de error del endpoint se compara contra un filtro de Bloom, que es teóricamente casi óptimo para la pertenencia a conjuntos dentro de un presupuesto fijo.
• Resultado: El endpoint desplegado responde a consultas de pertenencia con una tasa de error sustancialmente mayor que un filtro de Bloom del mismo tamaño. Los autores demuestran, mediante un experimento de control, que la información perdida durante la compactación de contexto es la causa de este error.

Contribuciones Clave y Resultados

1. Marco Formal: El artículo proporciona la primera definición formal de la compactación de contexto, distinguiendo entre selección (mantener un subconjunto del historial) y generación (crear un resumen).
2. Teorema de Equivalencia (Teorema 1): Los autores demuestran que el presupuesto mínimo de compactación de contexto para la generación es equivalente a la complejidad de comunicación unidireccional del problema inducido. Esto permite la transferencia directa de los límites conocidos de la complejidad de comunicación a la compactación de contexto.
3. Brecha entre Selección y Generación (Teorema 3): El artículo demuestra que existe un conjunto de consultas donde la generación requiere un presupuesto estrictamente menor que la selección. Específicamente, para un conjunto de $n$ elementos (donde $n=2^k$), un algoritmo de generación puede responder una consulta específica con cero error usando un presupuesto de $n$ bits, mientras que cualquier algoritmo de selección que logre cero error requiere un presupuesto de $n \log_2 n$ bits. En consecuencia, la brecha entre las dos estrategias es un factor de $\Theta(\log n)$.
4. Límites Inferiores para Problemas Específicos:
   • Pertenencia a Conjuntos: Los autores muestran que un filtro de Bloom es casi óptimo para las consultas de pertenencia a conjuntos.
   • Disjuntividad de Conjuntos: Para las consultas de disjuntividad de conjuntos (por ejemplo, verificar si un conjunto de dependencias intersecta con un conjunto de vulnerabilidades conocidas), el presupuesto requerido es de $\Omega(Nm)$ bits (donde $N$ es el número de elementos y $m$ es la longitud de bits de un elemento). Esto implica que, para tales consultas, la compactación de contexto no ofrece ventaja sobre el almacenamiento de los datos sin comprimir, ya que el límite inferior de la teoría de la información es demasiado alto para comprimir eficazmente sin perder la corrección.
5. Validación Empírica: El estudio de caso demuestra que los sistemas de producción actuales (específicamente el endpoint de compactación de contexto evaluado) funcionan significativamente peor que los óptimos teóricos (filtros de Bloom), lo que sugiere que las estrategias actuales de sumarización basadas en LLM no están aún optimizadas para la retención de información.

Significado y Reivindicaciones

El artículo afirma iniciar el estudio formal de la compactación de contexto, moviendo el campo de las heurísticas empíricas hacia las garantías de la teoría de la información.

• Guía de Diseño: La equivalencia con la complejidad de comunicación proporciona a los diseñadores de agentes un método para calcular el presupuesto mínimo requerido para un conjunto específico de consultas futuras. Si un problema tiene una alta complejidad de comunicación unidireccional (como la disjuntividad de conjuntos), el artículo argumenta que la compactación de contexto no puede reducir eficazmente el presupuesto sin incurrir en un alto error.
• Selección de Estrategia: La brecha identificada entre selección y generación sugiere que, para ciertas tareas, los agentes deberían priorizar la compactación basada en la generación (sumarización) sobre la compactación basada en la selección (truncamiento/poda) para lograr una mejor precisión dentro del mismo presupuesto de tokens.
• Limitaciones de los Sistemas Actuales: El estudio de caso resalta una brecha de rendimiento significativa entre la compactación de contexto implementada en producción y las estructuras de datos óptimas, sugiriendo que las implementaciones actuales descartan información crítica.

Los autores se mantienen modestos respecto al alcance de sus hallazgos, señalando que sus límites son de carácter informacional y no abordan la viabilidad computacional de alcanzar dichos límites (por ejemplo, si un LLM puede realmente computar el condensador óptimo). También identifican la compactación de contexto repetida (donde un agente compacta un estado que ya es un resumen) y los adversarios adaptativos (donde la consulta depende del resumen) como problemas abiertos para investigaciones futuras.