Resumen Técnico: PEEK - Mapa de Contexto como Memoria de Orientación para Agentes LLM de Contexto Largo

Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) operan cada vez más sobre contextos externos largos y recurrentes, como corpus de documentos o repositorios de código, donde los datos externos permanecen estáticos mientras cambian las tareas. Los enfoques existentes para gestionar estos contextos se dividen en cuatro categorías:

1. Chat/Historial Compartido: Preserva la trayectoria del agente pero acumula contexto ruidoso y de baja densidad.
2. Compresión del Historial: Resume la actividad pasada pero descarta el conocimiento reutilizable sobre el contexto externo en sí mismo.
3. Acceso Pasivo (RAG, Descarga, Compresión): Proporciona acceso a material crudo o condensado, pero carece de un artefacto curado y persistente sobre la estructura y organización del contexto.
4. Aprendizaje por Prompt: Curar estrategias a nivel de tarea, pero no mantiene conocimiento contextual sobre el entorno externo recurrente.

Los autores argumentan que existe una brecha crítica: la falta de un artefacto acotado y gestionado que preserve conocimiento de orientación reutilizable (por ejemplo, qué contiene el contexto, cómo está organizado, qué entidades o constantes son útiles) para cargas de trabajo repetidas sobre el mismo contexto.

Metodología: Sistema PEEK

Los autores presentan PEEK, un sistema que mantiene un Mapa de Contexto—un artefacto pequeño y de tamaño constante que reside en el prompt del sistema del agente. Este mapa actúa como una "memoria de orientación", proporcionando al agente una "mirada" persistente hacia el contexto externo. El sistema se inspira en las memorias caché de hardware y los índices de bases de datos, pero opera a nivel de agente, centrándose en el significado curado en lugar de la compresión del estado de los tokens.

PEEK emplea una política de caché programable compuesta por tres componentes modulares que actualizan el mapa tras la ejecución de cada consulta:

1. Destilador: Analiza la trayectoria de ejecución del agente (pasos de razonamiento, llamadas a herramientas, observaciones) para extraer conocimiento contextual transferible. Distingue entre trabajo de orientación (entender la estructura del contexto, que es reutilizable) y trabajo específico de la tarea (responder una pregunta específica, que no lo es). Genera como salida un diagnóstico, etiquetas para elementos existentes del mapa y candidatos para nuevas entradas de caché.
2. Cartógrafo: Traduce la salida del Destilador en operaciones de edición estructuradas (AGREGAR, ELIMINAR, REEMPLAZAR) para el Mapa de Contexto. Asegura que las actualizaciones sean locales, trazables y desduplicadas, evitando que el mapa se vuelva ruidoso o duplicado.
3. Expulsor: Hace cumplir un presupuesto fijo de tokens ($B$) para el mapa. Utiliza una estrategia de expulsión basada en prioridades, eliminando elementos de menor valor (por ejemplo, esquemas de análisis, patrones de error) antes que los de mayor valor (por ejemplo, constantes de dominio, comprensión del contexto) cuando se excede el presupuesto.

El propio Mapa de Contexto está estructurado en secciones:

• Hoja de Ruta del Contexto: Un índice de contenido y ubicación.
• Comprensión del Contexto: Descripciones de alto nivel, entidades clave y relaciones.
• Constantes de Dominio: Valores exactos, fórmulas y esquemas.
• Resultados Reutilizables: Cálculos derivados aplicables a múltiples consultas.
• Esquema de Análisis: Estructuras de formato y delimitadores.

El sistema soporta un parámetro de "pasos de evolución" ($m$), permitiendo que el mapa se actualice para las primeras $m$ consultas y luego se congele para su reutilización, o que se actualice completamente en línea ($m=n$).

Contribuciones Clave

• Marco Conceptual: El artículo define el "Mapa de Contexto" como un cuadrante distinto en el espacio de diseño de la gestión de contextos, llenando la brecha del estado activo del contexto externo.
• Diseño del Sistema: PEEK desacopla la extracción de conocimiento (Destilador) de la edición estructural (Cartógrafo), una elección de diseño que, mediante ablación, se demuestra crítica para evitar que hechos específicos de la tarea contaminen la caché.
• Mecanismo de Eficiencia: Al mantener un mapa pequeño y de tamaño constante, PEEK evita el crecimiento superlineal de tokens asociado con el historial de chat compartido y la alta latencia de la compresión completa del contexto.

Resultados Experimentales

Los autores evaluaron PEEK en dos puntos de referencia: OOLONG (razonamiento y agregación de contexto largo) y CL-bench (aprendizaje de contexto). El agente base utilizado fue Modelos de Lenguaje Recursivos (RLM) con GPT-5-mini.

Mejoras de Rendimiento:

• Calidad: PEEK superó a todos los puntos de referencia, incluido el marco de aprendizaje por prompt de última generación (SOTA) ACE.
  • En OOLONG, PEEK mejoró las puntuaciones en un 6.3–34.0% sobre RLM y en un 7.8–15.0% sobre ACE.
  • En CL-bench, PEEK mejoró las tasas de resolución en un 6.0–14.0% y la precisión de la rúbrica en un 7.8–12.1% sobre RLM, y un 6.0% / 9.9% sobre ACE.
• Eficiencia (Iteraciones): PEEK requirió 93–145 iteraciones menos que ACE en OOLONG mientras lograba una mayor calidad. Ocupó consistentemente la región de alta calidad y baja iteración de la frontera de Pareto.
• Costo: PEEK incurrió en un 1.7–5.8× menor costo que ACE en OOLONG y un 1.4× menor costo en CL-bench. Esto se logró reduciendo el número de iteraciones y evitando los bucles de adaptación verbosos y pesados en tokens de ACE.

Generalización:

• Independencia del Modelo: Las ganancias fueron consistentes al cambiar el LLM base a GPT-5.5 y al Qwen3-Coder-Next-FP8 de código abierto.
• Independencia del Agente: PEEK mejoró el rendimiento al aplicarse a un agente base diferente, OpenAI Codex, demostrando que el mapa de contexto es un artefacto generalizable.

Estudios de Ablación:

• Eliminar el Destilador (usando una actualización monolítica) redujo el rendimiento en ~7.7%, confirmando la necesidad de separar el diagnóstico de la edición.
• Eliminar el Expulsor (congelando el mapa en el presupuesto) aún produjo ganancias sobre el RLM base, pero la política completa añadió una mejora adicional de ~10.2%, destacando el valor del mantenimiento activo.
• Variar el tamaño de la caché ($B$) mostró que la presencia de un mapa importa más que su tamaño exacto, con presupuestos pequeños (512 tokens) proporcionando mejoras significativas.

Significado y Afirmaciones

El artículo afirma que PEEK demuestra que un mapa de contexto ayuda a los agentes LLM de contexto largo a interactuar con contextos externos recurrentes de manera más precisa y eficiente. Los autores argumentan que:

1. El Conocimiento de Orientación es Transferible: A diferencia del historial de conversación crudo, el conocimiento sobre la estructura y organización de un corpus es reutilizable en diferentes tareas.
2. La Gestión Activa es Superior: Un artefacto pequeño, curado y mantenido activamente supera tanto a la recuperación pasiva (RAG) como a la acumulación no gestionada (Chat Compartido).
3. Compensación Costo-Calidad: PEEK logra una compensación costo-calidad superior, situándose en la frontera de Pareto donde otros métodos (como ACE) o bien cuestan significativamente más por una calidad inferior, o requieren más iteraciones para resultados similares.

Los autores concluyen que este enfoque abre una nueva agenda de investigación para la caché del lado del agente, distinta de las optimizaciones de caché KV a nivel de modelo, apuntando específicamente a la comprensión semántica de entornos externos persistentes. Señalan que el trabajo actual es un primer paso y solicitan futuros puntos de referencia que soporten nativamente consultas repetidas sobre el mismo contexto largo para poner a prueba aún más este paradigma.