Resumen Técnico: Activity Frames: Compilación Determinista de Pantalla-Actividad para la Memoria y Replay de Agentes

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) actuales sufren un déficit crítico de memoria: retienen lo que los usuarios dicen (historial de conversación), pero carecen de un registro de lo que los usuarios hacen (memoria episódica conductual). Si bien las tecnologías de captura de pantalla (p. ej., Microsoft Recall, OpenAI's Chronicle) han convertido la recolección de datos brutos en un commodity, el consumo de estos datos sigue siendo ineficiente. Las estrategias existentes dependen de:

1. Búsqueda en Bruto (Raw Search): Alimentar al agente con listas planas de filas de instantáneas, lo que incurre en costos masivos de tokens (p. ej., ~126k tokens por un solo día) y obliga al modelo a realizar la sesionización y la contabilidad de duración durante la inferencia.
2. Resumen por LLM: Comprimir los datos mediante modelos generativos, lo que introduce no determinismo, costos por ejecución, degradación de la fiabilidad en contextos largos y el riesgo de alucinar actividades que nunca ocurrieron.

Ninguno de estos enfoques produce una memoria que sea cacheable, mecánicamente auditable o confiable. El artículo postula que el componente faltante es la compilación determinista: un pipeline que transforma flujos de captura de pantalla en marcos de actividad estructurados y tipados sin que haya un modelo en el bucle.

2. Metodología: El Compilador de Activity Frames

El sistema propuesto es un pipeline determinista, de cero modelos, que compila datos de captura de pantalla pasiva en un esquema estructurado.

2.1 El Esquema de Dos Niveles

El sistema emplea un esquema que separa estrictamente los hechos medidos de las interpretaciones inferidas:

• Nivel 1 (Medido): Producido enteramente por código determinista que lee la base de datos de captura. Los campos incluyen aplicación, sitio (host de URL), tiempos de inicio/fin, tiempo activo basado en permanencia (dwell), volumen de entrada (pulsaciones de teclas/clics) y punteros de evidencia hacia las filas originales. Este nivel no contiene etiquetas de intención.
• Nivel 2 (Inferido): Una extensión opcional para que las herramientas añadan interpretación (p. ej., etiquetas de tarea). Este nivel está estrictamente en cuarentena: el contenido inferido debe estar etiquetado con su namespace y nivel de confianza (alto/medio/especulativo), y vinculado a evidencia medida específica. Los consumidores pueden eliminar este nivel para dejar un documento puramente medido y válido.

2.2 Reglas de Compilación Determinista

El compilador procesa flujos de captura impulsados por eventos (instantáneas ante interacciones, cambios de pantalla y latidos periódicos) utilizando reglas específicas para segmentar y enriquecer los datos:

• Sesionización: Los frames son extensiones de atención delimitadas por (aplicación, sitio).
• Crédito de Permanencia (Dwell Crediting): El tiempo activo se calcula como min(∆t, 90s), donde ∆t es la brecha hasta el siguiente frame. Esto contabiliza el tiempo de lectura/observación pero limita el crédito para evitar la inflación durante paros en la captura.
• Fusión de Parpadeos (Flicker Merging): Los desvíos cortos (A → B → A donde B ≤ 20s) se fusionan en un solo frame, registrando B como una interrupción en lugar de una nueva sesión.
• Enriquecimiento: El sistema repara defectos de fiabilidad en los datos brutos, como la reatribución de eventos obsoletos a la instantánea más cercana, la resolución de clics anónimos contra árboles de elementos y el manejo de discrepancias de disposición de teclado mediante mapas de operadores explícitos.
• Tipado de Entidades: Las URLs se mapean a referencias tipadas (p. ej., pull_request, profile, email) usando parsers deterministas. Las URLs no coincidentes recurren a una referencia genérica con el dominio, asegurando que no haya pérdida de datos.

2.3 Implementación

La implementación de referencia es un paquete de Python sin dependencias que cuenta con:

• Un motor de captura local (registra el foco, títulos, URLs, árboles de accesibilidad y entradas a una base de datos SQLite local).
• Un compilador que emite JSON, YAML, Markdown y bloques de contexto compactos.
• Un servidor MCP (Model Context Protocol) que expone herramientas para la recuperación de contexto, resúmenes de actividad y detección de patrones.

3. Resultados Clave

El sistema fue evaluado en un corpus de un solo usuario de 61 días de calendario (43 días activos), que comprende ~110k filas de instantáneas y 214k eventos de entrada.

3.1 Costo de Tokens y Eficiencia

• Compresión: Compilar un día completo de captura bruta (2,066 filas) en un bloque de contexto listo para prompts reduce el conteo de tokens en 86× (de 126,812 tokens a 1,469 tokens).
• Latencia: La compilación de un día completo toma una mediana de 68 ms en una laptop de consumo.
• Reproducibilidad: La salida es byte-idéntica entre ejecuciones, lo que permite el cacheo y la auditoría mecánica.

3.2 Respuesta a Preguntas (QA) de Abajo en el Tiempo

Un oráculo SQL independiente generó respuestas de verdad fundamental para 64 preguntas a lo largo de 8 días. Se probaron dos modelos (Claude Sonnet 4.5 y Opus 4.5) sobre tres representaciones: filas brutas, resúmenes por LLM y los activity frames compilados.

• Precisión: El bloque compilado logró un 98.4% de precisión en ambos niveles de modelos.
  • Filas brutas: 82.1% (Sonnet) / 91.1% (Opus).
  • Resúmenes por LLM: 66.1% (Sonnet) / 80.4% (Opus).
• Alucinación: Ambos modelos lograron 0% de alucinación en pruebas de "hechos ausentes" (negar aplicaciones/sitios inexistentes) en todas las representaciones.
• Errores de Magnitud: Los resúmenes por LLM fallaron significativamente en magnitudes de duración (p. ej., errando en la declaración de minutos activos por un promedio de 135% en Sonnet), mientras que el error del bloque compilado fue insignificante (7.3%).
• Independencia del Nivel de Modelo: El bloque compilado permitió que un modelo de nivel medio (Sonnet) igualara el rendimiento de un modelo de frontera (Opus), mientras que los datos brutos y los resúmenes mostraron una brecha significativa entre niveles.

3.3 Ratio de Overhead de Rutina ($R$) y Recurrencia ($h$)

El compilador actúa como un instrumento de costo de la demanda, midiendo parámetros previamente asumidos pero no medidos en modelos de costo de agentes:

• Ratio de Overhead de Rutina ($R$): La relación de tokens requeridos para que un agente redeiv de una rutina versus el replay de un script compilado.
  • $R$ Operacional (Plan Protegido): Mediana de 60× (inyectar un plan de habilidad protegido cuesta ~1/60 de la derivación).
  • $R$ Techo (Script Mínimo): Mediana de 343× (contenido de información puro).
• Recurrencia de Rutina ($h$): La fracción de pasos de acción que caen en rutinas recurrentes y delegables.
  • Tasa Bruta: 83.1% (dominada por la microestructura de entrada genérica).
  • Tasa Delegable ($h_{específica}$): 9.0% en la muestra y 7.7% fuera de la muestra (holdout temporal). Esto representa la fracción de trabajo que es verdaderamente repetible y delegable.

4. Significado y Reivindicaciones

El artículo argumenta que la compilación determinista transforma la memoria episódica de un proceso pesado en inferencia y poco fiable en una pieza de infraestructura.

• Confianza y Auditabilidad: Al separar los hechos medidos de las etiquetas inferidas y proporcionar punteros de evidencia a las filas originales, el sistema crea una memoria mecánicamente auditable y resistente al envenenamiento o la alucinación.
• Eficiencia de Costos: El sistema permite que los agentes respondan preguntas sobre la actividad del usuario con alta precisión utilizando un bloque de contexto que cabe dentro de los límites estándar de tokens, eliminando la necesidad de una sumarización no determinista costosa o vertidos de datos brutos.
• Medición de la Demanda: El artículo proporciona las primeras mediciones empíricas del Ratio de Overhead de Rutina ($R$) y la recurrencia de rutina ($h$) derivadas de la actividad humana pasiva en lugar de despliegues de agentes. Estas métricas sugieren que, si bien una parte significativa del trabajo de escritorio es repetitivo (9–13% delegable), el costo de derivar estas rutinas mediante agentes basados en pantalla es órdenes de magnitud superior al replay determinista.
• Modestia de Alcance: El autor señala explícitamente que estos resultados se basan en un corpus de un solo usuario y un motor de captura específico. No pretende que las métricas sean constantes universales de la población, sino una prueba de concepto para una nueva clase de instrumentos de la demanda. La afirmación de determinismo se limita al camino de compilación sobre la captura almacenada, reconociendo que el paso inicial de OCR (percepción) involucra un modelo.

En conclusión, el artículo propone que el código determinista "aburrido" es la base necesaria para la memoria de los agentes, permitiendo el cacheo, la auditoría y el replay rentable, mientras reserva los modelos generativos para la capa opcional y en cuarentena de la interpretación.