Resumo Técnico: Activity Frames: Compilação Determinística de Tela-Atividade para Memória e Replay de Agentes

1. Declaração do Problema

Os agentes de Grandes Modelos de Linguagem (LLMs) atuais sofrem de um déficit crítico de memória: eles retêm o que os usuários dizem (histórico de conversa), mas carecem de um registro do que os usuários fazem (memória episódica comportamental). Embora as tecnologias de captura de tela (ex: Microsoft Recall, OpenAI's Chronicle) tenham tornado a coleta de dados brutos uma commodity, o consumo desses dados permanece ineficiente. As estratégias existentes baseiam-se ou em:

1. Busca Bruta (Raw Search): Alimentar listas planas de linhas de snapshots ao agente, o que acarreta custos massivos de tokens (ex: ~126k tokens para um único dia) e força o modelo a realizar a sessão e a contagem de duração durante a inferência.
2. Sumarização por LLM: Comprimir dados via modelos generativos, o que introduz não-determinismo, custos por execução, degradação de confiabilidade em contextos longos e o risco de alucinar atividades que nunca ocorreram.

Nenhuma das abordagens produz uma memória que seja cacheável, mecanicamente auditável ou confiável. O artigo postula que o componente ausente é a compilação determinística: um pipeline que transforma fluxos de captura bruta em frames de atividade estruturados e tipados sem qualquer modelo no loop.

2. Metodologia: O Compilador de Activity Frames

O sistema proposto é um pipeline determinístico de zero-modelo que compila dados de captura de tela passiva em um esquema estruturado.

2.1 O Esquema de Dois Níveis

O sistema emprega um esquema que separa estritamente fatos medidos de interpretações inferidas:

• Nível 1 (Medido): Produzido inteiramente por código determinístico que lê o banco de dados de captura. Os campos incluem aplicação, site (host da URL), tempos de início/fim, tempo ativo baseado em permanência (dwell), volume de entrada (teclas/cliques) e ponteiros de evidência de volta para as linhas brutas. Este nível não contém rótulos de intenção.
• Nível 2 (Inferido): Uma extensão opcional para ferramentas adicionarem interpretação (ex: rótulos de tarefas). Este nível é estritamente isolado: o conteúdo inferido deve ser nomeado (namespaced), possuir tag de confiança (alta/média/especulativa) e estar vinculado a uma evidência medida específica. Os consumidores podem remover este nível para deixar um documento válido e puramente medido.

2.2 Regras de Compilação Determinística

O compilador processa fluxos de captura orientados a eventos (snapshots por interação, mudanças de tela e batimentos cardíacos periódicos) usando regras específicas para segmentar e enriquecer os dados:

• Sessionização: Os frames são extensões delimitadas de atenção chaveadas por (aplicação, site).
• Crédito de Permanência (Dwell Crediting): O tempo ativo é calculado como min(∆t, 90s), onde ∆t é o intervalo até o próximo frame. Isso contabiliza o tempo de leitura/visualização, mas limita o crédito para evitar inflação durante paradas na captura.
• Fusão de Flicker (Flicker Merging): Desvios curtos (A → B → A onde B ≤ 20s) são fundidos em um único frame, com B registrado como uma interrupção em vez de uma nova sessão.
• Enriquecimento: O sistema repara defeitos de confiabilidade nos dados brutos, como a reatribuição de eventos obsoletos ao snapshot mais próximo, resolução de cliques anônimos contra árvores de elementos e tratamento de incompatibilidades de layout de teclado via mapas de operadores explícitos.
• Tipagem de Entidade: URLs são mapeadas para referências tipadas (ex: pull_request, profile, email) usando parsers determinísticos. URLs não correspondentes retornam para uma referência genérica com o domínio, garantindo que não haja perda de dados.

2.3 Implementação

A implementação de referência é um pacote Python sem dependências que apresenta:

• Um motor de captura local (gravando foco, títulos, URLs, árvores de acessibilidade e entradas para um banco de dados SQLite local).
• Um compilador que emite JSON, YAML, Markdown e blocos de contexto compactos.
• Um servidor MCP (Model Context Protocol) que expõe ferramentas para recuperação de contexto, resumos de atividade e detecção de padrões.

3. Resultados Principais

O sistema foi avaliado em um corpus de usuário único de 61 dias de calendário (46 dias ativos), compreendendo ~110k linhas de snapshots e 214k eventos de entrada.

3.1 Custo de Tokens e Eficiência

• Compressão: Compilar um dia inteiro de captura bruta (2.066 linhas) em um bloco de contexto pronto para prompt reduz a contagem de tokens em 86× (de 126.812 tokens para 1.469 tokens).
• Latência: A compilação de um dia inteiro leva uma mediana de 68 ms em um laptop de consumo.
• Reprodutibilidade: A saída é byte-idêntica entre execuções, permitindo cache e auditoria mecânica.

3.2 Questionamento e Resposta (QA)

Um oráculo SQL independente gerou respostas de verdade fundamental (ground-truth) para 64 perguntas ao longo de 8 dias. Dois modelos (Claude Sonnet 4.5 e Opus 4.5) foram testados em três representações: linhas brutas, resumos por LLM e os frames de atividade compilados.

• Precisão: O bloco compilado alcançou 98,4% de precisão em ambos os níveis de modelo.
  • Linhas brutas: 82,1% (Sonnet) / 91,1% (Opus).
  • Resumos por LLM: 66,1% (Sonnet) / 80,4% (Opus).
• Alucinação: Ambos os modelos atingiram 0% de alucinação em sondagens de "fato ausente" (negação de apps/sites inexistentes) em todas as representações.
• Erros de Magnitude: Os resumos por LLM falharam significativamente em magnitudes de duração (ex: declarando incorretamente minutos ativos em média 135% para o Sonnet), enquanto o erro do bloco compilado foi negligenciável (7,3%).
• Independência de Nível de Modelo: O bloco compilado permitiu que um modelo de nível médio (Sonnet) igualasse o desempenho de um modelo de fronteira (Opus), enquanto os dados brutos e os resumos mostraram uma lacuna significativa de desempenho entre os níveis.

3.3 Razão de Overhead de Rotina ($R$) e Recorrência ($h$)

O compilador atua como um instrumento de custo de demanda, medindo parâmetros anteriormente assumidos mas não medidos em modelos de custo de agentes:

• Razão de Overhead de Rotina ($R$): A razão de tokens necessários para um agente re-derivar uma rotina versus reproduzir um script compilado.
  • $R$ Operacional (Plano Guardado): Mediana de 60× (injetar um plano de habilidade guardado custa ~1/60 do custo de re-derivação).
  • $R$ de Teto (Script Mínimo): Mediana de 343× (conteúdo de informação puro).
• Recorrência de Rotina ($h$): A fração de passos de ação que caem em rotinas recorrentes e delegáveis.
  • Taxa Bruta: 83,1% (dominada pela microestrutura de entrada genérica).
  • Taxa Delegável ($h_{específica}$): 9,0% na amostra e 7,7% fora da amostra (holdout temporal). Isso representa a fração do trabalho que é verdadeiramente repetível e delegável.

4. Significância e Alegações

O artigo argumenta que a compilação determinística transforma a memória episódica de um processo pesado em inferência e pouco confiável em uma peça de infraestrutura.

• Confiança e Auditabilidade: Ao separar fatos medidos de rótulos inferidos e fornecer ponteiros de evidência para as linhas brutas, o sistema cria uma memória que é mecanicamente auditável e resistente a envenenamento ou alucinação.
• Eficiência de Custo: O sistema permite que agentes respondam perguntas sobre a atividade do usuário com alta precisão usando um bloco de contexto que cabe dentro dos limites padrão de tokens, eliminando a necessidade de sumarização cara e não-determinística ou despejos de dados brutos.
• Medição de Lado da Demanda: O artigo fornece as primeiras medições empíricas da Razão de Overhead de Rotina ($R$) e da recorrência de rotina ($h$) derivadas de atividade humana passiva, em vez de execuções de agentes. Essas métricas sugerem que, embora uma parte significativa do trabalho de desktop seja repetitiva (9–13% delegável), o custo de re-derivar essas rotinas via agentes baseados em tela é ordens de magnitude superior ao replay determinístico.
• Modéstia de Escopo: O autor observa explicitamente que estes resultados baseiam-se em um corpus de usuário único e em um motor de captura específico. Eles não alegam que estas métricas sejam constantes universais da população, mas sim uma prova de conceito para uma nova classe de instrumentos de lado da demanda. A alegação de determinismo é limitada ao caminho de compilação sobre a captura armazenada, reconhecendo que o passo inicial de OCR (percepção) envolve um modelo.

Em conclusão, o artigo propõe que o código determinístico "tedioso" é a fundação necessária para a memória de agentes, permitindo cache, auditoria e replay de baixo custo, enquanto reserva modelos generativos para a camada opcional e isolada de interpretação.