Resumo Técnico: OSL-MR – Retenção de Memória com Segurança de Observabilidade

1. Definição do Problema

Agentes de linguagem de longo horizonte enfrentam um desafio fundamental de alocação de recursos: eles acumulam observações, traços de raciocínio e fatos recuperados que excedem as janelas de contexto finitas. Os sistemas de memória existentes geralmente dependem de pontuação heurística (ex: recência, relevância), otimização de recuperação ou compressão aprendida. No entanto, essas abordagens tratam amplamente a retenção de memória como um problema de decisão local, falhando em modelar explicitamente as consequências de longo prazo, como a perda de evidências futuras, custos de reaquisição e o risco de informações obsoletas sob observabilidade parcial realista.

Uma barreira crítica para resolver isso é a observabilidade. Os sinais necessários para avaliar a qualidade de uma decisão de retenção (ex: evidência de ouro, correção da resposta, frescor semântico) são frequentemente disponíveis apenas após a decisão ser tomada. Usar esses sinais durante a implantação cria uma vantagem de informação irrealista (acesso ao oráculo). Trabalhos anteriores não formularam explicitemente a retenção como um problema de otimização estocástica restrita que respeita a separação entre características observáveis online e supervisão disponível offline (OAS).

2. Metodologia: OSL-MR

Os autores propõem o OSL-MR (Observability-Safe Learning for Memory Retention), um framework que formula a retenção de memória como um problema de otimização sequencial restrito e o resolve por meio de uma abordagem orientada a dados que adere estritamente às restrições de observabilidade.

2.1 Formulação de Otimização Restrita

O problema é definido como a maximização da recompensa cumulativa esperada ao longo de um horizonte $T$ sujeito a um orçamento de armazenamento estrito $B_t$. A função de recompensa $r_t$ modela explicitamente:

• Utilidade da Evidência: Recompensas por atingir ($T^{hit}$) e alcançar a cobertura total ($F_t$) da evidência necessária.
• Custos: Penalidades por armazenamento ($\alpha_{store}$), evidência perdida ($\alpha_{miss}$), atrasos de reaquisição ($\alpha_{reacq}$) e uso de informação obsoleta ($\alpha_{stale}$).

Esta formulação destaca que a retenção é um problema de múltiplos passos e feedback atrasado. Um otimizador míope de passo único não consegue considerar como as escolhas atuais de retenção afetam a disponibilidade futura de evidências ou incorrem em penalidades atrasadas.

2.2 Separação de Observabilidade (OAS)

O framework impõe uma separação estrita entre:

• Entradas observáveis online: Contexto da consulta, metadados da memória, histórico de interação e recência. Estes estão disponíveis no momento da decisão.
• Supervisão disponível offline (OAS): Conjuntos de evidências de ouro, texto da resposta e frescor da verdade fundamental (ground-truth). Estes são usados apenas para treinamento e avaliação, nunca para inferência.

Isso garante que qualquer política aprendida seja implantável em sistemas reais sem exigir acesso ao oráculo para informações futuras.

2.3 Arquitetura de Dois Componentes

Para lidar com a intratabilidade da otimização exata sob observabilidade parcial, o OSL-MR utiliza dois componentes complementares:

1. Heurística de Pontuação Mista (Cold-Start & Prior):

   • Uma heurística leve e totalmente implantável que calcula uma pontuação de utilidade baseada em características temporais, de relevância, contexto e risco, subtraindo uma penalidade de tamanho.
   • Papel 1: Serve como uma linha de base forte e garante a funcionalidade do sistema durante a fase de "cold-start" antes que os dados de interação estejam disponíveis.
   • Papel 2: Atua como um prior indutivo estruturado. Sua pontuação é concatenada com as características online como entrada para o modelo de aprendizado, guiando o aprendiz sem introduzir novos sinais de supervisão.

2. Aprendiz de Evidência (Evidence Learner):

   • Treinado offline em logs de interação coletados pela heurística de Pontuação Mista.
   • Supervisão: Utiliza rótulos de pertinência de evidência de ouro ($y^{evid}_{t,i} = 1[m_{t,i} \in E_t]$) derivados de resultados realizados.
   • Treinamento: Otimiza uma perda de entropia cruzada binária ponderada para prever se uma memória faz parte do conjunto de evidências necessário para uma determinada consulta.
   • Implantação: O modelo treinado é congelado e implantado, dependendo exclusivamente de características online (concatenadas com o prior da Pontagem Mista) para inferência.

2.4 Implantação em Estágios

O sistema opera de maneira prática em estágios:

1. Fase 1: A Pontuação Mista roda sozinha, registrando todas as interações.
2. Fase 2: Assim que dados suficientes são coletados, o Aprendiz de Evidência é treinado offline usando rótulos de ouro.
3. Fase 3: O aprendiz congelado substitui a heurística, mantendo as restrições de observabilidade estritas.

3. Principais Contribuições

1. Formalização: O primeiro trabalho a formalizar a retenção de memória como um problema de otimização estocástica restrita para agentes de longo horizonte, modelando explicitamente utilidade de evidência, custos atrasados (perda, reaquisição, obsolescência) e observabilidade parcial.
2. Framework OSL-MR: Um novo framework de aprendizado que impõe uma estrita separação online/OAS, garantindo a implantabilidade. Ele integra uma heurística de Pontuação Mista (como baseline e prior) com um aprendiz de evidência treinado a partir de supervisão direta de evidência.
3. Validação Empírica: Demonstrado nos benchmarks LoCoMo e LongMemEval, mostrando superação consistente sobre métodos baseados em recência, pontuação estilo Generative Agents e baselines de clonagem de comportamento, particularmente sob orçamentos de memória apertados.

4. Resultados Experimentais

Experimentos foram conduzidos em dois benchmarks públicos de longo horizonte com variados orçamentos de memória (apertados a amplos).

• Desempenho: O OSL-MR alcançou consistentemente um F1 de Evidência e Recompensa mais altos do que todos os baselines (Recência, Generative Agents, Pontuação Mista e Clonagem de Comportamento).
  • Exemplo (LoCoMo, Orçamento 128): O OSL-MR alcançou um F1 de 0,302 e Recompensa de 305,16, superando significativamente a Pontuação Mista (F1 0,069, Recompensa 132,48) e variantes de Generative Agents (F1 < 0,01).
• Eficiência de Orçamento: Ao contrário dos baselines heurísticos que saturam o orçamento com itens de baixa utilidade (alta ocupação), o OSL-MR mantém uma ocupação menor enquanto alcança maior precisão. Ele descarta seletivamente memórias marginais, priorizando a qualidade da evidência sobre a quantidade.
• Qualidade da Supervisão: A supervisão direta de evidência (OSL-MR) superou significativamente a Clonagem de Comportamento (BC-learner), que imitava uma política de "professor" não implantável. Isso confirma que aprender diretamente de rótulos de evidência de ouro é mais eficaz do que imitar heurísticas melhoradas que dependem de informação de oráculo.
• Ablação (Prior da Pontuação Mista): Remover o prior da Pontuação Mista das características de entrada resultou em uma queda na Precisão (ex: -20% no LongMemEval com orçamento 256), enquanto o Recall permaneceu estável. Isso demonstra o papel do prior em melhorar a eficiência de seleção sem sacrificar a cobertura.
• Robustez: A análise de sensibilidade através de várias configurações de custo (variando penalidades de perda, reaquisição e obsolescência) mostrou que o OSL-MR permanece como o método não-oráculo de melhor desempenho, indicando robustez a diferentes trade-offs de custo.

5. Significância e Alegações

O artigo afirma que o OSL-MR fornece uma perspectiva unificada conectando pontuação heurística, otimização e aprendizado sob uma restrição de observabilidade consistente.

• Significância Teórica: Aborda a lacuna em trabalhos anteriores onde a retenção era tratada como uma decisão local ou uma otimização de passo único. Ao enquadrar como um problema de decisão sequencial de múltiplos passos, o OSL-MR captura a natureza essencial de longo horizonte da retenção de memória.
• Significância Prática: A separação estrita de observabilidade garante que as políticas aprendidas sejam implantáveis em agentes interativos do mundo real sem exigir informações futuras.
• Limitações e Trabalho Futuro: Os autores observam que o prior da Pontuação Mista é atualmente desenhado manualmente e que a estimativa de frescor depende de decaimento baseado em tipo. O trabalho futuro visa automatizar o aprendizado dos pesos do prior e desenvolver uma estimativa de frescor mais principiológica.

Em resumo, o OSL-MR demonstra que, ao formular a retenção de memória como um problema de otimização restrita e separar estritamente a inferência online da supervisão offline, os agentes podem aprender a reter as memórias "certas" para tarefas de longo horizonte, superando tanto heurísticas estáticas quanto métodos de aprendizado dependentes de oráculo.