Resumo Técnico: Rosetta Memory (RoMem)

1. Definição do Problema: Descompasso de Memória Cross-LLM

O artigo aborda uma lacuna crítica na implantação de agentes de Large Language Model (LLM): a suposição de que os sistemas de memória são projetados para um único backbone estático. Na prática, os agentes frequentemente alternam entre diferentes LLMs (por exemplo, usando o Claude para codificação e o GPT para escrita, ou roteando etapas para diferentes modelos visando eficiência de custo). Os autores identificam que a memória escrita por um modelo frequentemente falha ao ser consumida efetivamente por outro devido a duas fontes primárias de descompasso:

1. Divergência no Lado da Escrita (Write-Side Divergence): Diferentes LLMs de origem, diante do mesmo estado, produzem ações diferentes e, portanto, armazenam conteúdos diferentes na memória.
2. Sensibilidade no Lado da Leitura (Read-Side Sensitivity): Mesmo entradas de memória semanticamente equivalentes podem levar a resultados de agentes diferentes quando lidas por diferentes LLMs de destino, devido a variações na sensibilidade ao prompt e na interpretação do contexto.

Os autores formalizam o Problema de Adaptação de Memória Cross-LLM: Como o sistema de memória de um agente pode se adaptar para que a memória escrita por um LLM de montante (upstream) ative efetivamente um LLM de jusante (downstream), independentemente dos modelos específicos envolvidos na trajetória? O objetivo é maximizar o retorno esperado em todas as possíveis atribuições de modelos em um pool heterogêneo, em vez de otimizar para um único backbone fixo.

2. Metodologia: Rosetta Memory (RoMem)

O RoMem desloca a perspectiva de "design de memória centrado no LLM" para "adaptação de LLM centrada na memória". Ele trata a memória como uma interface transferível entre escritores de montante e leitores de jusante.

Arquitetura Central

O sistema introduz dois operadores aprendíveis e conscientes do LLM:

• Operador de Escrita ($f_{write}$): Recebe o identificador (perfil) do LLM de origem, a observação e a ação, e produz uma entrada de memória destilada e normalizada.
• Operador de Leitura ($f_{read}$): Recebe o identificador (perfil) do LLM de destino, a observação atual e o banco de memória, e produz um contexto pronto para o prompt, adaptado para o leitor específico.

Condicionamento de Perfil (Profile Conditioning)

Para lidar com diversos modelos sem realizar o ajuste fino (fine-tuning) dos operadores para cada modelo específico, o RoMem utiliza embeddings de perfil. Cada LLM é associado a um registro de perfil leve (ID do modelo, descrição textual, metadados como backend, família, escala). Uma função de mapeamento aprendível $g$ converte esses perfis em vetores contínuos (tokens de prefixo suaves/soft prefix tokens) que condicionam tanto o $f_{write}$ quanto o $f_{read}$. Isso permite que os operadores generalizem para LLMs não vistos ao compreender seu "estilo" e capacidades.

Estratégia de Treinamento

Os operadores são treinados usando um loop de Iteração de Especialista (Expert Iteration) com duas inovações específicas para garantir robustez em todo o pool heterogêneo de modelos:

1. Recompensa de Ganho Contrafactual (Counterfactual Gain Reward): Para isolar a contribuição dos operadores aprendidos da capacidade intrínseca dos LLMs, o sistema calcula um gap de desempenho ($\Delta R$). Esta é a diferença entre a recompensa alcançada com os operadores aprendidos e uma baseline ingênua (concatenação de memória bruta). Isso garante que o modelo aprenda a melhorar o desempenho especificamente através da adaptação, não apenas aproveitando um backbone forte.
2. Currículo de Amostragem de Ganho Mínimo (Minimum-Gain Sampling Curriculum): Durante o treinamento, o sistema prioriza os LLMs "subatendidos" — aqueles com o menor ganho contrafactual. A probabilidade de amostragem para um modelo no passo $t$ é enviesada para modelos com baixo $\Delta R$ e também é diversificada por distância de embedding para garantir diversidade comportamental dentro de uma única trajetória. Isso evita que o modelo sofra overfitting para pares de alto desempenho e garante cobertura para combinações de modelos difíceis.

3. Principais Contribuições

1. Formalização do Problema: O artigo demonstra empiricamente (via estudos piloto em HotpotQA, 2WikiMultihopQA e MuSiQue) que o descompasso de memória é um problema significativo em configurações cross-LLM e define formalmente o problema de adaptação de memória cross-LLM.
2. Rosetta Memory (RoMem): Um framework inovador que aprende conjuntamente operadores de escrita e leitura condicionados a perfil para adaptar a memória para agentes heterogêneos.
3. Inovações de Treinamento: A introdução de um currículo de amostragem de ganho mínimo para melhorar a cobertura de pares de modelos com baixo desempenho e uma recompensa de gap de desempenho para desvincular a utilidade do operador da força do backbone.
4. Validação Empírica: Experimentos extensos mostrando que o RoMem supera baselines sem memória (CoT, Self-Ask), baselines de buffer bruto (Step-Accumulate) e baselines de memória estruturada (Mem0, Memento) em múltiplos datasets.

4. Resultados Experimentais

Os autores avaliaram o RoMem em três datasets de multi-hop QA: HotpotQA, 2WikiMultihopQA e MuSiQue.

• Desempenho Geral: O RoMem alcançou consistentemente as pontuações mais altas em Exact Match (EM), F1 e acurácia semântica (AccLLM) em todos os datasets. Notavelmente, no difícil dataset MuSiQue, ele mostrou margens claras em F1 e AccLLM, sugerindo uma preservação eficaz de evidências parciais através de cadeias complexas.
• Estudos de Ablação: Remover o condicionamento de perfil ou o operador de escrita degradou significamente o desempenho, confirmando que tanto a adaptação do conteúdo da memória quanto a adaptação da apresentação para o modelo de destino são necessárias.
• Generalização para Modelos Não Vistos: Ao ser testado em seis LLMs retidos (ex: gpt-5-mini, deepseek-reasoner) não vistos durante o treinamento, o RoMem manteve um desempenho robusto, muitas vezes superando as baselines mesmo conforme o número de modelos não vistos na trajetória aumentava.
• Amostragem de Ganho Mínimo: A análise de sensibilidade mostrou que um reponderamento moderado (ex: $\eta \approx 1.2$ a $1.6$) melhora o desempenho, enquanto um reponderamento excessivamente forte pode ser prejudicial.
• Análise Qualitativa: Inspeções revelaram que o operador de escrita remove com sucesso a incerteza do modelo de origem e instruções de busca, enquanto o operador de leitura adapta a ordenação e a explicitude dos fatos para corresponder às preferências do modelo de destino (ex: formato de tabela para Gemini vs. chain-of-thought para Claude).

5. Significância e Alegações

O artigo afirma que armazenar evidências é insuficiente; a memória deve ser escrita e lida em uma forma adaptada ao LLM específico que a consome. Ao tratar a memória como uma interface transferível, o RoMem permite que agentes de LLM heterogêneos compartilhem a memória do episódio de forma eficaz, reduzindo a necessidade de computação redundante e melhorando a robustez quando os modelos são trocados devido a restrições de custo, latência ou disponibilidade.

Os autores posicionam este trabalho como um "primeiro passo" em direção à adaptação centrada na memória. Eles reconhecem limitações, observando que sua avaliação é restrita a episódios controlados de multi-hop QA com cadeias de evidências fixas e ainda não cobre navegação web de final aberto ou planejamento de longo horizonte. Eles também alertam que interfaces de memória aprendidas poderiam potencialmente propagar vieses ou erros se não forem cuidadosamente auditadas, sugerindo a necessidade de minimização de dados e inspeção humana em implantações de alto risco.