Resumo Técnico: Um Token por Evidência Multimodal: Memória Latente para QA com Restrição de Recursos

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs) dependem de memória externa para fundamentar seus outputs em evidências multimodais relevantes para tarefas como Question Answering (QA). No entanto, o paradigma de memória prevalecente é computacionalmente caro e intensivo em armazenamento. Os sistemas de Geração Aumentada de Recuperação (RAG) existentes recuperam texto e imagens brutos, passando-os sem compressão para o gerador. Essa abordagem acarreta um consumo substancial de tokens e latência, particularmente para evidências multimodais, onde uma única imagem pode se expandir em centenas de tokens visuais durante a geração. Esses custos dificultam a implantação de sistemas aumentados por memória em ambientes com restrição de recursos, como dispositivos de borda (edge devices) e assistentes online, onde o armazenamento e a latência são restrições críticas.

Metodologia: Memória Latente

O artigo propõe a Memória Latente, um paradigma que substitui itens de evidência multimodal brutos por tokens latentes compactos e de alta dimensão. A ideia central é comprimir cada unidade de evidência (texto ou imagem) em um único token latente que serve a um propósito duplo: recuperação e geração.

Arquitetura e Pipeline

1. Compressão de Memória: Um compressor LLM/VLM pequeno e treinável ($\theta$) codifica cada item de evidência $x_i$ em um único token latente $z_i$. Isso é alcançado anexando um token [MEM] treinável à entrada e extraindo seu estado oculto final.
2. Espaço de Recuperação Unificado: Os tokens latentes são projetados em um espaço de recuperação de menor dimensão via um MLP. No momento da consulta, a pergunta é incorporada no mesmo espaço, e os tokens latentes relevantes são recuperados via busca por similaridade (ex: produto interno).
3. Geração Condicionada por Latente: Os tokens latentes recuperados são projetados na dimensão oculta de um gerador LLM/VLM congelado ($\phi$) usando um projetor treinável. O gerador produz a resposta baseando-se nesses tokens latentes, contornando a necessidade de processar a evidência bruta ou tokens visuais expandidos.
4. Reconstrução Opcional: Para manter a interpretabilidade, um decodificador pode reconstruir o texto original ou legendas de imagens a partir dos tokens latentes, embora isso não seja obrigatório para a geração.

Objetivos de Treinamento

O compressor e os projetores associados são treinados de ponta a ponta usando uma função de perda unificada que combina três objetivos:

• Perda de Reconstrução ($L_{Recon}$): Garante que o token latente preserve informação suficiente para reconstruir o texto original ou o embedding da imagem (usando uma abordagem de teacher-forcing para texto e predição de embedding CLIP para imagens).
• Perda de Recuperação Contrastiva ($L_{Contrast}$): Alinha o embedding da consulta com a evidência latente positiva de suporte enquanto a afasta da evidência negativa, moldando um espaço de recuperação unificado para modalidades mistas.
• Perda de Destilação ($L_{Distill}$): Alinha o comportamento de geração do gerador congelado quando solicitado com tokens latentes contra seu comportamento quando solicitado com evidência bruta. Isso garante que o gerador possa interpretar os tokens latentes como evidência válida sem a necessidade de realizar o ajuste fino (fine-tuning) do grande gerador em si.

Principais Contribuições

1. Paradigma de Memória Latente: Os autores propõem um novo paradigma de memória que compila cada item de evidência multimodal em um único token latente de alta dimensão, reduzindo significativamente o armazenamento e o consumo de tokens.
2. Objetivo de Treinamento Unificado: Eles demonstram que um único token latente pode suportar simultaneamente recuperação, preservação de informação e geração através de um objetivo de treinamento que combina reconstrução, aprendizado contrastivo e destilação.
3. Trade-off Eficiência-Desempenho: O método alcança um desempenho de QA competitivo em comparação com baselines avançados de RAG, enquanto consome significativamente menos tokens do gerador (redução de 3× a 10×).

Resultados Experimentais

O método foi avaliado em sete benchmarks de QA apenas de texto (ex: HotpotQA, 2WikiMultihopQA, MuSiQue) e benchmarks multimodais (WebQA).

• QA Apenas de Texto: Usando um gerador Meta-Llama-3-8B-Instruct congelado, a Memória Latente de 1-token alcançou pontuações de Exact Match (EM) e F1 competitivas em comparação com baselines de RAG (BM25, Dense Retrieval, Qwen3-Embedding), enquanto utilizava aproximadamente 3× menos tokens. Por exemplo, em médias fora do domínio, utilizou 71 tokens para $k=5$ comparado a 209 para BM25 e 208 para Dense Retrieval.
• QA Multimodal (WebQA): Usando um gerador LLaVA-1.5-13B congelado, a Memória Latente entregou o desempenho mais forte de QA baseado em imagem. Em $k=5$, alcançou um F1 de imagem de 69.4 com apenas 82 tokens, enquanto o melhor baseline (Nemo-Emb) exigiu 1.885 tokens para atingir um F1 inferior de 53.0.
• Escalabilidade: A abordagem escala linearmente com o número de itens de evidência durante a compilação e mantém baixa complexidade durante a inferência, evitando o crescimento quadrático associado ao prompting de contexto total.
• Generalização: A Memória Latente treinada no HotpotQA transferiu-se efetivamente para datasets fora do domínio (2WikiMultihopQA, MuSiQue) sem ajustes adicionais, demonstrando capacidades de recuperação robustas.

Significância e Alegações

O artigo afirma que a Memória Latente oferece uma solução viável para aplicações com restrição de recursos ao mudar fundamentalmente a forma como a memória externa é representada. Ao comprimir evidências multimodais em tokens únicos, ela aborda os gargalos duplos de pressão de armazenamento (especialmente para imagens) e consumo de tokens durante a geração.

Os autores enfatizam que esta abordagem permite a implantação de sistemas aumentados por memória em dispositivos com restrições severas de armazenamento ou latência (ex: IA de borda) sem exigir o ajuste fino de modelos geradores grandes e caros. O espaço de representação latente unificado simplifica o pipeline de recuperação-geração, permitindo o tratamento eficiente de contextos longos e interações de múltiplos turnos. Embora o design atual assuma que a evidência pode ser decomposta em unidades atômicas de texto ou imagem, o artigo posiciona a Memória Latente como um passo fundamental em direção a sistemas agentes multimodais mais eficientes.