Resumo Técnico: QA Seletiva sobre Memória Pessoal Multi-fonte Conflitante

1. Definição do Problema

Agentes de IA pessoal emergentes estão transitando para arquiteturas de memória persistentes e multi-fonte que agregam dados de perfis de longo prazo, registros recentes, planos, auto-relatos e registros de dispositivos. Existe uma lacuna crítica de avaliação: esses sistemas devem resolver evidências conflitantes ou incompletas de fontes heterogêneas, em vez de recuperar fatos de um único histórico limpo. Benchmarks existentes frequentemente falham em distinguir se os erros decorrem da extração inicial de evidências ou da etapa subsequente de resolução de conflitos. Além disso, os sistemas atuais raramente suportam "QA seletiva", onde um agente pode abster-se de responder quando as evidências são insuficientes ou irremediavelmente conflitantes, uma capacidade essencial para implantação confiável.

O artigo formaliza esse desafio como QA Seletiva sobre Memória Pessoal Multi-fonte Conflitante. A tarefa central exige que um sistema responda a perguntas de classe fechada com base em cinco fluxos de evidência enviesados e potencialmente conflitantes ou que se abstenha (SKIP) quando as evidências não suportam uma resposta confiante.

2. Metodologia e Design do Benchmark

O Campo de Teste Diagnóstico

Os autores introduzem um campo de teste sintético diagnóstico projetado para isolar modos de falha específicos na resolução de conflitos:

• Escala e Estrutura: O conjunto de dados compreende 34.560 instâncias geradas a partir de 480 personas em 4 sementes aleatórias. Inclui 18 modelos de perguntas cobrindo 8 tipos de raciocínio (por exemplo, Arbitragem de Fonte, Plano vs. Realidade, Evidência Ausente) em cinco domínios (Trabalho, Dieta, Social, Sono, Exercício).
• Processo de Geração de Dados (DGP): O DGP opera como um Grafo Acíclico Direcionado (DAG) para garantir uma verdade fundamental (GT) determinística:
  1. Eventos Latentes (L2): Um registro de 30 dias do comportamento real do usuário é gerado.
  2. Projeção de Fonte (L3): Os eventos latentes são projetados em cinco fluxos de fonte distintos (Perfil, Planejador, Auto-relato, Registro Objetivo, Registro de Dispositivo), cada um com modelos de distorção específicos e aprendíveis (por exemplo, planejadores são otimistas, auto-relatos são socialmente desejáveis, registros de dispositivos têm lacunas).
  3. Renderização em Linguagem Natural (NL): Projeções estruturadas são renderizadas em documentos de memória em linguagem natural.
  4. Extração: Um LLM (GPT-5.4) extrai "átomos" estruturados (valores de classe fechada) do texto em NL.
• Verdade Fundamental: Os rótulos são computados deterministicamente a partir da tabela de eventos latentes e anotações específicas de fonte, garantindo nenhuma dependência circular no processo de extração.
• Protocolo de Avaliação: O benchmark separa a extração (conversão de NL em átomos) da resolução (mapeamento de átomos para respostas). Isso permite uma decomposição fatorial do desempenho entre a qualidade de entrada (átomos extraídos vs. leitura estruturada direta) e a lógica do resolvedor.

Métodos Avaliados

O estudo avalia quatro níveis de métodos:

• T0 (Sem Fonte): Baselines de Classe Aleatória e Maioria.
• T1 (Seleção de Fonte): Selecionar a melhor fonte única por pergunta (SSB).
• T2 (Fusão Estruturada): Métodos que aprendem mapeamentos de fonte para GT:
  • Votação Maioritária / Estilo ArgRAG: Agregação simples.
  • Fusão Corrigida por Viés (BCF): Aplica priores ordinais de viés especificados manualmente.
  • Fusão Naive Bayes (NBF): Aprende matrizes de confusão por fonte a partir de rótulos de treinamento.
  • NBF Estratificado por Dificuldade (DSNBF): Aprende matrizes de confusão estratificadas por classes de dificuldade de persona, inferindo a dificuldade de personas de teste a partir de seus padrões de átomos.
  • Fusão de Viés Abduzido (ABF): Usa um kernel de mistura suave combinando caminhos conscientes de viés e livres de viés.
• T3 (LLMs de Ponta): Modelos de fronteira (GPT-5.4, Gemini 3.1 Pro, DeepSeek V3.2, Qwen3-235B) lendo memória NL bruta diretamente, com e sem prompts "Conscientes de Esquema" que injetam descrições qualitativas de viés.
• Referência: Acessibilidade da Fonte (uma verificação auxiliada por GT de se a GT é diretamente visível em qualquer fonte).

Todos os métodos suportam variantes de QA Seletiva que se abstêm (SKIP) com base em limites calibrados (para métodos de fusão) ou bandeiras auto-relatadas (para LLMs).

3. Resultados Chave

Precisão e Resolução

• Fusão vs. Prompting: O melhor resolvedor de fusão treinado (DSNBF) alcança 80,3% de precisão macro em átomos extraídos, superando a baseline mais forte de LLM apenas com prompt (GPT-5.4 Consciente de Esquema) em 10,3 pontos percentuais (70,0%).
• Qualidade de Entrada: Quando fornecido com átomos de leitura estruturada direta ($\mu^*$) em vez de átomos extraídos ($\hat{\mu}$), o DSNBF melhora para 82,3%, enquanto o GPT-5.4 melhora para 73,5%. A lacuna permanece significativa (8,8 pp), indicando que a capacidade do resolvedor de modelar a confiabilidade da fonte é o principal motor do desempenho, não apenas a qualidade da extração de entrada.
• Seleção de Fonte: Agregação ingênua (Votação Maioritária) desempenha mal (~69%) porque fontes enviesadas podem superar as precisas. A seleção de fonte única (SSB) desempenha melhor (77,3%), mas é superada por métodos de fusão aprendidos.

QA Seletiva (Abstenção)

• Métodos de Fusão: O DSNBF com abstenção seletiva alcança 85,3% de precisão seletiva em 78,3% de cobertura. Isso indica que o método identifica e ignora com sucesso casos difíceis onde as evidências são insuficientes.
• LLMs: LLMs de fronteira mostram capacidade limitada de se abster efetivamente. O GPT-5.4 atinge 71,0% de precisão seletiva em 95,4% de cobertura, e outros modelos (Gemini, DeepSeek, Qwen) se abstêm em menos de 2% das instâncias, falhando em aproveitar a abstenção para melhorar a precisão.

Insights Diagnósticos

• Tipos de Raciocínio: O DSNBF lidera em 7 de 8 tipos de raciocínio. As maiores lacunas aparecem em Arbitragem (+19,0 pp) e Atribuição de Fator (+12,5 pp), onde aprender matrizes de confusão por fonte é crítico.
• Classes de Dificuldade: O desempenho degrada em personas "declarado_vs_revelado" (onde preferências declaradas contradizem o comportamento revelado). Métodos de fusão mostram robustez (DSNBF cai apenas 5 pp), enquanto LLMs com prompt de esquema sofrem degradação significativa (13 pp), sugerindo que dicas qualitativas de viés são insuficientes para resolução complexa de conflitos.
• Robustez: Os resultados são estáveis entre sementes aleatórias, tamanhos de treinamento (saturando em ~100 personas) e perturbações do DGP (escalas de viés e dropout).

4. Contribuições

1. Formalização da Tarefa: Define QA seletiva consciente de viés sobre memória pessoal multi-fonte, modelando explicitamente distorções direcionais de fonte e a opção de abster-se.
2. Campo de Teste Diagnóstico: Lança um benchmark sintético (34.560 instâncias) com um DGP documentado, separando extração de resolução para permitir análise controlada de modos de falha.
3. Avaliação Diagnóstica: Demonstra que modelos de fonte aprendidos (matrizes de confusão) e abstenção calibrada superam significativamente LLMs apenas com prompt e agregação ingênua, revelando que a resolução de conflitos é uma capacidade distinta da extração de informações.

5. Significado e Limitações

O artigo argumenta que, para agentes de IA pessoal serem confiáveis, o tratamento de conflitos e a capacidade de abster-se devem ser tornados explícitos antes da implantação. A separação de extração e resolução permite que desenvolvedores localizem falhas: se um sistema falha porque não consegue ler a memória, não consegue extrair fatos ou não consegue pesar evidências conflitantes.

Limitações:

• Natureza Sintética: Os dados são sintéticos com distorções monotônicas e dependentes de tópico. Dados do mundo real podem envolver mudanças de hábito não monotônicas, relatórios adversariais ou falhas complexas de sensores não capturadas aqui.
• Contagem de Modelos: Os 18 modelos de perguntas limitam o poder estatístico dentro de tipos de raciocínio específicos, embora o DGP suporte expansão.
• Requisito de Treinamento: Os métodos mais fortes (DSNBF, NBF) requerem personas de treinamento rotuladas. Os autores alertam que esses resultados não devem ser interpretados como reivindicações para implantação zero-shot mais barata, mas sim como uma linha de base diagnóstica para o que é alcançável com supervisão.

O trabalho conclui que, embora LLMs de fronteira possam extrair fatos, eles atualmente lutam com a tarefa específica de resolver conflitos sistemáticos multi-fonte sem treinamento explícito em padrões de confiabilidade de fonte. O código e os dados lançados visam facilitar pesquisas futuras sobre agentes de memória pessoal confiáveis.