Resumo Técnico: MedMemoryBench

Declaração do Problema

A implantação em larga escala de agentes de saúde personalizados exige mecanismos de memória excepcionalmente precisos, seguros e capazes de acompanhamento clínico de longo prazo. No entanto, os benchmarks existentes (por exemplo, LoCoMo, LongMemEval) focam principalmente em conversas diárias de domínio aberto ou processamento de contexto longo estático. Eles falham em capturar a complexidade de alto risco das aplicações médicas do mundo real, que impõem restrições únicas:

1. Personalização Crítica para a Segurança: Os dados clínicos são heterogêneos em termos de risco; detalhes que ameaçam a vida (por exemplo, alergias graves, contraindicações) exigem retenção sem falhas, ao contrário de fatos conversacionais gerais.
2. Progressão Clínica Longitudinal: Os agentes devem rastrear a evolução temporal (por exemplo, níveis variáveis de glicose no sangue) ao longo de meses ou anos, em vez de simplesmente sobrescrever estados de curto prazo.
3. Integração de Memória em Streaming: Na produção, a memória acumula-se incrementalmente, com cada sessão moldando imediatamente a próxima. Avaliações tradicionais offline, de uma só vez, falham em capturar essa dinâmica contínua.
4. Acumulação de Memória Ruidosa: Interações do mundo real envolvem consultas redundantes e consultas por procuração, levando à "saturação de memória", onde um influxo sustentado de informações degrada a robustez da recuperação e do raciocínio.

Os métodos atuais, validados principalmente em domínios gerais, permanecem insuficientemente examinados em cenários de diálogo médico de grande escala e alto risco.

Metodologia

Pipeline de Construção de Dados

O MedMemoryBench introduz um pipeline colaborativo humano-agente para sintetizar trajetórias médicas de longo horizonte altamente realistas, baseadas em arquétipos de pacientes sintéticos fundamentados clinicamente. O processo envolve quatro etapas:

1. Construção do Perfil do Paciente: 20 perfis representativos de doenças crônicas (por exemplo, diabetes, cardiovasculares, respiratórias) são criados a partir de casos reais desidentificados, expandidos com assistência de LLM para diversidade, preservando a privacidade.
2. Geração de Eventos de Progressão da Doença: Trajetórias diagnósticas de um ano, verificadas por especialistas, são geradas e organizadas em grafos de eventos ligados temporal e causalmente. Crucialmente, "eventos-armadilha" (fatos de alta prioridade, como alergias ou restrições econômicas) são injetados para testar a retenção crítica para a segurança.
3. Simulação de Sessões Multi-turno: Agentes de paciente e médico simulam interações seguindo o grafo de eventos. Resumos de memória são registrados após cada sessão para manter a coerência de longo prazo.
4. Extração de Memória e Construção de Consultas: Um framework multi-agente (Agente Armadilha, Agente Consulta, Agente Crítica) constrói pares de pergunta-resposta. Especialistas médicos verificam trajetórias, diálogos e pares de QA quanto à plausibilidade clínica e precisão terminológica.

O conjunto de dados compreende aproximadamente 2.000 sessões e 16.000 turnos de interação (expandindo para ~42.000 turnos na configuração de ruído "Misto"), totalizando ~20,74 milhões de tokens.

Framework de Avaliação

O MedMemoryBench afasta-se da avaliação estática ao pioneirar um protocolo de avaliação em streaming do tipo "avaliar-ao-construir".

• Protocolo: Métodos de memória recebem sessões estritamente em ordem cronológica. Pontos de verificação são acionados a cada $\Delta=10$ sessões. Os agentes devem responder a consultas usando apenas a memória acumulada até aquele ponto, prevenindo vazamento de informações futuras.
• Configurações:
  • Modo Eficiente: Interações focam exclusivamente na saúde do próprio paciente.
  • Modo Misto: Injeta "ruído" via consultas de saúde gerais e consultas por procuração para membros da família para simular saturação de memória.
• Tipos de Consulta: Seis tipos abrangendo três faixas de capacidade:
  • Extração Precisa: Correspondência Exata de Entidade (EEM), Precisão de Localização Temporal (TLA).
  • Resolução Temporal: Precisão de Atualização de Estado (SUA).
  • Raciocínio: Múltipla Escolha (MQ), Geração de Inferência (IG), Dedução Clínica Multi-hop (MCD).
• Métricas: Pontuação binária para precisão. Métricas adicionais incluem Recall, F1, ROUGE-L e Taxa de Alucinação (medindo respostas confiantes, mas sem suporte).

Contribuições Principais

1. Benchmark MedMemoryBench: Um benchmark especializado para avaliar a memória de agentes em saúde personalizada, construído através de um pipeline humano-agente de quatro etapas com verificação médica especializada.
2. Protocolo de Avaliação em Streaming: Uma abordagem inovadora "avaliar-ao-construir" que avalia a memória à medida que se acumula, espelhando a dinâmica de produção, juntamente com o primeiro estudo sistemático da saturação de memória em agentes de saúde.
3. Avaliação Abrangente: Uma avaliação de arquiteturas de memória predominantes (Não Estruturada, Estruturada em Grafos, Extraída Plana, Multi-Store) revelando limitações fundamentais no raciocínio médico complexo e na resiliência ao ruído.

Resultados Experimentais

Os experimentos foram conduzidos usando GPT-5.1 como base e Claude-4-Sonnet como juiz. As principais descobertas incluem:

• Lacunas de Desempenho: Todos os métodos performam mal em tarefas complexas de raciocínio médico (IG e MCD) que exigem combinar múltiplas memórias. A recuperação permanece o principal gargalo.
• Granularidade da Memória: Métodos com memórias de granularidade média (por exemplo, A-Mem, MemOS, Letta) geralmente superam aqueles com entradas altamente fragmentadas (Mem0) ou excessivamente densas (MIRIX).
• Gargalo de Recuperação: Mesmo métodos com repositórios de memória ricos falham em recuperar evidências relevantes de grandes conjuntos de forma confiável, particularmente para raciocínio multi-hop.
• Saturação de Memória: Sob a configuração Mista (ruidosa), todos os métodos mostram degradação significativa de desempenho. Memória de longo prazo sem filtragem adequada frequentemente prejudica o desempenho geral, pois informações redundantes inundam o espaço de recuperação.
• Riscos de Segurança: Foram observadas altas taxas de alucinação; quando o suporte de memória é insuficiente, os modelos tendem a fornecer respostas confiantes, mas erradas, em vez de se abster.

Significado

O MedMemoryBench estabelece uma base vital para o desenvolvimento de agentes médicos robustos e prontos para produção. Ao expor falhas fundamentais nas arquiteturas atuais — especificamente no que diz respeito ao raciocínio médico complexo, resiliência ao ruído e ao fenômeno da saturação de memória —, o benchmark fornece uma ferramenta crítica para pesquisas futuras. Ele destaca que sistemas de memória de propósito geral são insuficientes para as demandas rigorosas, críticas para a segurança e longitudinais da saúde personalizada, urgindo o desenvolvimento de mecanismos de memória especializados que priorizem precisão e segurança sobre a fluência conversacional geral.