Resumo Técnico: FinPerMA

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como assistentes personalizados em domínios de alto risco, como o aconselhamento financeiro. No entanto, permanece incerto se esses sistemas conseguem manter e atualizar um modelo de usuário individualizado ao longo de longos horizontes temporais. Os benchmarks existentes de memória personalizada sofrem de duas lacunas críticas:

1. Mudança de Estado Condicionada a Eventos Limitada: Os benchmarks atuais focam na retenção factual ou na recuperação de contexto longo, mas carecem de controle sobre como as preferências latentes do usuário evoluem após eventos consequentes. Isso torna difícil distinguir entre simplesmente recordar fatos passados e raciocinar com um estado de usuário atualizado.
2. Auditabilidade de Rótulos Limitada: Muitos benchmarks dependem de geração de LLM fracamente controlada para trajetórias pós-evento, confundindo as propriedades do gerador com o alvo da avaliação.

Além disso, os recursos de LLM financeiro existentes (ex: FinGPT, FinBen) não centralizam o problema da memória personalizada longitudinal.

Metodologia: Benchmark FinPerMA

Os autores introduzem o FinPerMA, um benchmark baseado em eventos projetado para avaliar a memória personalizada contra trajetórias de investidores longitudinais e congeladas. O sistema é construído sobre um pipeline de geração controlado que combina regras determinísticas informadas pela teoria com narração controlada por LLM.

1. Pipeline de Geração de Dados

O corpus consiste em $N \approx 300$ personas, cada uma com uma linha do tempo de eventos específica, diálogos de múltiplas sessões e perguntas de avaliação.

• Síntese de Persona: As personas são amostradas de distribuições conjuntas de variáveis demográficas, financeiras e psicométricas, calibradas contra pesquisas reais de investidores de varejo (Bolsa de Valores de Shenzhen, Associação de Gestão de Ativos da China). Cada persona é classificada em um de quatro Tipos de Comportamento do Investidor (BITs: Preservador Passivo, Seguidor Amigável, Individualista Independente, Acumulador Ativo) usando mapeamento baseado em regras.
• Construção da Linha do Tempo de Eventos: O sistema seleciona 97 eventos datados (17 macro, 64 do setor, 16 pessoais) de 2020–2026. Cada persona recebe uma linha do tempo de 5–8 eventos, garantindo diversificação de categorias e espaçamento mínimo.
• O Modelo de Impacto (Inovação Central): Um scaffold de três camadas gera a "reação ao evento" ($R_{i,k}$) para cada par persona-evento:
  • Camada 1 (Regras Determinísticas): Constrói um objeto ImpactConstraint baseado em cinco submódulos: classificação BIT, coeficientes de choque do evento (baseados em severidade), multiplicadores de traços Big-Five (Neuroticismo/Extroversão), agregação de histórico de experiência (retornos ponderados pela idade) e ancoragem de referência de memória simbólica.
  • Camada 2 (Narração Controlada): Um LLM gera uma EventReaction candidata (deltas de preferência, monólogo interno, vieses disparados, confiança) aderindo estritamente às restrições rígidas da Camada 1.
  • Camada 3 (Validação Automatizada): Impõe verificações rígidas sobre direção de risco, limites de magnitude e vieses proibidos. Falhas nas verificações disparam até três tentativas de reprocessamento; se todas falharem, um fallback de template é utilizado.
• Síntese de Diálogo: Um Simulador de Usuário Orientado a Tarefas gera diálogos investidor-assessor onde as preferências emergem implicitamente através de negociações e preocupações. O controle de qualidade automatizado (deduplicação, plausibilidade financeira, votação multi-LLM) filtra a saída.

2. Estrutura de Avaliação

O benchmark avalia a memória através de três dimensões e quatro checkpoints temporais:

• Dimensões:
  • Fidelidade de Memória (MF): Recuperação factual de atributos e comportamentos passados.
  • Raciocínio de Preferência (PR): Inferência de preferências implícitas a partir de traços comportamentais.
  • Adaptação de Contexto (CA): Aplicação de preferências atualizadas em novos cenários de decisão.
• Checkpoints:
  • Zero-memória: Controle (sem histórico).
  • Dentro da linha do tempo: Retenção sustentada conforme os eventos ocorrem.
  • Pós-distração: Retenção após sessões não relacionadas.
  • Pós-Choque: Um checkpoint inovador que testa se um evento de alta severidade é integrado em um modelo de usuário persistentemente atualizado.

O corpus final contém 2.994 perguntas (2.494 de múltipla escolha, 500 abertas) através de 276 personas avaliadas.

Principais Contribuições

1. Benchmark de Memória Personalizada Dinâmica: O FinPerMA testa conjuntamente a recuperação de perfil estável e a adaptação de preferência condicionada a eventos, separando explicitamente a recuperação da atualização de estado.
2. Checkpoint Pós-Choque: Um teste direto de se um evento consequente é integrado na memória persistente, isolando a capacidade de atualizar estados de usuário da simples recuperação.
3. Pipeline de Geração Auditável: Um sistema híbrido que combina regras determinísticas informadas pela teoria (baseadas na literatura de finanças comportamentais) com narração controlada por LLM e triagem de qualidade automatizada sobre 97 eventos datados.
4. Avaliação Empírica Abrangente: Uma avaliação congelada de sete LLMs de fronteira e até sete configurações de memória, fornecendo análise detalhada de atribuição sobre modos de falha em vez de um único escore agregado.

Resultados

Os autores avaliaram sete LLMs de fronteira (incluindo variantes de Qwen, Claude, Gemini, DeepSeek, GLM e GPT) e várias arquiteturas de memória (BM25, BGE-M3, Mem0, MemOS, Memobase) no corpus v8gold congelado.

• Lacuna de Desempenho: Todos os modelos permanecem longe da saturação. Nenhuma configuração de contexto total excedeu ~0,47 de precisão geral ou ~39% em questões de múltipla escolha.
• Impacto da Memória: O histórico da persona eleva significativamente o desempenho (aumento de 1,5–2,4x) sobre o patamar do conhecimento paramétrico, confirmando que evidências específicas da persona são críticas. No entanto, mesmo com contexto total, os modelos têm dificuldade com a adaptação de preferência.
• Recuperação vs. Memória Estruturada: Sob um backbone fixo (Qwen3.7-Max), sistemas de recuperação simples (BGE-M3, BM25) recuperaram ~88% da lacuna de precisão entre zero-memória e contexto total, usando apenas ~10% dos tokens de contexto. Sistemas de memória estruturada/baseados em perfil (Mem0, MemOS) recuperaram apenas 54–79% da lacuna.
• Modos de Falha:
  • A memória baseada em resumo frequentemente preserva detalhes factuais, mas perde os sinais de preferência necessários para a personalização.
  • Desempenho Pós-Choque: A lacuna de desempenho entre contexto total e sistemas de memória aumenta significativamente após um evento de choque, indicando uma falha em atualizar o modelo do usuário.
  • Atribuição: O modo de erro dominante é o "padrão de zero-memória", seguido por inferência excessiva de sinal único e desalinhamento temporal. Os modelos também mostram um viés para perfis estereotipados quando a evidência individual conflita com tipos familiares.

Significância e Alegações

O artigo afirma que o FinPerMA proporciona uma mudança necessária nos benchmarks, passando da retenção factual estática para a modelagem de usuário dinâmica e condicionada a eventos.

• Diferenciação: Ao contrário de trabalhos anteriores (ex: PersonaMem, LoCoMo, LongMemEval) que testam continuidade ou recuperação de fatos, o FinPerMA isola se um agente pode integrar um evento consequente em seu modelo de usuário persistente.
• Implicações de Design: Os resultados sugerem que o design de memória eficaz para agentes requer uma abordagem híbrida: separar atributos estáveis de preferências mutáveis, carimbar mudanças com tempo (timestamping) e recuperar evidências brutas de diálogo em vez de depender apenas de perfis resumidos.
• Modéstia: Os autores reconhecem que o FinPerMA utiliza personas sintéticas e mudanças de preferência guiadas por regras; portanto, a precisão do benchmark não garante o desempenho com investidores reais. As linhas do tempo são limitadas a 5–8 eventos, e a comparação de sistemas de memória usa uma única semente (seed). Trabalhos futuros são necessários para testar históricos mais longos e interações longitudinais do mundo real.

Em resumo, o FinPerMA demonstra que os agentes de LLM atuais são capazes de recuperar o histórico do usuário, mas lutam para sintetizar esse histórico em um modelo de usuário atualizado e responsivo a eventos. A recuperação simples muitas vezes supera arquiteturas de memória complexas na preservação da nuance necessária para a personalização.