Resumo Técnico: Setoka – Um Referencial para a Compreensão Hierárquica do Usuário em Agentes Personalizados

1. Declaração do Problema

Agentes personalizados baseados em Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para auxiliar usuários, exigindo a capacidade de recuperar fatos explícitos e inferir características pessoais abstratas. No entanto, os benchmarks de memória existentes avaliam primariamente a capacidade de um agente em recuperar informações explicitamente declaradas em históricos de conversação. Eles falham em avaliar a compreensão hierárquica do usuário, especificamente a capacidade de integrar evidências implícitas através de fontes de dados heterogêneas (ex: texto não estruturado, registros estruturados, grafos) para inferir atributos de usuário mais profundos, como padrões de comportamento e traços de personalidade.

A construção de um benchmark para esta tarefa enfrenta quatro desafios principais:

• C1 (Compreensão Hierárquica do Usuário): Os requisitos de raciocínio variam desde a recuperação simples de fatos até a complexa inferência de personalidade, necessitando de um framework que distinga esses níveis.
• C2 (Amostragem de Persona Realista): Personas sintéticas devem refletir indivíduos coerentes onde as combinações de traços seguem correlações psicológicas do mundo real, em vez de agrupamentos aleatórios de traços.
• C3 (Mapeamento Traço-Comportamento Diverso): Um único traço de personalidade pode se manifestar como comportamentos diversos em diferentes contextos; os métodos de geração devem evitar mapeamentos estereotipados.
• C4 (Geração Escalável e Consistente): Gerar dados de usuário heterogêneos de longo prazo requer manter a consistência entre os registros e preservar restrições comportamentais ao longo do tempo sem transbordamento de contexto.

2. Metodologia

2.1 O Framework Setoka

O Setoka define uma hierarquia de quatro níveis da compreensão do usuário, fundamentada na psicologia cognitiva e da personalidade:

1. Memória Semântica (SM): Recuperação de fatos explícitos de registros únicos (ex: um número de telefone).
2. Memória Episódica (EM): Integração de registros que descrevem um evento específico (ex: "O que aconteceu no dia 20 de abril?").
3. Padrões de Comportamento (BP): Agregação de eventos ao longo do tempo para identificar regularidades (ex: "Com que frequência o usuário socializa?").
4. Traços de Personalidade (PT): Generalização através de múltiplos padrões de comportamento e categorias de eventos para inferir disposições latentes (ex: "Quão extrovertido é o usuário?").

O framework formaliza a transição entre os níveis usando quatro operadores: seleção ($\sigma$), vinculação ($\lambda$), agregação ($\gamma$) e generalização ($\rho$). Conjuntos de evidências formam uma cadeia aninhada ($E_{SM} \subseteq E_{EM} \subseteq E_{BP} \subseteq E_{PT}$), onde níveis superiores exigem escopos de evidência mais amplos e transformações adicionais.

2.2 Pipeline de Geração Baseado em Psicometria

Para abordar os desafios de geração de dados realistas e consistentes, o Setoka emprega um pipeline top-down:

• Amostragem de Traços com Consciência de Correlação: Em vez de amostrar traços independentemente, o pipeline extrai vetores de personalidade (Big Five) de uma distribuição Gaussiana multivariada. A matriz de covariância é derivada de correlações psicométricas meta-analíticas, garantindo que as personas sintéticas reflitam interdependências de traços realistas.
• Geração de Comportamento Guiada por Escalas Psicológicas: Para evitar a geração estereotipada por LLM, os vetores de traços amostrados são mapeados para padrões de comportamento usando escalas psicológicas validadas (especificamente o BFI-2). Isso converte pontuações de traços em respostas ao nível de item, que são então traduzidas em padrões de comportamento concretos e diversos.
• Árvore de Geração Baseada em Eventos: Para garantir a consistência de longo prazo, os padrões de comportamento são expandidos em uma hierarquia temporal de eventos. Eventos filhos são gerados sequencialmente para preservar a continuidade, enquanto detalhes são expandidos em paralelo. Todos os registros heterogêneos (logs, relações, mensagens) são derivados de uma única "fonte da verdade" (o evento) para manter a consistência entre esquemas.
• Construção de Consultas: Instâncias de teste $(q, a, E)$ são geradas automaticamente com base na verdade fundamental do processo de geração. As consultas são projetadas para isolar o operador de raciocínio específico exigido em cada nível (ex: recuperação de pistas parciais para EM, agregação estatística para BP).

2.3 Configuração Experimental

Os autores instanciaram o Setoka com 10 perfis de usuários sintéticos contendo aproximadamente 1.600 registros heterogêneos através de 23 esquemas e três modelos de dados (relacional, grafo, não estruturado).

• Modelos Avaliados: Três LLMs (DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT).
• Sistemas de Memória: Cinco sistemas representando diferentes paradigmas: Estruturados em Grafo (Cognee, HippoRAG 2), Baseados em Fatos Planos (Mem0) e Hierárquicos (MemMachine, Letta).
• Baseline: Um DBQuery baseline onde o LLM interage diretamente com bancos de dados brutos sem construção de memória intermediária.
• Métricas: Pontuações de similaridade de LLM-judge para SM, EM e BP; coeficiente de correlação de rank de Kendall para PT (avaliando a ordenação relativa correta entre usuários).

3. Principais Resultados

• Declínio de Desempenho com a Abstração: A precisão diminui monotonicamente à medida que o nível de abstração aumenta. As melhores pontuações caíram de 0,85 (SM) para 0,46 (EM), 0,28 (BP) e 0,24 (PT). As pontuações médias seguiram uma tendência semelhante, caindo de 0,37 para 0,07.
• Construção de Memória vs. Recuperação Direta:
  • O DBQuery superou os sistemas de memória em SM (0,85) ao recuperar detalhes exatos de registros únicos, mas teve um desempenho ruim em EM (0,27), onde a integração de múltiplos registros era necessária.
  • O MemMachine (hierárquico) alcançou a melhor pontuação de EM (0,46), atribuído à sua preservação de detalhes granulares combinada com a recuperação de contexto temporal.
  • Sistemas estruturados em Grafo (Cognee, HippoRAG 2) geralmente superaram os outros em tarefas de BP e PT, sugerindo que a vinculação de registros relacionados auxilia na agregação de comportamentos recorrentes em traços de nível superior.
• Taxa de Resposta vs. Competência: Um achado contraintuitivo foi que as taxas de resposta aumentaram com a abstração (72% para SM a 93% para PT) enquanto a precisão diminuiu. Isso indica que os modelos têm maior probabilidade de "chutar" traços abstratos quando a evidência está ausente, enquanto se abstêm de responder perguntas factuais concretas se a evidência estiver ausente.

4. Contribuições e Significância

O artigo reivindica as seguintes contribuições:

1. Identificação de uma Limitação: Destaca que os benchmarks existentes avaliam inadequadamente a compreensão de múltiplos níveis do usuário necessária para agentes personalizados, particularmente no que diz respeito à integração de dados heterogêneos.
2. Primeiro Framework Baseado em Psicologia: O Setoka introduz o primeiro framework que abrange desde memórias concretas até características abstratas, definindo explicitamente o escopo da evidência e as operações de raciocínio para cada nível.
3. Pipeline Baseado em Psicometria: Desenvolve um pipeline de geração escalável que produz dados de usuário heterogêneos coerentes e rastreáveis, fundamentados na teoria psicológica, permitindo consultas específicas de nível com evidência verificável.
4. Avaliação Abrangente: Através da avaliação de 3 modelos e 5 sistemas de memória, o artigo demonstra que a simples recuperação de fatos é insuficiente para a compreensão profunda do usuário.

Significância:
Os autores concluem que os mecanismos de memória atuais são insuficientes para tarefas que exigem integração entre fontes e abstração sobre o comportamento de longo prazo. Os achados motivam o design de sistemas de memória capazes de vincular, agregar e generalizar evidências do usuário além da recordação literal. O Setoka serve como um campo de testes para impulsionar o progresso nessas áreas, mostrando que, embora a recuperação esteja melhorando, a capacidade de inferir atributos latentes a partir de dados fragmentados e heterogêneos permanece um desafio significativo não resolvido.