Resumo Técnico: Além de Comportamentos Isolados: Modelagem Hierárquica de Usuário para Personalização de LLMs

Declaração do Problema

Apesar das notáveis capacidades dos Grandes Modelos de Linguagem (LLMs) em diversos domínios, personalizar seus resultados para usuários individuais continua sendo um desafio significativo. As abordagens existentes adotam predominantemente um paradigma comportamental plano, tratando as interações do usuário como uma coleção não ordenada de instâncias isoladas. Esta formulação leva a duas limitações críticas:

1. Fragmentação Comportamental: Os históricos individuais dos usuários carecem de estrutura interna, falhando em consolidar comportamentos isolados em padrões estáveis de longo prazo.
2. Isolamento do Usuário: Os usuários são modelados de forma independente, ignorando regularidades comportamentais compartilhadas entre usuários com perfis semelhantes. Isso limita a generalização, particularmente em cenários com histórico de usuário esparso.

O artigo argumenta que uma personalização eficaz requer uma visão estruturada que modele tanto como os comportamentos se consolidam dentro de um indivíduo quanto como as regularidades são compartilhadas entre uma população de usuários.

Metodologia: O Framework PHF

Baseando-se na Teoria da Prática de Pierre Bourdieu, os autores propõem o PHF (Prática-Habitus-Campo), um framework hierárquico, fundamentado na sociologia, para a personalização de LLMs. Este framework conceitua o comportamento do usuário em três níveis:

• Prática: Comportamentos episódicos individuais (ex: um único par consulta-resposta).
• Habitus: A acumulação temporal de práticas em disposições comportamentais estáveis e de longo prazo, únicas para um usuário.
• Campo: Regularidades comportamentais compartilhadas e padrões coletivos entre usuários com disposições semelhantes.

Implementação do PHFCompass

Para instanciar o PHF, os autores desenvolveram o PHFCompass, uma arquitetura leve e agnóstica ao modelo que opera sobre um LLM congelado. O sistema funciona através de quatro estágios principais:

1. Extração de Prática com Redução de Ruído (Quantização Semântica):
   Os comportamentos brutos do usuário são codificados e submetidos a uma quantização de vetor residual de múltiplos níveis. Este processo abstrai interações contínuas em IDs Semânticos discretos (protótipos). Ao mapear comportamentos com diferentes formas superficiais, mas intenções semelhantes, para protótipos compartilhados, o sistema filtra o ruído de nível superficial enquanto preserva a semântica comportamental central.

2. Construção de Habitus (Agregação Temporal):
   A sequência de representações de prática sem ruído de um usuário é agregada ao longo do tempo usando um Fusor Temporal. Para considerar o efeito de recência sem permitir que comportamentos recentes dominem, o modelo emprega um esquema de agregação ponderada temporalmente usando escala de raiz quadrada. Isso resulta em um embedding de Habitus que codifica a disposição comportamental estável e de longo prazo do usuário.

3. Formação de Campo (Agrupamento Colaborativo):
   Os usuários são organizados em Campos latentes com base em seus embeddings de Habitus. Usando agrupamento K-Means, usuários com disposições de longo prazo semelhantes são agrupados. Cada centroide de cluster serve como um embedding de Campo, capturando regularidades comportamentais coletivas. Isso permite que os usuários se beneficiem de sinais compartilhados, auxiliando particularmente em cenários de cold-start ou histórico esparso.

4. Geração Hierárquica:
   Durante a inferência, o LLM é condicionado por uma sequência de entrada unificada que compreende o embedding de Habitus (disposição individual), o embedding de Campo (padrão coletivo) e o embedding da Consulta atual. Apenas camadas de projeção leves são treinadas, deixando o LLM subjacente congelado.

Principais Contribuições

1. Framework Teórico: A proposta do PHF, um modelo hierárquico unificado que integra a formação comportamental individual (Prática $\to$ Habitus) com regularidades estruturais entre usuários (Campo), fundamentado na teoria sociológica.
2. Arquitetura PHFCompass: Uma implementação concreta e leve do PHF que operacionaliza esses conceitos via abstração comportamental residual, agregação temporal e agrupamento colaborativo sem exigir modificações no LLM base.
3. Validação Empírica: Experimentos extensos demonstrando que a modelagem da estrutura comportamental de forma hierárquica supera as abordagens de agregação plana e baselines baseadas em recuperação.

Resultados Experimentais

Os autores avaliaram o PHFCompass no benchmark Language Model Personalization (LaMP), cobrindo seis tarefas (três de classificação, três de geração).

• Desempenho: O PHFCompass alcançou melhorias consistentes de estado da arte em todas as tarefas em comparação com fortes baselines, incluindo métodos baseados em recuperação (BM25, Dense), métodos baseados em agregação (OPPU, PPlug) e modelos zero-shot.
  • Nas tarefas de classificação (LaMP-1 a 3), o modelo mostrou ganhos substanciais, atribuídos ao componente de campo que compensa históricos individuais esparsos.
  • Nas tarefas de geração (LaMP-4, 5, 7), o modelo manteve um desempenho competitivo, beneficiando-se de uma modelagem robusta de prática e habitus.
• Estudos de Ablação:
  • A remoção do componente Habitus causou a maior degradação de desempenho, confirmando que a representação comportamental individual refinada é fundamental.
  • A remoção do componente Campo levou a declínios moderados, particularmente em classificação, validando a utilidade dos sinais colaborativos.
  • Substituir a ponderação temporal por média uniforme e remover a quantização residual resultou em quedas de desempenho, destacando a importância da sensibilidade temporal e da abstração comportamental.
• Extensibilidade: O framework demonstrou robustez através de diferentes combinações de encoder-decoder (ex: Contriever/Qwen, RoBERTa/LLaMA), confirmando sua natureza agnóstica ao modelo.
• Interpretabilidade: A análise dos IDs Semânticos revelou que a quantização hierárquica conseguiu desvincular a intenção específica do usuário das estruturas semânticas compartilhadas, com códigos específicos correspondendo a grupos temáticos coerentes (ex: romance de fantasia vs. romance focado em identidade).

Significância e Alegações

O artigo afirma que o PHF representa uma mudança de paradigma de tratar os dados do usuário como uma coleção plana de instâncias para modelá-los como um sistema hierárquico estruturado. Ao capturar explicitamente a coerência temporal dentro do comportamento individual e as regularidades compartilhadas entre usuários, o PHF aborda a fragmentação e o isolamento inerentes aos métodos atuais de personalização.

Os autores enfatizam que sua abordagem fornece uma perspectiva unificada que é tanto interpretável (através de protótipos semânticos discretos e campos de cluster) quanto extensível (agnóstica ao modelo). Embora o trabalho atual seja validado no benchmark LaMP, o framework é apresentado como uma abordagem generalizável para organizar o comportamento do usuário na personalização de LLMs, ofereando uma alternativa sociologicamente fundamentada aos métodos puramente estatísticos ou baseados em recuperação.

O artigo reconhece limitações, observando que os experimentos estão atualmente restritos a tarefas de texto em inglês com históricos estáticos, e que as implementações específicas (ex: K-Means para campos) são apenas uma possível instanciação do conceito mais amplo de PHF.