Resumo Técnico: PUMA – Modelagem Prospectiva do Estado do Usuário para Seleção de Ações

Declaração do Problema

Sistemas de diálogo personalizados avançaram ao incorporar memória de longo prazo, perfis de usuário e históricos de interação recuperados para reutilizar informações explícitas do usuário. No entanto, esses métodos existentes tratam principalmente a personalização como um problema de recuperação ou condicionamento sobre registros textuais observáveis. Eles falham em modelar estados latentes do usuário (por exemplo, ansiedade, engajamento, prontidão para agir) que evoluem dinamicamente por meio da interação e são apenas parcialmente expressos na linguagem. Consequentemente, os sistemas atuais não conseguem raciocinar efetivamente sobre como ações específicas do sistema influenciam a evolução futura do estado de um usuário. Essa limitação impede que o diálogo personalizado avance além da recuperação passiva de memória para a tomada de decisão ativa e consciente do estado, particularmente em domínios de alto risco como aconselhamento em saúde, onde a mesma fala pode exigir respostas fundamentalmente diferentes dependendo da condição interna oculta do usuário.

Metodologia: O Framework PUMA

Os autores propõem o PUMA (Modelagem Prospectiva do Estado do Usuário para Seleção de Ações), um framework fundamentado no Princípio da Energia Livre (FEP) e na inferência ativa. O PUMA reformula o diálogo personalizado como tomada de decisão sob observabilidade parcial, onde o usuário é modelado como um sistema dinâmico latente.

Componentes Principais

1. Representação do Usuário:

   • Estado do Usuário ($s_t$): Uma variável latente que representa a condição interna relevante para a decisão do usuário (por exemplo, estágio motivacional), que não é diretamente observável.
   • Modelo do Mundo: Um modelo preditivo fatorizado em dois componentes:
     • Modelo de Transição $p_\theta(s_t | s_{t-1}, a_{t-1})$: Captura como o estado do usuário evolui em resposta às ações do sistema.
     • Modelo de Observação $p_\theta(o_t | s_t)$: Captura como o estado latente gera falhas observáveis.
   • Memória Semântica: Um sistema de memória de dois níveis (curto prazo e longo prazo) que armazena conteúdo concreto (preferências, histórico) para fundamentar a geração de respostas, mantido distinto do rastreamento do estado latente.

2. Processo de Minimização da Energia Livre:

   • Atualização de Crenças (Retrospectiva): Ao receber uma fala do usuário ($o_t$), o sistema atualiza sua crença variacional $q_\phi(s_t)$ sobre o estado oculto do usuário. Isso é alcançado minimizando a Energia Livre Variacional ($F_t$), que equilibra a consistência com a dinâmica de estado prevista (priori) e o poder explicativo da observação atual (verossimilhança).
   • Refinamento do Modelo do Mundo: O sistema refina continuamente os modelos de transição e observação otimizando a discrepância entre as respostas do usuário previstas e observadas, permitindo que o modelo aprenda as dinâmicas específicas do usuário individual.
   • Seleção de Ações (Prospectiva): Para selecionar a próxima ação de diálogo ($a_t$), o PUMA minimiza a Energia Livre Esperada ($G_t$). Esse objetivo avalia ações candidatas com base em suas consequências antecipadas:
     • Valor Epistêmico: Ações que reduzem a incerteza sobre o estado futuro do usuário (exploração).
     • Valor Pragmático: Ações cujos resultados previstos se alinham com os objetivos desejados (exploração).
   • Geração de Resposta: A ação selecionada, combinada com a crença atualizada e a memória recuperada, condiciona um modelo de linguagem a gerar uma resposta em linguagem natural.

Contribuições Principais

1. Modelagem de Estado Latente do Usuário: Introdução de um modelo de estado do usuário que captura explicitamente estados latentes e sua evolução condicionada à ação, distinguindo-o de representações estáticas de persona ou baseadas em memória.
2. Formulação Fundamentada no FEP: A primeira formulação de diálogo personalizado sob o Princípio da Energia Livre, unificando a atualização de crenças e a seleção de ações por meio da Energia Livre Esperada para permitir raciocínio prospectivo sobre trajetórias do usuário.
3. Validação Empírica: Uma avaliação rigorosa em benchmarks de aconselhamento orientados à saúde (CAMI e AnnoMI) demonstrando que modelar a dinâmica do estado do usuário melhora tanto o rastreamento de crenças quanto os resultados de diálogo de longo horizonte em comparação com bases fortes baseadas em LLM.

Resultados Experimentais

Os autores avaliaram o PUMA no conjunto de dados CAMI (Aconselhamento e Entrevista Motivacional) e no conjunto de dados AnnoMI, utilizando um simulador de cliente fundamentado em perfil (DynPatient) para avaliação dinâmica.

• Eficácia do Aconselhamento Dinâmico: O PUMA superou significativamente as bases (incluindo DIIR, CoS e conselheiros padrão do CAMI) em Aumento de Estágio (melhora no estágio motivacional), Taxa de Preparação (porcentagem de clientes que atingem o estágio de preparação) e Cobertura de Gatilhos. Notavelmente, o PUMA alcançou esses resultados com menos turnos de diálogo, indicando maior eficiência.
• Qualidade da Resposta: Em termos de qualidade do lado do conselheiro (medida por Pontuações Globais do MITI), o PUMA alcançou pontuações comparáveis a respostas de referência humana e significativamente mais altas do que outros métodos automatizados, mantendo um estilo colaborativo e empático.
• Estimativa e Predição de Estado: O PUMA demonstrou precisão superior tanto na Estimativa de Estado Atual (Curr-Acc) quanto na Predição de Próximo Estado (Next-Acc) em comparação com bases de longo prompt.
• Generalização: Um estudo entre conjuntos de dados no AnnoMI mostrou que o PUMA, mesmo com um modelo de backbone menor (Qwen3-8B), alcançou melhor estimativa e predição de estado do que uma base de longo prompt muito maior (Qwen3-32B), sugerindo a robustez e transferibilidade do framework.
• Estudos de Ablação: A remoção de componentes como a atualização de crenças, o modelo do mundo ou a seleção de ações baseada em EFE levou a uma degradação significativa do desempenho, confirmando que todos os elementos contribuem para a capacidade do sistema de orientar diálogos em direção a resultados desejados.

Significado e Alegações

O artigo afirma que o PUMA representa uma mudança da recuperação passiva de memória para a tomada de decisão baseada em modelos sobre a evolução do usuário. Ao tratar o usuário como um sistema dinâmico parcialmente observável e aplicar o Princípio da Energia Livre, o framework permite que agentes de diálogo:

• Inferam estados ocultos do usuário que não são explicitamente declarados.
• Raciocinem sobre como intervenções específicas (ações de diálogo) moldarão o estado futuro do usuário.
• Equilibrem a necessidade de reduzir a incerteza (epistêmica) com a necessidade de alcançar objetivos específicos de aconselhamento (pragmáticos) sob um critério unificado.

Os autores concluem que essa abordagem permite que sistemas de diálogo personalizados avancem além da reutilização de contexto estático para o controle ativo e consciente do estado da interação, oferecendo uma base principiológica para a personalização de longo prazo em interações complexas e multi-turno.