Resumo Técnico: StoryMI: Geração de Diálogos Terapêuticos Multi-Agente Orientáveis

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem fluência na geração de diálogos, pesquisas anteriores em Entrevista Motivacional (EM) enfrentam três barreiras críticas:

1. Falta de Fundamentação Situacional: Métodos existentes frequentemente dependem de classificações abstratas em escalas Likert ou da geração isolada por turno, falhando em capturar o rico contexto narrativo e as intenções pessoais centrais à EM.
2. Controllabilidade Dinâmica Insuficiente: Abordagens atuais lutam para impor estratégias de aconselhamento de nível macro (por exemplo, proporções específicas de reflexões em relação a perguntas) ao longo de conversas multi-turno, resultando frequentemente em interações estáticas ou dependentes de roteiros.
3. Fidelidade na Avaliação: Métricas léxicas padrão e rubricas genéricas de LLM como juiz falham em capturar distinções clinicamente significativas, como o alinhamento com estratégias terapêuticas de nível macro e a autenticidade da postura terapêutica.

Metodologia: O Framework StoryMI

O StoryMI é um framework de agentes multi-LLM projetado para gerar diálogos de EM controláveis e fundamentados situacionalmente. Ele opera por meio de um fluxo de trabalho de três etapas envolvendo três agentes distintos: um Agente Cliente, um Agente Terapeuta e um Agente de Gerenciamento de Interação.

1. Perfilagem Baseada em Questionários

O sistema começa gerando perfis de clientes estruturados utilizando questionários padronizados do DSM-5. Um LLM gera pontuações de gravidade (0–4) e breves justificativas em primeira pessoa para 23 itens em 13 domínios de sintomas (por exemplo, depressão, raiva, sono). Isso cria um sinal de controle psicologicamente consistente e interpretável ($P$) para o diálogo.

2. Contextualização de História Situacional

Para preencher a lacuna entre pontuações abstratas e diálogos naturalísticos, o sistema expande o perfil do cliente $P$ em uma história situacional ($N$) de aproximadamente 200 palavras. Essa narrativa fundamenta os sintomas do cliente em experiências de vida concretas, cenas específicas e texturas emocionais, garantindo consistência de persona em interações multi-turno sem curadoria manual.

3. Simulação de Diálogo de EM Controlável

A simulação central envolve um loop coordenado:

• Agente Cliente: Gera uma fala emparelhada com um código de EM do cliente (Mudança, Sustentação ou Neutro) com base na história situacional e no histórico do diálogo.
• Agente de Gerenciamento de Interação: Atua como coordenador. Ele classifica a orientação motivacional do cliente, seleciona uma estratégia de terapeuta apropriada ($\ell^*_T$) do conjunto de códigos de EM (Reflexão, Pergunta, Input) e atualiza o estado compartilhado do diálogo. Este agente impõe restrições de nível macro, como manter uma proporção de Reflexão para Pergunta > 2,0.
• Agente Terapeuta: Gera uma resposta condicionada à estratégia selecionada e ao estado atual do diálogo.

O processo itera até que uma condição de término seja atendida (por exemplo, pistas de encerramento natural ou um limite máximo de turnos), resultando em uma conversa totalmente simulada e consistente com a EM.

Contribuições Principais

1. Fluxo de Trabalho Multi-Agente: O desenho de um fluxo de trabalho estruturado que integra a contextualização de histórias situacionais com interações codificadas em EM dinamicamente controláveis, benchmarkado em seis LLMs representativos.
2. Protocolo de Avaliação Específico para EM: A proposta de um sistema de avaliação de dois níveis combinando métricas léxicas padrão com seis métricas comportamentais específicas de EM (por exemplo, Adesão à Estratégia, Proporção de Reflexão Complexa, Proporção de Perguntas Abertas) e uma rubrica de seis dimensões para juízes humanos e LLMs.
3. Construção de Conjunto de Dados: A criação de um conjunto de dados compreendendo 6.000 diálogos simulados multi-turno fundamentados em 1.000 pares únicos de questionário-história, cobrindo 12 códigos de EM e 13 domínios de sintomas.

Resultados Experimentais

O estudo avaliou seis LLMs (GPT-5-Nano, LLaMA 3.1-8B, Phi-4-14B, OpenChat-7B, Gemma-7B, Qwen 2.5-7B) utilizando o framework StoryMI.

• Adesão à Estratégia: O framework permitiu com sucesso o controle de nível macro. Modelos como GPT, OpenChat, Gemma e Qwen alcançaram pontuações de Adesão à Estratégia >80%, alinhando-se estreitamente com a distribuição alvo de EM (50% reflexões, 25% perguntas, 20% input). Todos os modelos excederam o limiar recomendado para Proporção de Reflexão Complexa (>50%).
• Qualidade Léxica vs. Clínica: Métricas léxicas (Perplexidade, Distinct-2) isoladamente falharam em prever a qualidade terapêutica. Por exemplo, o Phi-4-14B mostrou alta diversidade léxica, mas baixa Adesão à Estratégia, enquanto o Qwen demonstrou alta Profundidade de Reflexão e Proporções de Reflexão Complexa apesar de pontuações léxicas moderadas.
• Estudos de Ablação: A remoção de códigos de EM causou uma queda significativa na Adesão à Estratégia (de 80,9% para 64,2%), confirmando que a codificação em nível de interação é essencial para o controle macro. A remoção de histórias situacionais reduziu a Entropia de Código, indicando que a fundamentação narrativa enriquece a diversidade comportamental.
• Alinhamento Humano: Especialistas humanos e juízes LLM mostraram forte concordância em "Profundidade" e "Progresso", mas divergência significativa em "Naturalidade", "Empatia" e "Adesão". Notavelmente, modelos com Proporções de Perguntas Abertas mais altas receberam classificações humanas de Empatia mais elevadas, validando o princípio de EM de que perguntas abertas sinalizam uma postura terapêutica aceitadora.

Significado e Limitações

O artigo postula que a coordenação estruturada multi-agente permite a geração de diálogos terapeuticamente coerentes que são tanto fundamentados situacionalmente quanto controláveis estrategicamente. O trabalho demonstra que a qualidade no estilo de EM pode ser moldada pelo controle de estratégias de diálogo, em vez de depender exclusivamente da escala do modelo.

Os autores enfatizam que seu framework de avaliação fornece uma base para pesquisas futuras, particularmente na extensão da geração controlável para terapias multimodais e na validação de sistemas em configurações reais de treinamento clínico. Eles reconhecem limitações, incluindo a dependência de normas diagnósticas ocidentais do DSM-5, a falta de interação com clientes reais e a necessidade de estudos longitudinais para estabelecer ligações causais entre estratégias específicas de EM e resultados terapêuticos. O trabalho é apresentado como uma ferramenta de pesquisa para simulação e treinamento, não como uma substituição direta para profissionais de saúde mental qualificados.