Resumo Técnico: Co-Treinamento de Duplo Agente para Orientação de Saúde via Otimização Adversarial Implícita de Preferências

Declaração do Problema

A Entrevista Motivacional (EM) é uma abordagem comprovada para melhorar a saúde mental e promover mudanças de comportamento, mas sua escalabilidade é limitada pela escassez de orientadores humanos treinados e pelos altos custos de serviço. Embora existam assistentes de IA, os métodos de treinamento existentes para orientação de saúde geralmente otimizam apenas um lado da interação: ou treinam um agente de diálogo contra um ambiente de cliente fixo, ou treinam um simulador de cliente contra um assistente fixo. Essa configuração assimétrica restringe a exploração do espaço de interação e falha em desenvolver eficientemente as capacidades complexas e sensíveis ao contexto necessárias para uma orientação de alta qualidade. Além disso, o sucesso na EM depende da qualidade do comportamento ao longo de toda a sessão, e não apenas do resultado final, exigindo otimização em múltiplas dimensões (por exemplo, cultivar discurso de mudança, suavizar discurso de sustentação, empatia) em vez de uma única recompensa escalar.

Metodologia: DACT

Os autores propõem o DACT (Co-Treinamento de Duplo Agente), um framework que treina conjuntamente um agente orientador de saúde e um simulador de cliente por meio de diálogo interativo. A inovação central é uma dinâmica de treinamento adversarial implícita, onde o cliente aprende a gerar interações cada vez mais desafiadoras, forçando o orientador a melhorar.

1. Construção da Árvore de Diálogo de Preferências

Em vez de depender de demonstrações de especialistas caras, o DACT constrói árvores de preferência por meio de um procedimento de expansão (rollout):

• Inicialização: Uma árvore de diálogo é inicializada com um persona de cliente aleatório.
• Ramificação: Em estados de diálogo selecionados, o orientador amostra múltiplos enunciados candidatos. Para cada enunciado do orientador, o cliente amostra independentemente múltiplas respostas.
• Expansão: Esse processo de ramificação e expansão continua recursivamente até uma profundidade predefinida, criando uma árvore balanceada onde nós irmãos (enunciados na mesma profundidade) são comparados sob orçamentos de expansão iguais.

2. Juiz LLM Multidimensional e Estimativa de Valor-Q

Para avaliar a qualidade da orientação sem especialistas humanos, os autores empregam um juiz LLM multidimensional (baseado no manual de codificação MITI 4.2.1) que pontua os enunciados do orientador em três dimensões:

• Cultivar Discurso de Mudança (CCT)
• Suavizar Discurso de Sustentação (SST)
• Empatia

O juiz opera em três etapas: (1) identificar o estado do cliente (por exemplo, engajado, ambivalente, emocional), (2) rotular a função de cada frase na resposta do orientador (por exemplo, pergunta aberta, reflexão, conselho não solicitado) e (3) agregar pontuações baseadas em raciocínio.

• Propagação do Valor-Q: Pontuações imediatas no nível da troca são propagadas para cima através da árvore usando um backup recursivo com desconto para estimar o valor de longo prazo ($Q$) de um enunciado do orientador, considerando os efeitos a jusante na trajetória do diálogo.

3. Treinamento Adversarial Implícito de Preferências

O framework utiliza Otimização Direta de Preferências (DPO) para ambos os agentes, mas com objetivos opostos derivados dos mesmos valores-Q:

• Otimização do Orientador: O orientador é treinado em pares de preferência dominantes por Pareto. Uma resposta do orientador $A$ é preferida a $B$ se o vetor-Q de $A$ dominar fracamente o de $B$ em todas as dimensões e dominar estritamente em pelo menos uma. Isso garante que o orientador melhore em todas as dimensões simultaneamente, sem compensações.
• Otimização do Cliente: O cliente é treinado de forma adversarial. Seu sinal de preferência é a negação dos valores-Q do orientador ($S(u) = -Q(u)$). O cliente é treinado para preferir enunciados que resultem em menor qualidade de orientação a jusante (ou seja, valores-Q menores para o orientador). Isso induz o cliente a aprender comportamentos de EM "mais difíceis" (por exemplo, resistência forte, ambivalência complexa, angústia emocional) que desafiam as fraquezas atuais do orientador.

4. Interpretação como Jogo Estocástico

Os autores demonstram que esse processo de co-treinamento admite uma interpretação natural como jogo estocástico. O orientador e o cliente podem ser vistos como dois jogadores em um jogo com utilidades latentes opostas: o orientador busca maximizar a qualidade de orientação multidimensional a jusante, enquanto o cliente busca minimizá-la. As atualizações alternadas de DPO correspondem a etapas de melhoria de política regularizadas por KL para esses jogadores acoplados adversarialmente.

Contribuições Principais

1. Construção de Árvore de Preferências de Duplo Agente: Um método eficiente e de baixo custo para coletar pares de preferência durante o treinamento usando expansões de árvore e um juiz LLM multidimensional, evitando a dependência de demonstrações de especialistas.
2. Juiz LLM Multidimensional: Um sistema de avaliação clinicamente fundamentado que decompõe o julgamento em identificação de estado, rotulagem funcional e agregação baseada em raciocínio para estimar valores-Q em CCT, SST e Empatia.
3. Treinamento Adversarial Implícito de Preferências: Uma dinâmica de treinamento inovadora onde o cliente é treinado para reverter as preferências do orientador, criando um currículo adversarial auto-ajustável que expõe o orientador a situações conversacionais cada vez mais difíceis sem agendamento manual de dificuldade.
4. Formalização como Jogo Estocástico: Uma interpretação teórica das dinâmicas de co-treinamento como um jogo estocástico de dois jogadores com utilidades opostas.

Resultados Experimentais

Os autores avaliaram o DACT contra três baselines: uma baseline de Ajuste Fino Supervisionado (SFT), uma baseline GPT-5.5 com prompt padrão (GPT-COACH) e uma baseline GPT-5.5 com a rubrica de pontuação embutida no prompt (GPT-RUBRIC).

• Desempenho: O DACT alcançou a maior qualidade geral de orientação (pontuação média3) em quatro condições de cliente, incluindo um cliente de "teste de estresse" in-distribuição (R8-CLIENT) e três simuladores out-of-distribution (Emocional, Resistente, Ambivalente). No desafiador R8-CLIENT, o DACT obteve 4,25, superando significativamente a baseline GPT-RUBRIC (3,33).
• Supressão de Padrões Antipadrão: O DACT reduziu a taxa de padrões antipadrão de EM (comportamentos clinicamente indesejáveis) em 20 a 40 vezes em comparação com o próximo melhor método. Por exemplo, no R8-CLIENT, o DACT teve uma taxa de padrões antipadrão de 0,41%, enquanto o GPT-RUBRIC teve 16,15%.
• Dinâmicas de Co-evolução: Estudos de ablação mostraram que a co-evolução é crítica. Quando o cliente foi congelado (Cliente-Congelado), o desempenho do orientador estagnou precocemente. Apenas com o cliente adaptativo o orientador continuou a melhorar, particularmente nas dimensões CCT e SST.
• Alinhamento Humano: Um estudo de classificação cega com um praticante treinado em EM mostrou forte concordância (77,5%) entre as preferências do juiz LLM e as classificações de especialistas humanos, validando o juiz LLM como um proxy para avaliação de especialistas.

Significado e Alegações

O artigo afirma que o DACT aborda efetivamente as limitações do treinamento unilateral, criando um loop de autoaperfeiçoamento onde o orientador e o cliente co-evoluem. O significado reside em:

• Escalabilidade: Fornecer um método para treinar orientadores de saúde de alta qualidade em IA sem o custo proibitivo de demonstrações de especialistas humanos.
• Robustez: O processo de co-treinamento produz orientadores que generalizam bem para comportamentos de clientes difíceis e fora da distribuição e suprimem padrões antipadrão clinicamente prejudiciais.
• Insight Teórico: O framework une a otimização de preferências e a teoria dos jogos, mostrando que dinâmicas adversariais implícitas podem ser formalizadas como um jogo estocástico.

Os autores permanecem modestos, observando que os resultados são baseados em um único modelo base e que a magnitude da melhoria em testes de estresse in-distribuição pode variar sob avaliação completa de especialistas MITI. Eles identificam a replicação em modelos base adicionais e a avaliação completa por especialistas como os próximos passos necessários.