Resumo Técnico: Simulando Pacientes com Transtornos Alimentares com LLMs

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) são cada vez mais implantados como substitutos para participantes humanos em treinamento clínico, pesquisa e sujeitos experimentais. Um pré-requisito crítico, embora subexaminado, para essas aplicações é a estabilidade da persona: a manutenção coerente de um perfil psicológico atribuído ao longo e dentro das conversas. Se o perfil psicológico de um paciente simulado derivar no meio da conversa ou mudar de forma imprevisível entre as sessões, as conclusões subsequentes sobre fenômenos sociais, competência clínica ou efeitos de tratamento tornam-se artefatos de inconsistência do modelo, em vez de descobertas genuínas.

Os paradigmas de avaliação atuais falham em detectar essas falhas. Sistemas de pacientes simulados são tipicamente avaliados pela realismo do diálogo ou precisão diagnóstica, enquanto os benchmarks de persona visam configurações fictícias ou traços de personalidade genéricos, em vez de perfis clinicamente fundamentados com instrumentos validados. Além disso, a literatura existente sugere evidências mistas: enquanto alguns benchmarks relatam respostas estáveis, outros observam que a adição de personas não melhora de forma confiável o desempenho na tarefa, e o Aprendizado por Reforço com Feedback Humano (RLHF) pode induzir a sicofancia, que se agrava em diálogos de múltiplos turnos.

Este estudo aborda a lacuna específica de avaliar a validade psicológica e a estabilidade temporal de pacientes simulados por LLM com transtornos alimentares (TAs). Os TAs são condições psiquiátricas com altas taxas de mortalidade e lacunas significativas de treinamento entre clínicos. Embora pacientes com TA simulados por IA tenham mostrado promessa na redução da ansiedade de estagiários, sua estabilidade psicológica permanece não avaliada.

Metodologia

Desenho Experimental

Os autores operacionalizam a estabilidade através de dois experimentos complementares envolvendo seis LLMs (Claude Sonnet 4.6, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Flash, GPT OSS 120B, Llama 3.3 70B) e cinco personas de TA derivadas de vinhetas de casos publicados (Bulimia Nervosa, Anorexia Nervosa Binge-Purge, Transtorno de Compulsão Alimentar/Síndrome da Noite Compulsiva, Transtorno de Compulsão Alimentar e Transtorno de Purgação).

1. Estabilidade Entre Conversas (Between-Conversation Stability): Cada modelo gera uma narrativa em primeira pessoa descrevendo três situações relacionadas à alimentação e completa instrumentos de autorrelato. Avaliadores LLM independentes (três modelos de diferentes provedores) completam então os mesmos instrumentos baseados apamente na narrativa, sem acesso às instruções originais da persona. Isso testa a consistência entre execuções independentes ($N=50$ por condição).
2. Estabilidade Dentro da Conversa (Within-Conversation Stability): O LLM alvo engaja-se em uma conversa neutra de 9 trocas com um parceiro roteirizado. Avaliações de autorrelato e de observador são acionadas após três blocos de tópicos (trocas 3, 6 e 9) para detectar deriva ao longo do tempo ($N=20$ por condição).

Construção de Persona e Riqueza de Prompt

Para testar a necessidade de detalhamento do prompt, o estudo manipula a riqueza do prompt através de três níveis baseados no modelo transdiagnóstico de Fairburn:

• Vinheta Completa: Descrições clínicas completas de casos, incluindo demografia, histórico, trauma e contexto social (excluindo pontuações de avaliação).
• Mecanismos Mantenedores Centrais: Apenas fatores mantenedores ativos (ex: restrição dietética, ciclos de compulsão-purgação, verificação corporal) sem contexto biográfico.
• Mínimo: Rótulo diagnóstico, idade, gênero, IMC e frequências comportamentais quantificadas apenas.

Medição

O desfecho primário é o Questionário de Exame de Transtornos Alimentares (EDE-Q), um instrumento validado de 28 itens com uma escala de 0 a 6. Pontuações de verdade fundamental (Ground-Truth - GT) estão disponíveis para todos os cinco casos. Um framework de dupla avaliação é empregado:

• Autorrelato: A persona completa o questionário baseada em sua narrativa gerada.
• Avaliações de Observador: Três avaliadores LLM independentes avaliam a transcrição sob a perspectiva do indivíduo.
• Medidas Secundárias: A Avaliação de Comprometimento Clínico (CIA) e o Teste de Atitudes Alimentares (EAT-26) são co-administrados para validade convergente.

Principais Contribuições

1. Framework de Dupla Avaliação: Uma metodologia inovadora que mede conjuntamente os autorrelatos da persona e as avaliações de observadores independentes usando instrumentos clínicos validados (EDE-Q) com agregação de avaliadores de múltiplos provedores para mitigar o viés de "LLM-como-juiz".
2. Manipulação de Prompt Teoricamente Fundamentada: Uma variação sistemática da riqueza do prompt baseada no modelo de Fairburn, distinguindo entre mecanismos mantenedores ativos e fatores predisponentes, para determinar a informação mínima necessária para uma simulação plausível.
3. Avaliação de Estabilidade e Precisão: Uma avaliação abrangente através de seis LLMs e cinco personas de TA, utilizando decomposição de variância para identificar as contribuições relativas da identidade do modelo, do caso da persona e da riqueza do prompt para a variação das pontuações.

Resultados

Estabilidade

• Entre Conversas: Os LLMs exibem uma estabilidade notavelmente alta. Os coeficientes de variação média são de 2–4% para cinco de seis modelos, e 30% das combinações item-condição produzem pontuações idênticas em todas as 50 execuções independentes. Este comportamento quase determinístico é mais pronunciado para itens cognitivo-afetivos (Preocupação com Forma e Peso).
• Dentro da Conversa: Estender a conversa para 9 trocas não melhora significativamente a precisão; em vez disso, as pontuações para quatro de cinco modelos derivam para cima (aumentando a gravidade) ao longo do diálogo, afastando-se da verdade fundamental.

Precisão e Sobreavaliação (Overshoot)

• Sobreavaliação Sistemática: Todos os modelos sistematicamente sobreavaliam a gravidade da verdade fundamental em 12–30% da amplitude da escala (0,7–1,8 pontos em uma escala de 0–6).
• Compressão Dependente da Gravidade: A sobreavaliação é mais severa para casos moderados. Por exemplo, o Transtorno de Purgação (GT = 2,64) é inflado em +1,44 a +2,73 pontos, enquanto a Bulimia Nervosa (GT = 5,25) é reproduzida dentro de ±0,43 pontos.
• Inversões de Ranking: Os LLMs falham em classificar corretamente a gravidade. Em quatro de seis modelos, a Anorexia Nervosa Binge-Purge (GT = 4,30) pontua acima da Bulimia Nervosa (GT = 5,25), apesar de possuir uma gravidade de verdade fundamental menor.

Mecanismo: Estereotipagem Seletiva

O estudo identifica a estereotipagem seletiva como o mecanismo que impulsiona esses erros:

• Itens Comportamentais: Itens que medem comportamentos concretos (ex: Restrição Dietética) diferenciam os casos de forma eficaz, respondendo ao conteúdo específico da vinheta.
• Itens Cognitivo-Afetivos: Itens que medem insatisfação corporal e preocupação com o peso (Preocupação com Forma, Preocupação com Peso) assumem por padrão o teto (perto da pontuação máxima), independentemente da gravidade do caso.
• Consequência: Como os itens cognitivo-afetivos saturam no teto para todos os diagnósticos de TA, a pontuação global é impulsionada quase inteiramente pela subescala comportamental de Restrição. Isso leva a inversões de ranking onde casos com extrema restrição dietética (mesmo sendo menos graves no total) pontuam acima de casos com menos restrição, mas maior patologia geral.

Riqueza de Prompt

A riqueza do prompt contribui de forma negligível (1%) para a variância da pontuação. Prompts simplificados (Mínimo) provocam respostas quase equivalentes às vinhetas clínicas completas, sugerindo que a sobreavaliação se origina de vieses de pré-treinamento e não de insuficiência de contexto.

Significância e Alegações

O artigo conclui que os LLMs são paradoxalmente muito estáveis e muito imprecisos. Embora mantenham personas consistentes, essa estabilidade reflete uma estabilidade de viés em vez de fidelidade à realidade clínica.

• O "Meio Perdido": Os LLMs podem retratar patologias alimentares graves, mas carecem de uma representação de apresentações clínicas moderadas. Isso cria um "meio perdido" onde a validação agregada pode parecer adequada enquanto mascara falhas críticas nos intervalos de gravidade mais relevantes para o treinamento clínico.
• Limitações de Calibração: Como o ordenamento de casos é não-monotônico (ex: AN-BP > BN, apesar do GT menor), calibrações simples pós-hoc ou transformações monotônicas não podem corrigir as saídas. A distorção origina-se no nível da subescala.
• Implicações para Implantação: Os achados sugerem que os LLMs atuais ainda não podem servir como substitutos válidos para a gravidade graduada de transtornos alimentares no treinamento clínico ou pesquisa. Melhorar a fidelidade requer fundamentação clínica ao nível do item no momento da geração e diversidade representacional que os dados de treinamento atuais não fornecem. O estudo não afirma que os LLMs são inúteis para terapia, mas que seu uso como pacientes simulados para avaliar competência clínica ou efeitos de tratamento está atualmente comprometido por essa estereotipagem sistemática.

Os autores afirmam explicitamente que seus achados replicam e estendem trabalhos anteriores sobre simulações de TDAH, mostrando que autorrelatos consistentes podem refletir imprecisão consistente em vez de fidelidade consistente. Eles pedem futuras replicações transdiagnósticas com instrumentos comportalmente graduados e estudos de linha de base humana para determinar se essa sobreavaliação é específica do modelo ou inerente ao autorrelato simulado.