Resumo Técnico: PsychBench

1. O Problema

A integração de Grandes Modelos de Linguagem (LLMs) em fluxos de trabalho clínicos para simulação de pacientes, treinamento e suporte à saúde mental tem acelerado rapidamente. No entanto, a validade epidemiológica dessas simulações em nível populacional permanece inexplorada.

O artigo identifica um novo modo de falha crítico, distinto das recusas de segurança ou alucinações factuais: a dissociação entre coerência e fidelidade.

• Coerência: Os modelos geram pacientes individualmente plausíveis, clinicamente coerentes e que passam em verificações de lógica interna (ex: critérios de porta de entrada do DSM-5).
• Fidelidade: Ao nível populacional, os modelos falham em representar a distribuição real dos dados. Eles comprimem a variância, eliminam as caudas da distribuição (casos atípicos) e codificam estereótipos demográficos, criando uma população sintética que "parece certa" mas não representa a realidade epidemiológica.

2. Metodologia

O estudo apresenta o PsychBench, a primeira auditoria epidemiológica sistemática de simulação de pacientes por LLMs.

• Modelos Avaliados: Quatro modelos de ponta de diferentes contextos de desenvolvimento:
  • EUA: GPT-4o-mini (OpenAI), Gemini-3-Flash (Google).
  • China: DeepSeek-V3 (DeepSeek), GLM-4.7 (Zhipu AI).
• Dados Sintéticos: Foram gerados 28.800 perfis de pacientes.
• Variáveis Demográficas: 120 coortes interseccionais cruzando:
  • Raça/Etnia (5 níveis), Identidade de Gênero (4 níveis), Nível Socioeconômico (3 níveis) e Status de Relacionamento (2 níveis).
• Instrumentos Clínicos: Quatro escalas validadas administradas via prompt:
  • PHQ-8 (Depressão), GAD-7 (Ansiedade), AUDIT-C (Alcoolismo) e PCL-5 (TEPT).
• Ground Truth (Base de Verdade): Os dados sintéticos foram comparados com bases de dados populacionais reais: NHANES (2005–2018) e NESARC-III (2012–2013).
• Condições de Prompt: Dois cenários foram testados:
  1. Condição Clínica: Terceira pessoa (perfil injetado por um profissional).
  2. Condição Narrativa: Primeira pessoa (auto-descrição do usuário).
• Métricas de Análise:
  • Índice de Estereótipo (SI): Razão entre o desvio padrão do modelo e o da população ($SI = \sigma_{modelo} / \sigma_{população}$). $SI < 1.0$ indica compressão de variância.
  • Estabilidade de Limiar: Frequência com que os pacientes cruzam limites diagnósticos entre execuções (runs).
  • Divergência Estrutural de Rede: Distância de Frobenius entre matrizes de correlação de sintomas para diferentes grupos demográficos.

3. Principais Contribuições

O estudo introduz cinco contribuições fundamentais para a avaliação de LLMs na saúde:

1. Framework de Fidelidade de Variância: Quantificação da compressão de variância através do Índice de Estereótipo, demonstrando que categorias socioeconômicas sofrem compressão severa (SI = 0.53–0.55).
2. Análise de Estabilidade de Limiar: Evidência de que, apesar de alta correlação contínua ($r > 0.90$), mais de um terço dos pacientes cruzam limiares diagnósticos entre execuções, inviabilizando o uso para triagem confiável.
3. Auditoria de Estrutura de Rede: Demonstração de que os modelos representam a estrutura latente da psicopatologia de forma diferente para grupos demográficos, com divergências estruturais significativas para populações transgênero e de baixa renda.
4. Viés de Calibração Sistemático: Identificação de superestimação generalizada da gravidade da depressão para a maioria dos grupos, com uma inversão crítica (subestimação) para mulheres transgênero.
5. Validação de Lógica Clínica vs. Representatividade: Confirmação de que os modelos não violam regras clínicas internas, mas falham na representatividade populacional, um erro que métricas tradicionais de validação não detectam.

4. Resultados Chave

A. Compressão de Variância e Coerência-Fidelidade

• Compressão Global: Todos os modelos comprimiram a variância da população real.
  • DeepSeek-V3: Compressão mais severa (62% de perda de variância, SI = 0.38).
  • GLM-4.7: Menor compressão (14% de perda, SI = 0.86).
• Dissociação: Os modelos mantiveram coerência clínica perfeita (0 violações de lógica DSM-5), mas falharam em fidelidade populacional. Pacientes "de livro didático" são gerados, enquanto casos atípicos são apagados.

B. Instabilidade de Limiar Diagnóstico

• Alta Flutuação: 36,66% dos casos cruzaram limiares diagnósticos (ex: de depressão leve para moderada) entre duas execuções, apesar de uma correlação contínua de $r=0.91$.
• Impacto: A triagem clínica baseada nesses modelos seria instável. O instrumento PHQ-8 (depressão) mostrou 7x mais instabilidade de limiar do que o PCL-5 (TEPT).
• Efeito de Contexto: A entrada clínica (terceira pessoa) gerou 34% mais cruzamentos de limiar e maior compressão de variância do que a entrada narrativa (primeira pessoa).

C. Divergência Estrutural de Rede

• Os modelos criam redes de sintomas estruturalmente diferentes para diferentes grupos.
• Transgênero: A divergência estrutural para mulheres transgênero foi 3 a 5 vezes maior do que as diferenças raciais ($d_F = 1.14$ vs $d_F \approx 0.24-0.37$), sugerindo que o modelo não entende a depressão transgênero da mesma forma que a cisgênero.

D. Viés de Calibração e Estereótipos

• Superestimação Geral: A maioria dos grupos teve a gravidade da depressão superestimada em +3,6 a +6,1 pontos (Cohen's $d$ de 1,13 a 1,91), provavelmente devido ao treinamento em corpora clínicos com taxas base elevadas.
• Subestimação Crítica (Mulheres Trans): Mulheres transgênero tiveram a gravidade subestimada em -5,42 pontos ($d = -1,55$). Os modelos capturaram apenas 8% a 46% da elevação esperada de estresse minoritário.
• Estereótipos de Sintomas:
  • Homens negros receberam pontuações mais altas de irritabilidade (37% vs 22% para homens brancos).
  • Mulheres receberam pontuações mais altas de fadiga (32% vs 24% para homens).

E. Comparação de Modelos

• Trade-off Precisão-Estabilidade: Não há modelo perfeito.
  • GLM-4.7: Mais preciso (menor viés), mas menos estável (alta taxa de "flip" de categoria).
  • DeepSeek-V3: Mais estável, mas com viés sistemático alto e compressão extrema.
  • Gemini-3-Flash: Superestimação severa de gravidade.
  • GPT-4o-mini: Alta instabilidade individual mascarada por estabilidade agregada.

5. Significado e Implicações

Para a Saúde Pública e Clínica

• Risco de Patologização: Para a maioria dos usuários, os ferramentas de saúde mental baseadas em LLMs correm o risco de patologizar indevidamente o sofrimento ordinário (superestimação).
• Apagamento Algorítmico: Para usuários transgênero, o risco é o oposto: a supressão algorítmica de sinais de angústia genuína, oferecendo falsa segurança quando a intervenção clínica seria necessária.
• Treinamento Clínico: Profissionais treinados com esses dados sintéticos desenvolverão expectativas diagnósticas distorcidas, baseadas em uma população que não existe na realidade.

Para Desenvolvimento e Regulamentação

• Falha nas Métricas Atuais: Métricas padrão (correlação, plausibilidade individual) falham em detectar esses erros populacionais.
• Necessidade de Auditoria Demográfica: É imperativo implementar auditorias estratificadas por interseccionalidade e métricas de fidelidade de variância (como o Índice de Estereótipo).
• Treinamento e Alinhamento: As falhas parecem ser inerentes aos paradigmas atuais de RLHF (Reinforcement Learning from Human Feedback) e alinhamento de segurança, que penalizam outliers e reforçam a média. A segurança, ao tentar evitar danos, pode estar apagando sinais válidos de sofrimento de populações marginalizadas.
• Validação Contextual: A validação deve ser específica para o modo de entrada (clínico vs. pessoal), pois os comportamentos do modelo variam significativamente entre eles.

Conclusão: O PsychBench revela que, embora os LLMs atuais sejam excelentes em simular indivíduos coerentes, eles são falhos em simular populações. A implementação desses modelos em saúde mental sem correções fundamentais na fidelidade epidemiológica pode exacerbar disparidades de saúde e fornecer diagnósticos imprecisos.