Analyzing LLM Reasoning to Uncover Mental Health Stigma

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) estejam cada vez mais implantados em aplicações de saúde mental (por exemplo, chatbots de terapia), eles exibem estigma significativo em relação a indivíduos com condições psicológicas. Avaliações anteriores, como as de Moore et al. (2025), basearam-se principalmente em Questões de Múltipla Escolha (MCQs) para medir o estigma.

Os autores identificam uma limitação crítica nesta abordagem:

• Lógica Oculta: As MCQs avaliam apenas a saída final. Um LLM pode selecionar uma resposta "não estigmatizante" enquanto simultaneamente gera um raciocínio que contém estereótipos prejudiciais, falácias lógicas ou vieses sutis.
• Raciocínio Infiel: Os modelos podem chegar a respostas corretas através de lógica defeituosa (por exemplo, aceitar um paciente apenas porque sua condição é tratável, implicando que condições crônicas merecem rejeição).
• Safetywashing (Lavagem de Segurança): Confiar exclusivamente em métricas baseadas em resultados pode criar uma falsa sensação de segurança ("safetywashing"), onde os modelos parecem seguros em benchmarks, mas abrigam lógica interna estigmatizante que poderia se manifestar em interações abertas e do mundo real.

2. Metodologia

O estudo introduz um framework para analisar as etapas intermediárias de raciocínio (Chain-of-Thought) dos LLMs, em vez de apenas suas respostas finais.

A. Benchmark Estendido

Os autores expandiram um benchmark existente de estigma em saúde mental (originalmente baseado nos Estudos Nacionais de Estigma dos EUA) para incluir:

• Novas Condições: Adição de quatro condições clinicamente significativas: Transtorno de Personalidade Borderline (TPB), Transtornos Alimentares (TA), Transtorno Bipolar (TB) e Psicose (PSY).
• Conjunto de Perguntas: Expansão de 7 para 14 perguntas por vigneta, incluindo novas consultas sobre probabilidade de automutilação e atribuições causais (por exemplo, "caráter ruim" vs. "desequilíbrio químico").
• Vignetas: Descrições de indivíduos fictícios com sintomas, mas sem rótulos diagnósticos explícitos, cobrindo 8 condições no total.

B. Modos de Avaliação

O estudo comparou quatro modos de avaliação distintos em oito LLMs (incluindo as famílias Claude, Llama, DeepSeek e GPT-OSS):

1. Vanilla: O modelo atua como terapeuta, mas gera apenas a resposta final da MCQ (sem raciocínio).
2. CoT (Chain-of-Thought): O modelo atua como terapeuta, gera raciocínio e, em seguida, gera a resposta final.
3. Raciocínio Estigmatizante (SR): Avalia o próprio texto do raciocínio quanto a traços estigmatizantes, independentemente da resposta final.
4. Não-Terapeuta (NT): Uma condição de controle onde o modelo é instruído a não interpretar o papel de terapeuta, para isolar vieses induzidos pela persona.

C. Taxonomia de Estigma

Em colaboração com psicólogos clínicos, os autores desenvolveram uma taxonomia granular e fundamentada clinicamente de padrões de raciocínio estigmatizante. Através de refinamento iterativo e anotação por especialistas, estabeleceram seis categorias principais (originalmente oito, com duas não elicita das):

1. Periculosidade/Ameaça: Suposições de violência, imprevisibilidade ou falta de controle.
2. Incompetência/Incapacidade: Suposições de raciocínio prejudicado ou incapacidade de cumprir papéis.
3. Patologização do Normal: Enquadrar comportamentos culturais normais ou lutas diárias como sintomas de doença mental.
4. Indesejabilidade Social e Alteridade: Desejo de distância social, enquadrando indivíduos como "anormais" ou "outrização benevolente" (inclusão performativa mascarando exclusão).
5. Carga/Esgotamento: Enquadrar o indivíduo como um custo econômico ou social.
6. Estigma do Tratamento: Aceitação condicional baseada na busca por tratamento ou na visão de que o tratamento é incompatível com a vida normal.

D. Pipeline de Anotação

• Validação Humana: Especialistas clínicos anotaram 100 traços de raciocínio para validar a taxonomia, alcançando concordância substancial entre anotadores (Cohen's $\kappa$ = 0,748).
• Escalonamento Automatizado: Para lidar com o conjunto de dados completo (336 prompts por modelo), os autores utilizaram o Claude Opus 4.5 como um "LLM como Juiz" para rotular automaticamente os traços de raciocínio. Este juiz automatizado foi validado contra anotações humanas com alta precisão (96,6%) e recall (93,3%).

3. Resultados Principais

A. O Raciocínio Revela Estigma Oculto

A descoberta mais significativa é que avaliar o raciocínio revela substancialmente mais estigma do que as avaliações de MCQ.

• Muitos modelos selecionaram a resposta "correta" (não estigmatizante) da MCQ, mas incluíram linguagem estigmatizante em seus traços de raciocínio.
• Por exemplo, um modelo pode concordar em ser amigo de uma pessoa (resposta correta), mas justificar dizendo: "Eu seria amigo deles se eles fizessem tratamento", implicando rejeição caso contrário.
• Modo SR vs. MCQ: O modo "Raciocínio Estigmatizante" detectou taxas significativamente mais altas de viés em todos os modelos em comparação com os modos de resposta final "Vanilla" ou "CoT".

B. O Paradoxo da "Persona de Terapeuta"

• Contrariando as expectativas, instruir modelos a adotar uma persona de terapeuta frequentemente aumentou o raciocínio estigmatizante.
• Modelos no papel de terapeuta foram mais propensos a patologizar comportamentos normais (por exemplo, interpretar estresse cotidiano ou práticas religiosas como sintomas de doença mental) em comparação com o grupo de controle não-terapeuta.
• Isso sugere que os LLMs atuais carecem da nuance para distinguir entre diagnóstico clínico e variação humana normal quando forçados a um papel diagnóstico.

C. Padrões Específicos por Condição

• Alto Estigma: Transtornos Alimentares, Transtorno Bipolar, Dependência de Álcool e Esquizofrenia receberam o maior número de tags de estigma.
• Vieses Específicos:
  • Esquizofrenia/Álcool: Dominados por suposições de "Periculosidade".
  • Transtornos Alimentares: Dominados por "Incompetência" e "Patologização" (enquadrar dieta como uma falha de vontade).
  • Problemas Diários (Controle): Mesmo para vignetas descrevendo altos e baixos da vida normal, os modelos frequentemente patologizaram o comportamento, uma descoberta perdida por avaliações baseadas apenas na resposta final.

D. Consistência do Modelo

• Os padrões de estigma foram altamente consistentes entre diferentes famílias de modelos (Claude, Llama, DeepSeek, GPT), sugerindo que a questão decorre de dados de treinamento compartilhados e objetivos de otimização, em vez de arquiteturas específicas de modelo.
• O Claude Opus 4.5 mostrou desempenho ligeiramente melhor em evitar a patologização de experiências normais em comparação com outros modelos.

4. Contribuições Principais

1. Primeira Análise em Nível de Raciocínio: O primeiro estudo a analisar sistematicamente a lógica interna dos LLMs em relação ao estigma em saúde mental, demonstrando que respostas finais são insuficientes para avaliação de segurança.
2. Taxonomia Clínica: Introdução de uma taxonomia estruturada e validada clinicamente para identificar padrões de raciocínio estigmatizante sutis e overtos em IA.
3. Benchmark Estendido: Lançamento de um benchmark expandido cobrindo condições psicológicas adicionais (TPB, TA, TB, Psicose) e um conjunto mais rico de perguntas.
4. Mudança Metodológica: Um chamado para ir além do "safetywashing" via MCQs e adotar a análise em nível de raciocínio como padrão para segurança de IA em domínios de alto risco, como a saúde.

5. Significado e Implicações

• Risco de Safetywashing: O artigo destaca que modelos que passam nos benchmarks atuais de segurança podem ainda ser perigosos na prática porque seu raciocínio interno depende de estereótipos prejudiciais.
• Sensibilidade à Persona: A descoberta de que "personas de terapeuta" podem induzir mais viés (especificamente super-patologização) desafia a prática comum da indústria de instruir modelos a "atuar como terapeutas".
• Direções Futuras: Os autores argumentam que corrigir LLMs para saúde mental requer mais do que apenas filtragem de saída ou melhorias no prompting; provavelmente exige mudanças nos objetivos de treinamento subjacentes para reduzir a dependência de estereótipos generalizados e melhorar a distinção entre variação humana normal e patologia.
• Liberação de Recursos: Os autores estão liberando o conjunto de dados anotado e o código para facilitar futuros esforços de mitigação e o desenvolvimento de classificadores especializados para detectar traços estigmatizantes.

Limitações

• O estudo depende de MCQs estruturadas e vignetas, que podem não capturar totalmente a complexidade de conversas terapêuticas abertas e de múltiplas turnos.
• Duas categorias de estigma ("Cronicidade/Desesperança" e "Fraqueza/Falha Moral") não foram elicita das no estudo, embora os autores observem que isso pode ser devido a limitações no design das perguntas, e não à robustez do modelo.
• O pipeline de anotação automatizada, embora preciso, é computacionalmente caro, sugerindo a necessidade de modelos menores e especializados para detecção em grande escala no futuro.