Resumo Técnico: Padrões de Ponderação de Evidências em Triagem Psiquiátrica por Modelos de Linguagem de Grande Escala

Declaração do Problema

A demanda global por cuidados em saúde mental supera significativamente a disponibilidade de avaliações realizadas por clínicos, criando uma necessidade crítica de ferramentas de triagem escaláveis. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para a extração de sinais de risco psiquiátrico a partir de narrativas de pacientes, sua confiabilidade permanece incerta. A literatura existente frequentemente foca na acurácia final de classificação ou em tarefas de transtorno único utilizando rótulos de auto-revelação, deixando três lacunas críticas para a tradução clínica:

1. Falta de Benchmarks Ancorados no SCID: Poucos estudos avaliam LLMs utilizando entrevistas experienciais semiestruturadas emparelhadas com rótulos de referência diagnóstica padrão-ouro da Entrevista Clínica Estruturada para o DSM (SCID).
2. Caracterização Insuficiente de Subgrupos: As variações de desempenho entre estratos demográficos (sexo, idade, raça) não são bem compreendidas.
3. Mecanismos de Erro Opacos: Não está claro se os erros de falso-negativo decorrem de uma falha em detectar sintomas ou de como os modelos ponderam diferencialmente a evidência de sintomas contra prejuízo funcional e pistas de contexto protetor (ex.: capacidade de enfrentamento, suporte social).

Metodologia

Os autores introduziram um benchmark composto por 555 entrevistas experienciais semiestruturadas coletadas de participantes (Média de Idade = 39,4; 50,1% feminino; 77,8% brancos). Os participantes passaram por entrevistas clínicas estruturadas (SCID) para estabelecer rótulos de referência para quatro categorias diagnósticas: Transtorno de Ansiedade, Transtorno Depressivo Maior (TDM), Transtorno de Estresse Pós-Traumático (TEPT) e Qualquer Transtorno de Saúde Mental Atual (MHD).

Desenho Experimental:

• Modelos Avaliados: Cinco LLMs de última geração (LLaMA 3, DeepSeek, GPT-4o Mini, GPT-4.1 Mini, GPT-5 Mini).
• Estratégia de Prompting: Prompting zero-shot, específico para a tarefa. Os modelos foram instruídos a avaliar uma condição de cada vez, gerar uma fundamentação de inferência no estilo clínico e fornecer uma previsão binária de triagem ("Sim"/"Não").
• Métricas de Desempenho: Acurácia, Precisão, Revocação (Recall), Especificidade, Pontuação F1 e Coeficiente de Correlação de Matthews (MCC). A significância estatística foi avaliada usando testes Q de Cochran e testes de McNemar com correção de Bonferroni.
• Análise de Integração de Evidências: Uma análise post-hoc das fundamentações de inferência do GPT-4.1 Mini (selecionado por estrutura e desempenho consistentes) categorizou o texto em três domínios de evidência usando expressões regulares baseadas em regras:
  1. Evidência de Sintomas: Sintomas psiquiátricos específicos da tarefa (derivados de PHQ-9, GAD-7, PCL-5).
  2. Prejuízo Funcional: Disrupção no funcionamento ocupacional, social ou diário.
  3. Contexto Protetor: Funcionamento preservado, enfrentamento ativo e suporte social.
• Modelagem Estatística: Testes U de Mann–Whitney compararam contagens de evidência entre Verdadeiros Positivos (VP) e Falsos Negativos (FN). Modelos de regressão logística padronizados determinaram como essas características de evidência previam as saídas do modelo versus os rótulos derivados do SCID.

Principais Resultados

1. Desempenho de Triagem

O desempenho do modelo variou substancialmente entre tarefas e famílias (Acurácia: 0,49–0,86; MCC: 0,16–0,38).

• Melhores Desempenhos: GPT-4.1 Mini e GPT-5 Mini demonstraram a maior acurácia consistente específica para transtornos. O GPT-4.1 Mini alcançou a maior acurácia para Ansiedade (0,72), Depressão (0,86) e TEPT (0,81).
• Variabilidade: O GPT-4o Mini apresentou a menor acurácia para triagem de ansiedade (0,49).

2. Disparidades Demográficas

• Sexo: Um padrão consistente emergiu, onde a acurácia de classificação da depressão foi maior para participantes do sexo masculino do que para participantes do sexo feminino em todos os modelos (ex.: GPT-4.1 Mini: Masculino 0,91 vs. Feminino 0,82).
• Idade e Raça: Nenhum padrão consistente relacionado à idade ou degradação uniforme entre estratos raciais foi observado, embora existissem variações dependentes do modelo.

3. Padrões de Ponderação de Evidências (A Descoberta Central)

A análise de erros de falso-negativo revelou que os modelos não simplesmente deixaram de detectar sintomas; eles ativamente subponderaram os mesmos na presença de pistas protetoras.

• Presença de Sintomas em Erros: Casos de falso-negativo para Ansiedade e TEPT frequentemente continham contagens maiores de evidência de sintomas do que casos de verdadeiro-positivo.
• O Papel do Contexto:
  • Contexto Protetor: A presença de pistas de funcionamento preservado, capacidade de enfrentamento ou suporte social foi negativamente associada a saídas positivas do modelo. Em Ansiedade e TEPT, falsos negativos frequentemente incluíam essas pistas protetoras juntamente com sintomas.
  • Prejuízo Funcional: Evidência de prejuízo funcional foi positivamente associada a classificações positivas.
• Modelo vs. Verdade Terrena: A regressão logística mostrou que as características de evidência (especialmente prejuízo funcional e contexto protetor) foram preditores mais fortes das decisões do LLM do que dos rótulos diagnósticos derivados do SCID. Isso sugere que os modelos aplicam um heurístico de ponderação mais estrito ou diferente do padrão de referência clínica, exigindo particularmente uma convergência de sintomas e prejuízo antes de atribuir um rótulo positivo.

Significado e Alegações

O artigo afirma que os LLMs podem apoiar a triagem psiquiátrica escalável, mas destaca um mecanismo específico de falha que requer validação cuidadosa antes da implantação clínica.

• Além da Acurácia: O estudo argumenta que a acurácia agregada é insuficiente para avaliação clínica. A descoberta principal é que os falsos negativos frequentemente surgem não de uma falta de detecção de sintomas, mas da tendência do modelo de desconsiderar evidência de sintomas quando a narrativa inclui funcionamento preservado ou contextos protetores.
• Implicação Clínica: Este comportamento de "ponderação de evidências" sugere que os LLMs podem subdiagnosticar condições em que pacientes relatam sintomas, mas também descrevem enfrentamento eficaz ou suporte social, potencialmente perdendo indivíduos que ainda necessitam de avaliação clínica.
• Direção Futura: Os autores concluem que sistemas futuros devem ir além da inferência de passagem única para frameworks calibrados, de múltiplas voltas ou multiagente, capazes de resolver explicitamente a incerteza e integrar evidências clínicas concorrentes (sintomas vs. funcionamento) para reduzir erros de falso-negativo.

O estudo enfatiza que, embora o GPT-4.1 Mini e o GPT-5 Mini mostrem promessa, sua lógica de tomada de decisão em relação ao equilíbrio entre sintomatologia e contexto funcional difere dos critérios diagnósticos clínicos padrão, necessitando de investigação adicional sobre equidade e mecanismos de erro.