Resumo Técnico: Uma Avaliação Sistemática de Grandes Modelos de Linguagem para Estimativa da Gravidade do TEPT

Declaração do Problema

A avaliação precisa do Transtorno de Estresse Pós-Traumático (TEPT) é crítica para o diagnóstico e tratamento, mas o acesso ao cuidado especializado é frequentemente limitado pela escassez de clínicos. Embora existam instrumentos estruturados de autorrelato, como a Lista de Verificação de TEPT (PCL), os clínicos frequentemente dependem de entrevistas narrativas não estruturadas para capturar nuances perdidas por escalas rígidas. Historicamente, quantificar a gravidade a partir dessas narrativas de linguagem natural tem sido difícil. Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa, sua aplicação na saúde mental tem sido inconsistente, muitas vezes baseando-se em protótipos ad-hoc em vez de uma avaliação rigorosa e sistemática. Estudos existentes frequentemente sofrem de vieses de seleção (ex: dados de redes sociais), enquadram o TEPT como um diagnóstico binário em vez de um constructo de gravidade contínuo e carecem de estratégias padronizadas de prompting ou modelagem. Além disso, permanece incerto como o conhecimento contextual (ex: definições de sintomas, contexto da entrevista) e as estratégias de modelagem (ex: esforço de raciocínio, métodos de ensemble) influenciam a precisão e a utilidade clínica das avaliações de LLM zero-shot.

Metodologia

Os autores conduziram uma avaliação sistemática utilizando um conjunto de dados clínicos de 1.437 narrativas de linguagem natural de respondedores do World Trade Center (WTC), vinculadas a pontuações de gravidade PCL-5 autorrelatadas. O estudo avaliou 11 LLMs de última geração (incluindo LLaMA-3.1, DeepSeek-R1 e os modelos GPT-5, o3-mini e 4o-mini da OpenAI) através de dois eixos primários ortogonais:

1. Conhecimento Contextual: O estudo variou a informação fornecida ao modelo, incluindo:

   • Definições de sintomas e itens de escalas validadas (definições de subescalas, itens da PCL).
   • Contexto de elicitação (critérios dos participantes, prompts de entrevista).
   • Priors de nível de tarefa (distribuições de pontuação).
   • Evidências (trechos específicos de texto).

2. Estratégias de Modelagem: O estudo manipulou:

   • Escolha do Modelo: Modelos de pesos abertos (LLaMA, DeepSeek) vs. modelos de pesos fechados (OpenAI); variando tamanhos de parâmetros (de 8B a 670B+).
   • Prompting: Zero-shot vs. few-shot (3-shot); Chain-of-Thought (Pensar Passo a Passo) vs. prompting padrão.
   • Esforço de Raciocínio: Para modelos que suportam essa função (o3-mini, GPT-5), variando os níveis de esforço (baixo, médio, alto).
   • Formulação da Tarefa: Predição escalar direta (pontuação total) vs. predição baseada em subescalas (agregando Reexperiência, Esquiva, Disforia, Hiperalerta).
   • Pós-processamento: Redistribuição preditiva (calibragem para corresponder à variância alvo) e métodos de ensemble (média de previsões de diversos modelos).

Baselines e Validação:

• Baselines: Um modelo de regressão baseado em RoBERTa supervisionado e dois avaliadores humanos especialistas (estudantes de pós-graduação em psicologia clínica).
• Métricas: Correlação de Pearson ($r$) e Erro Médio Absoluto (MAE) contra as pontuações PCL autorrelatadas.
• Verificações de Validade:
  • Validade Discriminante: Correlação com afeto negativo geral (PANAS), uso de álcool (AUDIT) e outros diagnósticos (ansiedade, depressão).
  • Validade de Critério: Associação com gastos futuros de cuidados de saúde mental (aproximadamente 1 ano após a entrevista).
  • Fidelidade (Faithfulness): Anotação humana de 359 alegações de raciocínio de LLM para verificar o embasamento no vocabulário do paciente e a correção da inferência.

Principais Resultados

1. Desempenho do Modelo e Escalonamento

• Modelos de Pesos Abertos: O desempenho para modelos de pesos abertos (LLaMA, DeepSeek) estabilizou além de 70 bilhões de parâmetros. O escalonamento para 405B ou 670B não melhorou consistentemente a precisão em relação à variante de 70B.
• Modelos de Pesos Fechados: Modelos proprietários, particularmente o GPT-5, superaram significativamente todos os outros, alcançando as maiores correlações ($r \approx 0,59$ vs. avaliadores humanos em $r \approx 0,44$).
• Few-Shot vs. Zero-Shot: O prompting few-shot não gerou melhorias consistentes e, às vezes, degradou o desempenho em comparação ao zero-shot.

2. Raciocínio e Prompting

• Esforço de Raciocínio: Aumentar o nível de esforço de raciocínio (baixo para alto) em modelos como o3-mini e GPT-5 levou a melhorias significativas tanto na correlação quanto no MAE. O esforço alto reduziu o MAE de 9,56 para 8,23 (o3-mini) e melhorou a correlação.
• Chain-of-Thought (CoT): O prompting explícito "Think-Step-By-Step" produziu resultados inconsistentes, às vezes degradando o desempenho para modelos fortes, sugerindo que a elicitação de raciocínio explícito não é universalmente benéfica para tarefas clínicas de regressão.

3. Conhecimento Contextual e Formulação de Tarefa

• Pistas Contextuais: Fornecer definições detalhadas de construtos (definições de subescalas) e o contexto do estudo melhorou significativamente a precisão.
• Predição Direta vs. por Subescala: Contrariamente aos fluxos de trabalho clínicos que agregam subescalas, a predição escalar direta da pontuação total superou a abordagem baseada em subescalas. A abordagem de subescalas introduziu ruído, conforme previsto, pois as subescalas preditas eram menos intercorrelacionadas do que as autorrelatadas.
• Redistribuição Preditiva: A redistribuição post-hoc para corresponder à distribuição alvo reduziu significativamente o MAE (ex: o MAE do LLaMA-3.1-70B caiu de 10,95 para 8,25) sem alterar drasticamente a correlação.

4. Ensembling e Comparação Humana

• Ensembles: O melhor desempenho ($r = 0,565$) foi alcançado ao realizar o ensemble de um baseline RoBERTa supervisionado com um LLM zero-shot (GPT-5). Isso sugere que modelos supervisionados e LLMs zero-shot capturam aspectos complementares da variância.
• Avaliadores Humanos: LLMs de fronteira (GPT-5, LLaMA-3.1-70B) superaram significativamente avaliadores humanos treinados ($p < 0,05$) na estimativa zero-shot, excedendo a correlação dos avaliadores humanos ($r=0,44$) com os autorrelatos.

5. Validade e Utilidade

• Especificidade: As estimativas dos LLMs foram significativamente mais correlacionadas com a gravidade do TEPT do que com o afeto negativo geral ou o uso de álcool, demonstrando validade discriminante.
• Validade Externa: As estimativas dos LLMs predisseram gastos futuros com cuidados de saúde mental ($r=0,268$). Participantes no quartil de maior severidade prevista foram responsáveis por ~50% dos custos futuros.
• Validade Incremental: As estimativas dos LLMs forneceram valor preditivo para custos futuros e gravidade dos sintomas além do que foi capturado pelos próprios escores PCL autorrelatados pelo paciente.
• Fidelidade (Faithfulness): A anotação humana revelou que 95,3% das alegações dos LLMs estavam fundamentadas na linguagem do paciente (mencionadas diretamente ou inferidas), embora uma pequena fração envolvesse inferências não sustentadas.

Significância e Alegações

O artigo afirma que o conhecimento contextual e as estratégias de modelagem afetam significativamente a precisão e a utilidade clínica das avaliações de TEPT baseadas em LLM. Especificamente:

1. Otimização é a Chave: O uso ingênuo e com pouco contexto de LLMs pode reduzir a precisão em até 40% em comparação com configurações otimizadas.
2. Além da Viabilidade: O estudo vai além da viabilidade para uma avaliação principiológica, demonstrando que LLMs bem configurados podem igualar ou exceder a precisão de avaliadores humanos em configurações zero-shot.
3. Abordagens Complementares: O desempenho superior dos ensembles (supervisionado + zero-shot) desafia a noção de que modelos generalistas grandes tornam obsoletos os modelos menores e específicos para tarefas. Em vez disso, sugerem que uma abordagem híbrida é necessária para a precisão da saúde mental.
4. Utilidade Clínica: As estimativas baseadas em LLM capturam informações prospectivas e clinicamente significativas (utilização de recursos futuros) que não são totalmente capturadas pelos instrumentos de autorrelato padrão, sugerindo um papel para essas ferramentas em triagem, monitoramento e suporte à decisão.

Os autores concluem que, embora os LLMs mostrem imenso potencial, seu implante requer um design cuidadoso de entradas (conhecimento contextual) e estratégias (esforço de raciocínio, ensemble) para garantir confiabilidade e relevância clínica.