Resumo Técnico: Ajuste Fino de LLMs para Estimativa Passiva da Gravidade da Depressão a partir de Diálogos de Saúde Mental por IA

Declaração do Problema

A depressão é a principal causa de incapacidade globalmente, mas a detecção precoce do agravamento dos sintomas permanece desafiadora devido às baixas taxas de conclusão de instrumentos validados, como o Questionário de Saúde do Paciente-9 (PHQ-9), em ambientes do mundo real. Isso introduz viés de resposta e ausência sistemática de dados. Embora as plataformas de saúde mental baseadas em IA gerem diálogos ricos e transcritos que capturam as experiências e a linguagem emocional do usuário, as arquiteturas atuais frequentemente priorizam interações focadas no conselheiro em detrimento da modelagem do usuário. A pesquisa existente sobre a previsão de escores do PHQ-9 a partir de texto é fragmentada, baseando-se em amostras pequenas (n=89–335), entrevistas clínicas estruturadas (ex: DAIC-WOZ) ou tipos específicos de texto (diários, notas clínicas). Crucialmente, nenhum trabalho anterior tentou prever escores completos de gravidade do PHQ-9 (incluindo ideação suicida) a partir de diálogos de terapia por IA em larga escala e naturalísticos sem prompts clínicos estruturados.

Metodologia

Coleta e Pré-processamento de Dados

O estudo utilizou dados da "Ash", uma plataforma de saúde mental impulsionada por IA. O conjunto de dados compreendeu 3.953 usuários que completaram um PHQ-9 basal antes de sua primeira conversa e trocaram pelo menos 10 mensagens com a IA dentro dos primeiros sete dias.

• Entrada: Transcrições de conversas formatadas como turnos alternados entre usuário e assistente.
• Pré-processamento: As mensagens foram subamostradas para um máximo de 300 tokens (espaçadas uniformemente) para preservar o arco temporal da conversa.
• Distribuição: A coorte foi de busca de ajuda, com 81,8% pontuando acima do limiar clínico (PHQ-9 ≥10), criando um desequilíbrio de classes significativo em direção à depressão grave.

Arquitetura do Modelo

O modelo central utiliza um backbone Qwen3.5-27B ajustado finamente com uma cabeça de regressão.

• Processamento de Entrada: As transcrições são tokenizadas usando o template de chat do modelo com um comprimento máximo de sequência de 16.384 tokens.
• Mecanismo de Treinamento: Um adaptador LoRA é treinado por 5 épocas usando perda de Erro Quadrático Médio (MSE) na pontuação total contínua do PHQ-9. A taxa de aprendizado segue um cronograma de cosseno com uma fração de warm-up de 0,1 e um tamanho de lote de 8 (via acumulação de gradiente).

Estratégia de Pseudo-Rotulagem (Aprendizado Semissupervisionado)

Para lidar com a escassez de dados e o desequilíbrio de classes, os autores empregaram uma abordagem iterativa de pseudo-rotulagem de quatro estágios para expandir o conjunto de treinamento de 3.111 usuários com rótulos reais para 6.283:

1. Pseudo-Rotulagem via Opus: O Claude Opus 4.6 foi instruído a estimar os escores do PHQ-9 para conversas não rotuladas. Para corrigir o viés do conjunto de dados em direção a casos graves, apenas usuários estimados com escores abaixo de 10 foram retidos (605 usuários).
2. Pseudo-Rotulagem de Modelo Intermediário (v1): Um modelo treinado com os dados reais mais os rótulos do Opus foi usado para gerar rótulos para outros 2.567 usuários não rotulados (retendo toda a gama de gravidade).
3. Re-rotulagem Iterativa (v2): O modelo melhorado do passo 2 foi usado para re-rotular os mesmos 2.567 usuários, resultando em um conjunto de dados refinado.
4. Ensemble: Quatro modelos treinados no conjunto de dados final de re-pseudo-rotulagem foram combinados via média de suas previsões para mitigar ruídos e sinais espúrios.

Resultados Principais

No conjunto de teste mantido (held-out) de 842 usuários, o modelo de ensemble final alcançou as seguintes métricas de desempenho:

• Erro Médio Absoluto (MAE): 2,62
• Raiz do Erro Quadrático Médio (RMSE): 4,03
• Correlação de Pearson (r): 0,803
• AUC no Limiar Clínico (PHQ-9 ≥10): 0,908

Discriminação por Gravidade:
O modelo demonstrou uma discriminação robusta em todo o espectro clínico, alcançando um AUC > 0,87 em cada limiar de PHQ-9 ≥3 a PHQ-9 ≥24. Isso indica que o modelo pode distinguir entre depressão leve, moderada, moderadamente grave e grave, em vez de apenas detectar o status binário do caso.

Análise de Erro:

• Recall por Gravidade: O modelo identificou corretamente 70% dos casos graves, mas apenas 22% dos casos mínimos. Isso reflete o forte viés de treinamento para usuários de alta gravidade.
• Distribuição de Erros: A maioria dos erros foram classificações incorretas em bandas adjacentes (dentro de uma banda de gravidade), com uma precisão dentro da mesma banda de 92%.
• Comparação: O NMAE (Erro Médio Absoluto Normalizado) do modelo de 0,097 representa uma melhoria de 34–39% sobre os benchmarks anteriores no corpus DAIC-WOZ (NMAE 0,148–0,160).

Contribuições Principais e Significância

1. Escala e Validade Ecológica: Este é o primeiro estudo de grande escala (n ≈ 4.000) a prever escores do PHQ-9 a partir de diálogos de terapia por IA naturalísticos e não guiados, indo além dos pequenos conjuntos de dados de entrevistas estruturadas (n < 300) que dominam a literatura anterior.
2. Previsão de Espectro Total: Diferente de trabalhos anteriores que frequentemente omitem o Item 9 (ideação suicida) ou focam em classificação binária, este modelo prevê o escore contínuo completo do PHQ-9 (0–27), permitindo distinções clínicas graduadas em todos os níveis de gravidade.
3. Capacidade de Monitoramento Passivo: A abordagem demonstra que a gravidade da depressão pode ser inferida apenas através do texto da conversa, sem exigir que os usuários completem questionários de autorrelato. Isso possibilita o monitoramento passivo e contínuo de sintomas e a detecção precoce de deterioração em plataformas de saúde mental por IA no mundo real.
4. Avanço Metodológico: O estudo valida um pipeline semissupervisionado usando modelos de raciocínio (Claude Opus) e auto-rotulagem iterativa para expandir efetivamente conjuntos de dados com rótulos reais limitados, alcançando desempenho superior através da média de ensemble.

Limitações e Escopo

Os autores observam que o conjunto de dados representa uma população de busca de ajuda autoselecionada, o que pode limitar a generalização para a população ampla. O menor recall do modelo para casos de gravidade mínima é uma consequência direta do treinamento em uma coorte onde 81,8% dos usuários apresentavam depressão clínica. Os autores posicionam este trabalho como um passo fundamental para o rastreamento passivo escalável, reconhecendo que confirmações adicionais são necessárias para a generalização ao nível populacional.