Resumo Técnico: O Pipeline MADRS

Definição do Problema

A depressão continua sendo um transtorno de saúde mental importante que carece de marcadores biológicos definitivos, necessitando do uso de entrevistas clínicas estruturadas para o diagnóstico e avaliação de ensaios clínicos. A Escala de Avaliação de Depressão de Montgomery–Åsberg (MADRS) é o instrumento padrão para quantificar a gravidade dos sintomas nesses ensaios, tipicamente administrada por meio do Guia de Entrevista Estruturada para a MADRS (SIGMA). No entanto, o processo atual depende fortemente da expertise e do julgamento do clínico, introduzindo variabilidade que pode comprometer os resultados dos ensaios (por exemplo, distinguir a eficácia do fármaco do efeito placebo).

Embora a detecção automatizada de depressão tenha avançado usando Processamento de Linguagem Natural (NLP), as soluções existentes focam primariamente em:

1. Dados não clínicos: Analisando textos online ou redes sociais em vez de entrevistas clínicas padronizadas.
2. Classificação binária: Determinando a presença de depressão em vez de quantificar a gravidade de sintomas específicos.
3. Falta de interpretabilidade: Oferecendo insights limitados sobre itens individuais da MADRS.

Existe uma lacuna crítica no suporte automatizado para o ambiente específico e estruturado de ensaios clínicos, onde as entrevistas seguem as diretrizes SIGMA e exigem uma pontuação de gravidade granular, por item (0–6), para dez sintomas distintos.

Metodologia: O Pipeline MADRS

Os autores propõem um pipeline de Modelo de Linguagem de Grande Escala (LLM) de ponta a ponta, projetado para apoiar clínicos ao processar entrevistas de áudio e gerar avaliações interpretáveis alinhadas aos padrões MADRS e SIGMA. O pipeline é implementado como um grafo acíclico dirigido composto por quatro componentes sequenciais:

1. Transcrição da Entrevista

O sistema converte gravações de áudio brutas de entrevistas entre clínico e paciente em texto estruturado.

• Técnica: Utiliza pyannote.audio para detecção de atividade de voz e diarização de locutor, seguido pelo modelo ASR Whisper Medium para transcrição.
• Saída: Uma sequência cronológica de enunciados do clínico e do paciente.

2. Segmentação de Transcrição

Este componente alinha a transcrição contínua com a estrutura específica da escala MADRS.

• Técnica: Emprega uma estratégia de prompting zero-shot usando GPT-4.1. O modelo recebe a transcrição completa e as diretrizes específicas de administração do SIGMA para cada um dos dez itens da MADRS.
• Processo: O modelo identifica e extrai os intervalos de enunciados específicos (índices de início e fim) relevantes para cada item de sintoma, decompondo a entrevista em dez segmentos específicos de sintomas ($S = s_1, \dots, s_{10}$).

3. Avaliação MADRS (Estimativa de Gravidade)

O componente central estima a classificação de gravidade (0–6) para cada um dos dez itens da MADRS com base no texto segmentado.

• Arquitetura: Um codificador Transformer (especificamente um RoBERTa ajustado/fine-tuned) com um codificador compartilhado e dez cabeças de predição específicas por item.
• Objetivo de Treinamento: Regressão ordinal multitarefa. O modelo trata a escala 0–6 como uma sequência de decisões de limiar binário ($y > k$ para $k \in \{0, \dots, 5\}$), modelando explicitamente a natureza ordenada das classificações.
• Entrada: Cada segmento é processado independentemente para prever a classificação ordinal.

4. Avaliação de Qualidade

Este componente apoia o monitoramento de ensaios clínicos ao identificar classificações clínicas potencialmente não conformes ou não confiáveis.

• Mecanismo: Compara as pontuações atribuídas pelo avaliador clínico ($\hat{r}$) com as pontuações de referência ($r$). As pontuações de referência podem ser fornecidas por uma equipe de revisores humanos ou geradas pelo próprio pipeline (usando o codificador ajustado).
• Algoritmo: Um classificador binário de Floresta Aleatória (Random Forest) prevê um rótulo de qualidade ($q \in \{\text{Conforme, Não Conforme}\}$).
• Características: As características de entrada incluem as diferenças absolutas ($|r_i - \hat{r}_i|$) para cada item, juntamente com as diferenças absolutas totais e médias.
• Tratamento de Ruído: Quando utiliza pontuações geradas pelo pipeline como referências, o sistema aplica um limiar de quantil de ruído (80º percentil dos erros de treinamento) para filtrar imprecisões esperadas do modelo, garantindo que apenas discrepâncias significativas sejam sinalizadas como não conformidade do avaliador.

Principais Contribuições

1. Pipeline Especializado para Ensaios Clínicos: Diferente de trabalhos anteriores focados em texto geral ou detecção binária, este é o primeiro solucionamento computacional especificamente desenhado para ensaios clínicos de depressão que aderem às diretrizes SIGMA.
2. Análise Granular de Sintomas: O pipeline vai além da classificação binária para estimar a gravidade de todos os dez itens individuais da MADRS, fornecendo suporte interpretável para sintomas específicos.
3. Processamento de Áudio de Ponta a Ponta: O sistema processa áudio bruto diretamente, lidando com diarização de locutor e segmentação sem exigir preparação manual de transcrição.
4. Monitoramento de Qualidade: Introduz um mecanismo para detectar inconsistências de classificação, apoiando a validação do desempenho do avaliador clínico em ensaios.
5. Validação Empírica em Dados Reais: O sistema é validado em um conjunto de dados de aproximadamente 1.602 entrevistas clínicas reais (aprox. 16.000 instâncias avaliadas por especialistas), uma escala e domínio raramente vistos em pesquisas de NLP para depressão devido à confidencialidade dos dados.

Resultados Experimentais

O pipeline foi avaliado em um conjunto de dados dividido em conjuntos de Treino, Desenvolvimento e Teste, com a verdade fundamental (ground truth) fornecida por uma equipe de revisores.

• Transcrição e Segmentação:
  • A transcrição alcançou alta similaridade semântica (similaridade de cosseno média de 0,814) com as referências manuais.
  • A segmentação usando GPT-4.1 alcançou um F1-score ponderado de 0,983, demonstrando um alinhamento robusto com as seções do SIGMA.
• Avaliação MADRS:
  • O modelo RoBERTa ajustado alcançou uma correlação de Spearman de 0,867 com as classificações dos especialistas nas pontuações totais da MADRS.
  • Alcançou um Erro Médio Absoluto (MAE) de 2,956 e uma Acurácia@1 (predições dentro de ±1 ponto da classificação do especialista) de 0,895.
  • O desempenho variou por item; notavelmente, o RoBERTa superou os modelos de decodificação LLM (como o GPT-4.1) em "Pensamentos Suicidas" (correlação de 0,812 vs. 0,588), possivelmente devido a salvaguardas de segurança em LLMs que afetam predições conservadoras em tópicos sensíveis.
• Avaliação de Qualidade:
  • Ao utilizar as pontuações dos revisores humanos como referência, o classificador de Floresta Aleatória alcançou um Coeficiente de Correlação de Matthews (MCC) de 0,704.
  • Ao utilizar as pontuações geradas pelo pipeline como referência, o desempenho caiu (MCC 0,123 para o RoBERTa), indicando que, embora o pipeline possa sinalizar discrepâncias, as pontuações dos revisores humanos permanecem o padrão ouro para controle de qualidade.

Significância e Alegações

Os autores posicionam o Pipeline MADRS não como um substituto para o julgamento clínico, mas como uma ferramenta de suporte para aumentar a consistência, escalabilidade e interpretabilidade nos fluxos de trabalho de avaliação psiquiátrica.

• Utilidade Clínica: O sistema fornece estimativas de gravidade interpretáveis, por item, que podem ajudar clínicos a verificar suas classificações ou identificar potenciais inconsistências em ensaios multicêntricos.
• Escalabilidade: Ao automatizar o processo de transcrição e pontuação inicial, o pipeline oferece um método para escalar o suporte de avaliação de nível especialista em grandes ensaios clínicos.
• Limitações: Os autores reconhecem explicitamente limitações, incluindo:
  • Desajuste de Modalidade: O sistema baseia-se exclusivamente em transcrições de texto, perdendo pistas paralinguísticas (prosódia, expressões faciais) utilizadas por clínicos humanos.
  • Dependência de Transcrição: O desempenho está inerentemente atrelado à qualidade do output do ASR; erros na transcrição podem propagar-se para as avaliações subsequentes.
  • Desequilíbrio de Dados: O conjunto de dados de avaliação de qualidade é altamente desequilibrado (poucos casos não conformes), refletindo condições do mundo real, mas apresentando desafios de treinamento.
  • Confidencialidade: Devido à natureza sensível dos dados de ensaios clínicos, os conjuntos de dados subjacentes e os modelos treinados não podem ser liberados publicamente, embora configurações e exemplos sintéticos sejam fornecidos.

Em conclusão, o artigo demonstra que um pipeline de LLM estruturado e de múltiplos componentes pode apoiar efetivamente a avaliação da depressão em ensaios clínicos, alcançando forte concordância com especialistas humanos enquanto oferece uma abordagem inovadora para o monitoramento de qualidade em entrevistas psiquiátricas padronizadas.