Resumo Técnico: Uma Auditoria Multi-Sonda de Benchmarks de Detecção de Depressão por Entrevista Clínica

Declaração do Problema

O campo da detecção de depressão por entrevista clínica depende fortemente de alguns conjuntos de dados de referência, particularmente a família DAIC (especificamente E-DAIC). As práticas atuais de avaliação enfrentam três desafios críticos:

1. Excesso de Dependência de Divisões Privilegiadas: A maioria dos estudos relata desempenho em um único conjunto de teste oficial pequeno (56 participantes). Isso cria o risco de sobreajuste a ruídos ou idiossincrasias específicos da divisão, levando a pontuações infladas que não refletem desempenho generalizável.
2. Instabilidade de Avaliação: O pequeno tamanho do conjunto de teste oficial torna as classificações detalhadas em tabelas de liderança instáveis. Pequenas diferenças no macro-F1 podem resultar de ruído de amostra finita em vez de superioridade genuína do modelo.
3. Falta de Validação Externa: Alto desempenho intra-domínio em conjuntos de dados como CMDC e ANDROIDS (frequentemente próximos do teto) é frequentemente interpretado como um problema "resolvido". No entanto, há evidências limitadas de que esses pipelines se generalizam para corpora externos ou contextos clínicos diferentes.
4. Interpretabilidade da Modalidade Textual: Embora a modalidade textual produza consistentemente o desempenho mais alto, não está claro se isso reflete a descoberta de marcadores linguísticos sutis e independentes de contexto da depressão ou meramente uma sensibilidade a conteúdo explícito e denso em sintomas dentro do protocolo de entrevista.

Metodologia

Os autores realizam uma auditoria de quatro sondas em cinco conjuntos de dados (DAIC/E-DAIC, CMDC, ANDROIDS, MODMA, PDCH) usando protocolos estritos de disjunção de sujeitos para prevenir vazamento de dados.

Sonda A: Reestabelecendo uma Âncora Conservadora para E-DAIC

• Protocolo: Validação cruzada Leave-One-Subject-Out (LOSO), excluindo estritamente o conjunto de teste oficial privilegiado.
• Modelo: Um modelo híbrido leve (T+L) combinando:
  • Texto (T): Embeddings em nível de turno de sentence-transformers/all-mpnet-base-v2 e intfloat/e5-large-v2, aumentados com características de estrutura de turno (duração, pausas, comprimento).
  • Pontuação LLM (L): Uma probabilidade em nível de participante (depression_prob) gerada por openai/gpt-oss-120b atuando como um avaliador fixo, zero-shot, de DSM-5/PHQ-8 em transcrições de diálogo completo. O LLM não é ajustado finamente nas etiquetas do E-DAIC.
• Objetivo: Fornecer um ponto de referência reprodutível, fora das dobras, que não dependa da divisão oficial.

Sonda B: Análise de Instabilidade da Divisão Oficial

• Protocolo: Uma varredura de 96 configurações de modelo (8 conjuntos de modalidades × 2 estratégias de agrupamento × 6 aprendizes) avaliadas na divisão oficial do E-DAIC.
• Análise: Comparou classificações de validação cruzada de 5 dobras no lado de desenvolvimento com classificações do teste oficial. Realizou 4.000 bootstraps de sujeitos para avaliar a estabilidade do "vencedor".
• Objetivo: Determinar se a divisão oficial suporta a classificação detalhada de modelos.

Sonda C: Validação Externa Zero-Shot

• Protocolo: Reproduziu duas bases fortes e públicas (pipeline de texto do CMDC e pipeline multimodal do ANDROIDS) e aplicou-as a corpora externos (MODMA, PDCH, E-DAIC, ANDROIDS) sem qualquer ajuste ou adaptação de etiquetas-alvo.
• Objetivo: Testar se o desempenho intra-domínio próximo ao teto se transfere para dados externos.

Sonda D: Teste de Estresse de Sensibilidade a Tópicos

• Protocolo: Construiu fatias pareadas "densas em sintomas" (tema pesado) e "leves em sintomas" (tema neutro) das entrevistas do E-DAIC usando um anotador automatizado pré-especificado baseado em SRDS.
• Análise: Comparou a mudança de desempenho dos modelos de texto versus áudio ao passar de fatias neutras para densas em sintomas dentro dos mesmos participantes.
• Objetivo: Isolar se o sinal dominante de texto é impulsionado por conteúdo explícito de sintomas.

Resultados Principais

1. Desempenho do E-DAIC sob LOSO Estrito (Sonda A)

• O modelo híbrido T+L alcançou um macro-F1 de 0,723 sob LOSO estrito.
• Este é o desempenho mais alto relatado sob este protocolo, mas é notavelmente inferior a muitas pontuações otimistas relatadas na divisão oficial.
• O componente apenas L (pontuação LLM) alcançou um macro-F1 de 0,686, enquanto apenas T alcançou 0,621.

2. Instabilidade das Classificações Oficiais (Sonda B)

• Baixa Alinhamento: As classificações de validação cruzada e do teste oficial mostraram apenas alinhamento moderado (Pearson $r=0,637$, Spearman $\rho=0,704$).
• Discrepância de Classificação: A melhor configuração por validação cruzada ficou em 20º lugar no teste oficial. O vencedor do teste oficial ficou em 41º lugar por validação cruzada.
• Sobreposição Zero: Houve sobreposição zero nas 3 melhores configurações entre validação cruzada e o teste oficial.
• Incerteza de Bootstrap: Mesmo o aparente vencedor do teste oficial foi classificado em #1 em apenas 32,3% das 4.000 reamostragens de bootstrap, com uma faixa de classificação de 95% abrangendo as posições 1 a 19.

3. Falha na Transferência Zero-Shot (Sonda C)

• Base CMDC: Embora alcançando ~0,95 macro-F1 intra-domínio, a transferência zero-shot para MODMA caiu para 0,265 macro-F1, e para PDCH variou de 0,127 a 0,446.
• Base ANDROIDS: Reconstruiu o macro-F1 de fusão do lado de origem de 0,955. No entanto, em alvos externos, o ramo de áudio foi o mais portátil (por exemplo, 0,647 no CMDC), enquanto o ramo de texto (usando um codificador de sentimento italiano) e os ramos de fusão performaram significativamente pior (por exemplo, 0,288 AUROC no texto do CMDC).
• Conclusão: Pontuações altas intra-domínio não garantem generalizabilidade; pipelines podem explorar regularidades específicas do corpus.

4. Sensibilidade do Texto ao Conteúdo de Sintomas (Sonda D)

• Mudança de Texto: As pontuações do modelo de texto subiram abruptamente em fatias densas em sintomas (mudança média +0,422).
• Mudança de Áudio: As pontuações do modelo de áudio permaneceram quase planas (mudança média -0,004).
• Diferença: A diferença texto-menos-áudio foi positiva e significativa em todas as cinco sementes ($p=0,0002$).
• Conclusão: O desempenho superior dos modelos de texto está fortemente ligado à presença de conteúdo explícito e denso em sintomas na entrevista, em vez de marcadores sutis e independentes de contexto.

Significado e Alegações

O artigo afirma fornecer uma "âncora conservadora" e um "ponto de referência reutilizável" para o campo, em vez de propor novos modelos de última geração. Suas contribuições primárias são:

1. Redefinição de Benchmarks: Argumenta que a única divisão oficial do E-DAIC é insuficiente para alegar superioridade do modelo. Os autores fornecem uma nova linha de base LOSO reprodutível (macro-F1 0,723) que evita os riscos de otimização específica da divisão.
2. Aviso Contra a Otimização de Tabelas de Liderança: O estudo demonstra que classificações detalhadas em pequenas divisões oficiais são instáveis e não devem ser interpretadas como evidência definitiva de superioridade. Alegações de "estado da arte" devem ser acompanhadas por estimativas de incerteza ou validação externa.
3. Auditoria de Bases "Resolvidas": Ao aplicar sistematicamente bases públicas fortes a dados externos, o artigo desafia a suposição de que altas pontuações intra-domínio no CMDC e ANDROIDS indicam um problema resolvido. Destaca uma falta de generalizabilidade nos pipelines atuais.
4. Interpretabilidade da Modalidade Textual: O artigo esclarece que a dominância dos modelos de texto na detecção de depressão é provavelmente impulsionada por sua sensibilidade a discussões explícitas de sintomas (por exemplo, sono, humor, anedonia) elicidas pelo protocolo de entrevista, em vez da descoberta de biomarcadores linguísticos sutis e novos.

Os autores mantêm um tom modesto, reconhecendo limitações como possível exposição ao pré-treinamento de LLM (embora considerada improvável para dados de acesso controlado) e a dependência de fatiamento de tópicos automatizado em vez de anotação manual por especialistas. A mensagem central é um chamado por práticas de avaliação mais rigorosas, com disjunção de sujeitos e validadas externamente na pesquisa de detecção de depressão clínica.