Learning Evidence of Depression Symptoms via Prompt Induction

1. Formulação do Problema

O artigo aborda o desafio de identificar automaticamente evidências clínicas de sintomas de depressão em texto gerado por usuários (por exemplo, redes sociais, fóruns) para apoiar a triagem em larga escala de saúde mental.

• Tarefa: Classificação ao nível de frase de 21 sintomas específicos de depressão definidos pelo questionário BDI-II (Beck Depression Inventory-II).
• Dados: O estudo utiliza o BDI-Sen, um conjunto de dados anotado para evidências de sintomas em primeira pessoa.
• Desafios:
  • Desequilíbrio Extremo: Muitos sintomas possuem muito poucos exemplos positivos rotulados.
  • Subtileza: Os sintomas são linguisticamente sutis e frequentemente confundidos com "negativos difíceis" (frases que mencionam outros sintomas ou estados hipotéticos/passados).
  • Limitações das Abordagens Padrão de LLM: Os autores constatam que estratégias comuns de Modelos de Linguagem de Grande Escala (LLM) — Zero-Shot (ZS), Aprendizado em Contexto (ICL) e Ajuste Fino Supervisionado (SFT) — lutam para aplicar critérios de relevância consistentes e específicos para cada sintoma. O ICL frequentemente superestima devido à escassez de dados, enquanto o SFT pode sofrer de sobreajuste ou falhar em generalizar em sintomas raros.

2. Metodologia: Indução de Sintomas (SI)

Os autores propõem a Indução de Sintomas (SI), um novo framework que transforma exemplos de treinamento rotulados em diretrizes concisas e interpretáveis em linguagem natural. Diferentemente do ICL, que utiliza demonstrações transitórias, o SI comprime esses exemplos em regras de decisão reutilizáveis.

O Processo SI:

1. Fase de Indução:
   • Para cada sintoma, é construído um conjunto de demonstração balanceado (até 15 exemplos positivos e 15 negativos, incluindo negativos difíceis).
   • Um modelo "professor" fixo (Gemma 3 27B) é instruído a gerar uma diretriz em linguagem natural para aquele sintoma específico.
   • A diretriz segue um formato estruturado incluindo: uma pergunta central de relevância, padrões que indicam presença, padrões que não se qualificam (critérios de exclusão), vocabulário específico e casos de borda.
2. Fase de Avaliação:
   • A diretriz induzida é injetada no prompt do sistema de modelos "aluno" (LLMs menores).
   • O modelo utiliza a diretriz como uma regra de decisão estática para classificar novas frases, em vez de reinterpretação de exemplos brutos para cada entrada.
   • Vantagem Chave: Isso desacopla a geração da diretriz da classificação, permitindo a transferência de conhecimento entre diferentes famílias de modelos sem retreinamento.

3. Configuração Experimental

• Conjuntos de Dados:
  • BDI-Sen: Avaliação em domínio (1.516 frases, 21 sintomas).
  • PsySym: Avaliação entre domínios (11.220 frases, 7 transtornos incluindo Transtorno Bipolar e Transtornos Alimentares) para testar a generalização.
• Modelos: Oito LLMs de quatro famílias (Gemma 3, Llama 3, Phi-4, Qwen3) variando de 3B a 14B parâmetros.
• Baselines: Prompting Zero-Shot (ZS), Aprendizado em Contexto (ICL) e Ajuste Fino Supervisionado (SFT).
• Métricas: Pontuação F1 ponderada (para contabilizar o desequilíbrio de classes) e F1 por sintoma.

4. Resultados Principais

Desempenho em Domínio (BDI-Sen):

• Desempenho Geral: A Indução de Sintomas (SI) alcançou a melhor pontuação F1 ponderada geral em seis dos oito modelos testados.
  • Exemplo: Gemma 3 4B com SI obteve 0,389, superando significativamente o ZS (0,267), o ICL (0,171) e o SFT (0,242).
• Escala do Modelo vs. Estratégia: A escolha da estratégia (SI) teve um impacto maior que o tamanho do modelo. Um modelo de 4B com SI superou modelos maiores utilizando outras estratégias.
• Análise de Erros:
  • O ICL sofreu de superprevisão severa (falsos positivos altos) devido à dificuldade em distinguir negativos sutis.
  • O SFT foi conservador, mas perdeu evidências significativas (falsos negativos altos) em sintomas raros.
  • O SI alcançou o melhor equilíbrio, reduzindo tanto falsos positivos quanto falsos negativos ao fornecer critérios de inclusão/exclusão explícitos.
• Sintomas Raros: O SI mostrou os ganhos mais significativos em sintomas infrequentes (por exemplo, "Perda de Prazer" melhorou de 0,224 F1 com ICL para 0,508 com SI). No entanto, todos os métodos falharam em sintomas extremamente esparsos (por exemplo, "Perda de Interesse em Sexo" com apenas 1 instância de teste positiva), destacando a escassez de dados como o gargalo fundamental.

Generalização entre Domínios (PsySym):

• O SI manteve a média bruta F1 mais alta entre Depressão, Transtorno Bipolar e Transtornos Alimentares.
• A lacuna de desempenho entre SI e ICL aumentou em configurações entre domínios, sugerindo que diretrizes induzidas reutilizáveis generalizam melhor do que a reinterpretação de exemplos de poucos disparos para novos domínios.
• O prompting zero-shot permaneceu competitivo para alguns sintomas onde apenas as definições eram suficientes, mas o SI se destacou onde a evidência era facilmente confundida.

5. Contribuições Principais

1. Indução de Sintomas (SI): Introdução de um método para destilar exemplos rotulados em diretrizes interpretáveis e reutilizáveis para classificação ao nível de sintoma, enquadrando a tarefa como indução de critérios de relevância.
2. Avaliação Abrangente: Fornecimento de uma comparação rigorosa de estratégias de inferência (ZS, ICL, SFT, SI) em múltiplas famílias de LLM e conjuntos de dados, identificando modos de falha específicos para cada uma.
3. Análise por Sintoma: Análise detalhada mostrando que o SI é mais eficaz para sintomas sutis e negativos difíceis, ao mesmo tempo que reconhece os limites dos métodos atuais em sintomas extremamente raros.
4. Transferência entre Doenças: Demonstração de que diretrizes induzidas para sintomas de depressão podem transferir-se efetivamente para outros transtornos com sintomatologia compartilhada (Transtorno Bipolar, Transtornos Alimentares).

6. Significado e Limitações

Significado:

• Interpretabilidade: O SI fornece critérios explícitos e legíveis por humanos para explicar por que uma frase foi classificada como sintoma, abordando a questão da "caixa preta" dos LLMs padrão.
• Eficiência: Evita o custo computacional do ajuste fino e a sobrecarga de tokens do ICL de contexto longo.
• Escalabilidade: Oferece um caminho prático para escalar a triagem de saúde mental a partir de texto gerado por usuários, aproveitando modelos pequenos guiados por regras induzidas de alta qualidade.

Limitações:

• Disparidade Professor-Aluno: A configuração atual utiliza um modelo professor maior (27B) para gerar diretrizes para modelos alunos menores. Não está claro quanto do ganho se deve ao paradigma de indução versus a capacidade superior do professor.
• Escassez de Dados: O método não pode superar a falta fundamental de dados para sintomas extremamente raros; requer pelo menos alguns exemplos positivos para induzir critérios significativos.
• Trabalho Futuro: Os autores sugerem explorar o refinamento de diretrizes com clínicos no loop e aumento de dados direcionado para sintomas sub-representados.