Leveraging LLMs for Translating and Classifying Mental Health Data

Resumo Técnico: Utilizando LLMs para Tradução e Classificação de Dados de Saúde Mental

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para a identificação precoce de condições de saúde mental por meio de marcadores linguísticos em textos gerados por usuários, sua aplicação permanece fortemente enviesada para conjuntos de dados na língua inglesa. Existe uma lacuna significativa de pesquisa em relação ao desempenho desses modelos em línguas de baixos recursos e contextos não ingleses. Além disso, a eficácia do uso de LLMs para traduzir automaticamente dados de saúde mental do inglês para outro idioma e, subsequentemente, classificá-los permanece subexplorada. Este estudo aborda essas lacunas investigando se um LLM pode prever com precisão a gravidade da depressão em postagens em inglês e se esse desempenho é mantido quando as postagens são automaticamente traduzidas para o grego, uma língua que carece de recursos específicos para essa tarefa.

Metodologia
Os autores propõem um pipeline que utiliza um LLM multilíngue de última geração (GPT-3.5-turbo) tanto para tarefas de tradução quanto de classificação.

• Conjunto de Dados: O estudo utiliza o conjunto de dados DEPSEVERITY (Naseem et al., 2022), composto por 3.553 postagens do Reddit rotuladas com quatro níveis de gravidade de depressão: Mínima, Leve, Moderada e Grave. O conjunto de dados é observado como altamente desbalanceado, com a maioria das postagens enquadrando-se na categoria "Mínima".
• Procedimento:
  1. Baseline (Inglês): O LLM é instruído a classificar as postagens originais em inglês nos quatro níveis de gravidade usando aprendizado zero-shot (0-shot learning).
  2. Tradução: O mesmo LLM traduz as postagens em inglês para o grego.
  3. Classificação Alvo (Grego): Os textos traduzidos para o grego são inseridos novamente no LLM com um comando para prever os níveis de gravidade.
  4. Avaliação: O desempenho é medido usando Precisão, Recall e F1-scores, comparando as classes previstas contra os rótulos de verdade fundamental (ground truth) em ambos os idiomas. O parâmetro de temperatura foi definido como 0 para garantir a reprodutibilidade.
• Estratégia de Prompting: Antes dos experimentos principais, os autores realizaram um prompting preliminar para compreender a lógica interna do LLM. O modelo identificou padrões como emoções negativas persistentes, autocrítica e mudanças comportamentais, adaptando os níveis de gravidade para se ajustarem aos contextos de redes sociais (por exemplo, definindo "Grave" como postagens que indicam risco de autolesão ou isolamento social completo).

Resultados Principais
Os resultados experimentais indicam que o LLM tem dificuldade em distinguir com precisão entre níveis específicos de gravidade da depressão em ambos os idiomas, embora o desempenho varie conforme a classe e o idioma.

• Desempenho em Inglês: O modelo alcançou seu F1-score mais alto para a classe "Mínima" (0,25) e para a classe "Grave" (0,22). O F1-score macro geral foi baixo, em 0,17. Os autores atribuem essa dificuldade às distinções sutis entre os níveis de gravidade em postagens de usuários em comparação com outras condições.
• Desempenho em Grego: Após a tradução, o desempenho declinou geralmente na maioria das classes.
  • A classe "Leve" apresentou uma queda leve (F1: 0,07 em inglês vs. 0,06 em grego).
  • A classe "Mínima" caiu significativamente (F1: 0,25 em inglês vs. 0,14 em grego).
  • A classe "Grave" também caiu (F1: 0,22 em inglês vs. 0,20 em grego).
  • Notavelmente, a classe "Moderada" mostrou uma melhoria no F1-score (0,17 em inglês vs. 0,23 em grego).
• Análise de Erros: Os autores analisaram casos específicos onde o LLM classificou erroneamente sintomas de ansiedade ou pânico como depressão. Por exemplo, uma postagem descrevendo pânico e ansiedade foi classificada como "Grave" pelo LLM, enquanto a verdade fundamental era "Mínima". Os autores sugerem que o LLM pode confundir o sofrimento geral (pânico/ansiedade) com a gravidade depressiva, uma nuance que os rótulos de verdade fundamental distinguiram.
• Custo: Os experimentos foram realizados com um custo total de API inferior a US$ 30, demonstrando que tais avaliações podem ser realizadas sem infraestrutura de GPU cara ou ajuste fino (fine-tuning).

Significância e Alegações
O artigo afirma que, embora os LLMs mostrem promessa, eles ainda não são confiáveis o suficiente para determinar isoladamente a gravidade da depressão, particularmente quando dependem de tradução automática para línguas de baixos recursos, como o grego.

• Limitações da Automação: O estudo ressalta que o desempenho dos LLMs varia significativamente entre idiomas e classes de gravidade. Os autores enfatizam que os resultados atuais são insuficientes para o diagnóstico direto de pacientes.
• Papel da Supervisão Humana: Em consonância com os achados de Stade et al. (2024), os autores afirmam que o diagnóstico de saúde mental nunca deve ser deixado inteiramente a sistemas automáticos. A supervisão humana permanece crucial para evitar diagnósticos errôneos.
• Utilidade Potencial: Em vez de substituir clínicos, os autores sugerem que esta abordagem pode ser valiosa para o treinamento de profissionais de saúde mental, particularmente em regiões não anglófonas onde os recursos são escassos.
• Necessidades Futuras: O trabalho destaca a necessidade de pesquisas adicionais em abordagens cultural e linguisticamente sensíveis, melhor coleta de dados para línguas de baixos recursos e o desenvolvimento de técnicas de transferência de aprendizado (transfer learning) mais robustas para lidar com as nuances da terminologia de saúde mental através de diferentes culturas.