Building Multilingual Datasets for Predicting Mental Health Severity through LLMs: Prospects and Challenges

Resumo Técnico: Construção de Conjuntos de Dados Multilíngues para Predição de Gravidade de Saúde Mental através de LLMs

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem grande potencial no suporte à saúde mental (detecção de sintomas e auxílio ao diagnóstico), a vasta maioria da pesquisa atual é focada exclusivamente na língua inglesa. Existe uma lacuna crítica no entendimento de como esses modelos se comportam em contextos não ingleses, onde nuances culturais, linguísticas e a escassez de recursos digitais (em línguas de baixo recurso) podem comprometer a precisão. O risco de diagnósticos errôneos em ambientes médicos devido a essas inconsistências é uma preocupação central.

2. Metodologia Proposta

Os autores propõem um fluxo de trabalho para criar e avaliar adaptações multilíngues de conjuntos de dados de saúde mental existentes. A metodologia segue estas etapas:

1. Tradução Automática: Utilização de LLMs para traduzir posts de redes sociais (Reddit/Twitter) do inglês para seis idiomas: Grego, Turco, Francês, Português, Alemão e Finlandês.
2. Predição de Gravidade: Os textos traduzidos são inseridos em prompts específicos que solicitam ao LLM a classificação da gravidade de uma condição de saúde mental.
3. Avaliação: Comparação das predições com os rótulos originais (ground truth) utilizando métricas de Precisão, Recall e F1-Score.

Conjuntos de Dados Utilizados:

• DEP-SEVERITY: Classifica a depressão em quatro níveis (Mínima, Leve, Moderada e Severa).
• C-SSRS (Columbia-Suicide Severity Rating Scale): Avalia o risco de suicídio em cinco categorias (Suporte, Indicador, Ideação, Comportamento e Tentativa).

Modelos Testados: GPT-3.5-turbo, GPT-4o-mini e Llama 3.1.

3. Principais Contribuições

• Criação de um novo dataset multilíngue: Um conjunto de dados derivado de conteúdo gerado por usuários, traduzido via LLM, cobrindo diversas famílias linguísticas (Romance, Germânica, Helênica, Uralica e Altai).
• Avaliação extensiva de performance: Um estudo comparativo de como a eficácia da predição varia entre idiomas e modelos.
• Análise de erro e viabilidade: Uma investigação sobre os riscos de uso clínico e a eficiência de custos da abordagem proposta.

4. Resultados Principais

• Variabilidade Linguística: Observou-se uma inconsistência significativa no desempenho entre os idiomas. Por exemplo, no dataset de depressão (GPT-3.5), o desempenho caiu em idiomas como o Turco, enquanto aumentou em Francês e Alemão.
• Desempenho por Modelo: O GPT-4o-mini mostrou-se muito mais estável e consistente do que o GPT-3.5 e o Llama 3.1 para tarefas de classificação multilíngue.
• Efeito da Tradução (Back-translation): O experimento de traduzir o texto para um idioma alvo e depois de volta para o inglês mostrou que o processo de tradução pode, em certos casos, auxiliar a performance de predição do modelo.
• Dificuldade de Classes: Classes de alta gravidade ou comportamentos específicos (como "Tentativa" no C-SSRS) são extremamente difíceis de prever com precisão, apresentando baixos índices de F1 em quase todos os idiomas.
• Custo-Benefício: A abordagem via API (GPT-3.5) mostrou-se extremamente barata (menos de $30 para os experimentos), tornando-a viável para expansão de datasets sem a necessidade de infraestrutura de GPU massiva.

5. Significância e Conclusões

O estudo destaca que, embora os LLMs sejam ferramentas poderosas e de baixo custo para expandir o acesso à saúde mental em escala global, eles não devem ser utilizados de forma autônoma para diagnósticos médicos. A variabilidade de performance entre idiomas indica que o modelo pode interpretar nuances culturais de forma errônea, levando a erros de classificação.

A pesquisa serve como um alerta para a necessidade de modelos mais conscientes culturalmente e reforça que o uso de IA na saúde mental deve ser uma ferramenta de suporte para profissionais humanos, e não um substituto, devido ao risco inerente de misdiagnósticos em contextos multilíngues.