Resumo Técnico: Ajuste Fino de Modelos de Linguagem para Rastreamento Automatizado de Depressão em Pidgin Nigeriano

1. Problema e Motivação

A depressão representa uma carga significativa para a saúde pública na Nigéria, com uma prevalência estimada entre 3% e 7%. No entanto, o acesso ao rastreamento e diagnóstico é severamente limitado devido a:

• Escassez de Profissionais: Há menos de 300 psiquiatras para uma população de mais de 200 milhões.
• Barreiras Culturais e Linguísticas: O estigma em torno da saúde mental e a baixa literacia em saúde impedem a busca por ajuda.
• Inadequação de Ferramentas Existentes: Instrumentos clínicos padrão, como o Patient Health Questionnaire-9 (PHQ-9), foram validados em países de alta renda e em inglês. Eles não capturam nuances culturais, metáforas e expressões idiomáticas comuns no Pidgin Nigeriano (uma língua franca falada por milhões), onde termos como "my head dey heavy" (minha cabeça está pesada) podem indicar fadiga ou humor baixo, mas são mal interpretados por modelos padrão.
• Riscos de IA: Modelos de linguagem gerais (LLMs) frequentemente falham em interpretar expressões locais e podem gerar respostas inseguras, diagnósticos não autorizados ou falhar na escalada de crises.

2. Metodologia

O estudo, denominado GENSCORE, propôs uma abordagem de ponta a ponta para desenvolver e avaliar LLMs ajustados para o Pidgin Nigeriano.

Coleta de Dados

• Fonte: Plataforma personalizada GENCURATE.
• Participantes: 432 jovens adultos nigerianos (18–40 anos).
• Dados: Respostas de áudio espontâneas em Pidgin a prompts mapeados para os 9 itens do PHQ-9 (ex: padrões de sono, apetite, humor).
• Divisão: 345 amostras para treino, 44 para validação e 42 para teste.

Pré-processamento e Anotação

• Equipe Multidisciplinar: Linguistas computacionais, psicólogos e falantes nativos de Pidgin trabalharam juntos.
• Anotações Realizadas:
  1. Classificação de Severidade: Pontuação do PHQ-9 (0–3) baseada na frequência de sintomas.
  2. Intenção Semântica: Distinção entre descrições literais e expressões metafóricas/idiomáticas.
  3. Interpretação de Gírias: Mapeamento de frases como "i no get ginger for body" para conceitos clínicos (ex: anedonia/falta de energia).

Ajuste Fino (Fine-Tuning)

Três modelos de linguagem de diferentes escalas foram selecionados e ajustados via Ajuste Fino Supervisionado (SFT):

1. Phi-3-mini-4k-instruct: Modelo leve (foco em eficiência).
2. Gemma-3-4B-it: Modelo de escala média (melhor raciocínio contextual).
3. GPT-4.1: Modelo de grande escala (melhor generalização multilíngue e segurança).

Configurações de Treino:

• Formato instrução-resposta estruturado.
• Parâmetros: 4 épocas, batch size de 8, learning rate de 2e-5.
• Engenharia de Prompt de Segurança: Instruções explícitas para manter tom empático, evitar diagnósticos médicos e seguir protocolos de escalada para conteúdo de risco (ex: ideação suicida).

3. Contribuições Principais

• Primeiro Dataset Anotado: Criação de um conjunto de dados único de 432 respostas em Pidgin Nigeriano, anotadas clinicamente e semanticamente para rastreamento de depressão.
• Adaptação Cultural de LLMs: Demonstração de que o ajuste fino em dados culturalmente relevantes permite que modelos interpretem corretamente metáforas e gírias locais, algo que modelos genéricos falham em fazer.
• Framework de Segurança: Implementação de controles rigorosos para garantir que a IA atue como ferramenta de triagem (screening) e não de diagnóstico, com protocolos de escalada para crises.
• Comparação de Escala: Análise sistemática de como o tamanho do modelo impacta a precisão em tarefas de saúde mental de baixo recurso.

4. Resultados e Avaliação

Avaliação Quantitativa

O modelo GPT-4.1 superou consistentemente os outros dois em todas as métricas:

Métrica	Phi-3-mini	Gemma-3-4B-it	GPT-4.1
Acurácia (PHQ-9)	71,8%	82,7%	94,5%
F1-Score	60,9%	74,5%	89,1%
Alinhamento Semântico (BERTScore)	0,72	0,85	0,95
Escalada Correta (Risco)	82%	94%	100%
Conformidade Não-Diagnóstica	91%	96%	99%

Avaliação Qualitativa (Humana)

Avaliado por psicólogos e falantes nativos quanto a clareza, relevância e adequação cultural:

• GPT-4.1: Alcançou pontuações excepcionais (Clareza: 98%, Relevância: 96%, Adequação Cultural: 98%).
• Phi-3 e Gemma: Apresentaram dificuldades em interpretar nuances culturais e metáforas complexas, resultando em respostas menos naturais e precisas.

5. Significado e Conclusão

O estudo demonstra que é viável desenvolver ferramentas de IA seguras e escaláveis para triagem de depressão em comunidades subatendidas e de baixo recurso linguístico.

• Viabilidade: O ajuste fino em Pidgin Nigeriano permite que LLMs entendam a "linguagem do coração" local, superando as barreiras de ferramentas traduzidas literalmente.
• Impacto: Oferece um caminho para democratizar o acesso ao rastreamento de saúde mental na Nigéria, contornando a escassez de profissionais.
• Recomendação Futura: Embora o GPT-4.1 tenha sido o mais eficaz, modelos de escala média (como Gemma) mostraram potencial para implantação em ambientes com restrições de hardware, desde que devidamente ajustados. Trabalhos futuros devem focar na expansão do dataset, inclusão de mais dialetos nigerianos e integração em plataformas de saúde digital reais.

Em suma, este trabalho estabelece um novo padrão para a aplicação de IA em saúde mental em contextos de baixa renda, enfatizando que a sensibilidade cultural e linguística é tão crítica quanto a precisão técnica.