Evaluating Health Misinformation in Low-Resource Languages: Integrating Small Language Models with a Culturally-Sensitive Responsible NLP Framework (Bangla as a Case Study)

Resumo Técnico: Avaliando a Desinformação de Saúde em Línguas de Baixos Recursos

Declaração do Problema
A proliferação da IA generativa e dos Grandes Modelos de Linguagem (LLMs) acelerou a criação e disseminação de desinformação de saúde, representando ameaças significativas aos ambientes digitais globais. Embora a IA sirva tanto como combatente quanto como vetor para a desinformação, os sistemas de detecção atuais exibem limitações críticas em contextos de línguas não inglesas e de baixos recursos. Especificamente, as comunidades Cultural e Linguisticamente Diversas (CALD) enfrentam riscos acentuados devido a barreiras estruturais, falta de recursos de saúde linguisticamente apropriados e a incapacidade dos modelos existentes de capturar nuances culturais e tradições locais.

Um gargalo técnico primário é a escassez de conjuntos de dados confiáveis e anotados por especialistas para línguas de baixos recursos (ex: bengali, árabe, vietnamita). Além disso, os LLMs frequentemente apresentam desempenho inferior em domínios especializados como a saúde devido ao conhecimento específico de domínio insuficiente e aos custos proibitivos de um ajuste fino (fine-tuning) intensivo em recursos. Consequentemente, há uma necessidade de mecanismos de detecção de baixo custo e culturalmente sensíveis que possam operar efetivamente em cenários de baixos recursos sem depender exclusivamente de dados ou métricas centradas no Ocidente.

Metodologia
Esta pesquisa emprega uma metodologia de múltiplos estágios para avaliar Pequenos Modelos de Linguagem (SLMs) para a detecção de desinformação de saúde em bengali, seguida pelo design de um framework de avaliação culturalmente sensível.

1. Construção e Tradução de Conjunto de Dados:

   • O estudo utilizou o conjunto de dados MHMisinfo: Video-based Mental Health Misinformation (originalmente em inglês), compreendendo 739 vídeos e comentários associados.
   • Após a limpeza (filtragem de transcrições curtas), 286 vídeos foram retidos.
   • Um processo híbrido de tradução com participação humana (human-in-the-loop) foi implementado usando serviços de tradução da Azure, seguido de validação rigorosa por dois especialistas nativos de bengali (um deles especialista no domínio médico) para garantir fidelidade linguística, adequação cultural e precisão médica.
   • Especialistas humanos anotaram o conjunto de dados traduzido para extrair alegações relacionadas à saúde e atribuir rótulos de verdade fundamental (ground-truth) quanto à sua exatidão (desinformação vs. fato).

2. Avaliação Experimental de SLMs:

   • O estudo avaliou uma suíte de Pequenos Modelos de Linguagem (SLMs) no conjunto de dados traduzido para bengali: Phi-4 (14B), variantes Qwen3 (4B, 8B, 14B), Llama-3.1-8B-Instruct, Gemma-3-12B-IT e Ministral-8B-2512.
   • O pipeline de avaliação envolveu o uso de SLMs para extração de alegações e classificação de desinformação via engenharia de prompt.
   • O desempenho foi medido contra a verdade fundamental anotada por humanos usando métricas de média micro e macro (Precisão, Recall, F1-score) para avaliar tanto o desempenho geral quanto a consistência entre vídeos individuais.

3. Desenvolvimento de um Framework de NLP Responsável:

   • Reconhecendo que as métricas técnicas padrão (Precisão/Recall) falham em capturar as nuances da desinformação de saúde em línguas de baixos recursos, os autores propuseram um framework multidimensional fundamentado em Processamento de Linguagem Natural Responsável (RNLP).
   • O framework avalia a desinformação através de seis dimensões:
     1. Precisão de Conteúdo (CA): Fundamentação científica e consistência factual.
     2. Detecção de Desinformação (M): Enquadramento enganoso, omissão de detalhes cruciais e apelos emocionais.
     3. Avaliação de Dano e Risco (HR): Potencial para comportamentos inseguros e severidade do impacto na saúde.
     4. Sensibilidade Cultural e Linguística (CLS): Adequação de crenças, práticas e fidelidade linguística.
     5. Qualidade de Comunicação (CQ): Clareza, equilíbrio de perspectivas e integridade visual.
     6. Precisão de Desempenho (PA): Confiabilidade do modelo na extração de alegações e consistência translingual.
   • Para sintetizar essas dimensões, os autores aplicaram o método Entropy-TOPSIS (Técnica de Preferência por Similaridade à Solução Ideal). Esta abordagem utiliza a entropia da informação para derivar pesos objetivos para cada dimensão com base em seu poder discriminativo, seguido pelo TOPSIS para classificar os vídeos contra soluções ideais (precisas) e anti-ideais (enganosas).
   • Uma "regra de penalidade em cascata" foi integrada: se um modelo falha na extração de dados (PA=0), o framework automaticamente sinaliza o conteúdo para revisão especializada, atuando como uma salvaguarda sociotécnica contra falhas de automação.

Principais Contribuições

1. Primeiro Conjunto de Dados de Bengali Validado por Especialistas: Criação do primeiro conjunto de dados de desinformação de saúde em bengali validado por especialistas, através da tradução e anotação do dataset MHMisinfo, revisado por especialistas linguísticos e médicos nativos.
2. Benchmarking de SLM: Avaliação abrangente de vários SLMs na detecção de desinformação de saúde em bengali, comparando seu desempenho com a verdade fundamental humana e analisando a degradação do desempenho translingual.
3. Framework de NLP Responsável: Design e teste de um novo framework multidimensional que vai além das métricas técnicas para incorporar sensibilidade cultural, potencial de dano e qualidade de comunicação, especificamente adaptado para contextos não ingleses.
4. Aplicação de Protótipo: Desenvolvimento de um aplicativo móvel de prova de conceito, MALAK (Multilingual AI Agent for Learning, Action, and Knowledge), que operacionaliza o framework para analisar alegações de saúde contra fontes médicas confiáveis e fornecer classificações de risco.

Resultados

• Desempenho do Modelo: Entre os modelos avaliados, o Phi-4 demonstrou o desempenho superior, alcançando o melhor equilíbrio entre precisão e recall com um F1-score micro de 63,77% no dataset de bengali. Os modelos Qwen3 (8B e 4B) mostraram alta precisão, mas recall mais baixo, indicando um comportamento de extração conservador. Modelos como Llama-3.1, Gemma-3 e Ministral exibiram desempenho significativamente inferior, particularmente em recall e scores de macro-F1.
• Discrepâncias de Métricas: Uma lacuna significativa foi observada entre os scores de F1 de média micro e macro (ex: micro-F1 do Phi-4: 63,77 vs. macro-F1: 15,49). Isso indica que, embora os modelos performem bem em dados agregados, são altamente inconsistentes entre vídeos individuais, falhando frequentemente em detectar classes minoritárias (instâncias de desinformação).
• Aplicação do Framework: Ao ser aplicado a um subconjunto de seis vídeos, o framework Entropy-TOPSIS identificou com sucesso conteúdos de alto risco que métricas padrão poderiam perder. Por exemplo, ele sinalizou vídeos onde o modelo falhou na extração de alegações (PA=0) como "Alto Risco", disparando intervenção especializada. Inversamente, destacou uma vulnerabilidade onde a linguagem formal e de aparência acadêmica (mesmo em teorias da conspiração) poderia mascarar um alto potencial de dano ao atingir altos scores de precisão de desempenho, sugerindo a necessidade de regras de penalidade assimétricas em iterações futuras.

Significância e Alegações
O artigo postula que, embora os SLMs como o Phi-4 ofereçam uma base promissora e de baixo custo para a detecção de desinformação de saúde em línguas de baixos recursos, eles ainda não são maduros o suficiente para operar autonomamente em contextos culturais complexos. O estudo enfatiza que a precisão técnica sozinha é insuficiente para comunidades CALD; os sistemas de detecção devem integrar sensibilidade cultural e avaliação de danos para serem eficazes.

O framework proposto oferece uma abordagem fundamental para o desenvolvimento de futuros modelos que priorizem tanto a precisão quanto a responsividade cultural. Ao combinar peso objetivo (Entropia) com tomada de decisão multicritério (TOPSIS), os autores fornecem um método para avaliar holisticamente a desinformação que considera nuances linguísticas e potencial dano social. O trabalho conclui que esforços futuros devem focar no ajuste fino de SLMs para domínios de saúde específicos, na criação de mais benchmarks anotados por especialistas para línguas de baixos recursos e no refinamento de frameworks de avaliação para melhor abordar as vulnerabilidades únicas das populações CALD.