Evaluating Health Misinformation in Low-Resource Languages: Integrating Small Language Models with a Culturally-Sensitive Responsible NLP Framework (Bangla as a Case Study)

Resumen Técnico: Evaluación de la Desinformación en Salud en Idiomas con Recursos Limitados

Planteamiento del Problema
La proliferación de la IA generativa y los Modelos de Lenguaje Extensos (LLM) ha acelerado la creación y difusión de desinformación sobre salud, lo que plantea amenazas significativas para los entornos digitales globales. Si bien la IA sirve tanto como combatiente contra la desinformación como vector para la misma, los sistemas de detección actuales exhiben limitaciones críticas en contextos de idiomas no ingleses y de recursos limitados. Específicamente, las comunidades Culturalmente y Lingüísticamente Diversas (CALD) enfrentan riesgos aumentados debido a barreras estructurales, la falta de recursos de salud lingüísticamente apropiados y la incapacidad de los modelos existentes para capturar matices culturales y tradiciones locales.

Un cuello de botella técnico primario es la escasez de conjuntos de datos fiables y anotados por expertos para idiomas de recursos limitados (por ejemplo, bengalí, árabe, vietnamita). Además, los LLM suelen tener un rendimiento inferior en dominios especializados como la atención médica debido al conocimiento insuficiente en el dominio específico y a los costos prohibitivos de un ajuste fino (fine-tuning) intensivo en recursos. En consecuencia, existe la necesidad de mecanismos de detección rentables y culturalmente sensibles que puedan operar eficazmente en entornos de recursos limitados sin depender únicamente de datos o métricas de enfoque occidental.

Metodología
Esta investigación emplea una metodología de múltiples etapas para evaluar Modelos de Lenguaje Pequeños (SLM) para la detección de desinformación en salud en bengalí, seguida del diseño de un marco de evaluación culturalmente sensible.

1. Construcción y Traducción de Datasets:

   • El estudio utilizó el conjunto de datos MHMisinfo: Video-based Mental Health Misformation (originalmente en inglés), que comprende 739 videos y sus comentarios asociados.
   • Tras la limpieza (filtrando transcripciones cortas), se retuvieron 286 videos.
   • Se implementó un proceso de traducción híbrido con intervención humana utilizando servicios de traducción de Azure, seguido de una validación rigurosa por parte de dos expertos nativos en bengalí (uno de ellos experto en el dominio médico) para asegurar la fidelidad lingüística, la adecuación cultural y la precisión médica.
   • Expertos humanos anotaron el dataset traducido para extraer afirmaciones relacionadas con la salud y asignar etiquetas de verdad fundamental (ground-truth) respecto a su exactitud (desinformación frente a veracidad).

2. Evaluación Experimental de SLMs:

   • El estudio evaluó una serie de Modelos de Lenguaje Pequeños (SLM) en el dataset traducido al bengalí: Phi-4 (14B), variantes de Qwen3 (4B, 8B, 14B), Llama-3.1-8B-Instruct, Gemma-3-12B-IT y Ministral-8B-2512.
   • El pipeline de evaluación consistió en utilizar los SLM para la extracción de afirmaciones y la clasificación de desinformación mediante ingeniería de prompts.
   • El rendimiento se midió frente a la verdad fundamental anotada por humanos utilizando métricas de promedio micro y macro (Precisión, Recall, F1-score) para evaluar tanto el rendimiento general como la consistencia a través de videos individuales.

3. Desarrollo de un Marco de PLN Responsable:

   • Reconociendo que las métricas técnicas estándar (Precisión/Recall) no logran capturar los matices de la desinformación en salud en idiomas de recursos limitados, los autores propusieron un marco multidimensional basado en el Procesamiento de Lenguaje Natural Responsable (RNLP).
   • El marco evalúa la desinformación a través de seis dimensiones:
     1. Exactitud del Contenido (CA): Fundamentación científica y consistencia fáctica.
     2. Detección de Desinformación (M): Encuadre engañoso, omisión de detalles clave y apelaciones emocionales.
     3. Evaluación de Daño y Riesgo (HR): Potencial de comportamientos inseguros y severidad del impacto en la salud.
     4. Sensibilidad Cultural y Lingüística (CLS): Adecuación de creencias, prácticas y fidelidad lingüística.
     5. Calidad de la Comunicación (CQ): Claridad, equilibrio de perspectivas e integridad visual.
     6. Exactitud del Rendimiento (PA): Fiabilidad del modelo en la extracción de afirmaciones y consistencia translingüística.
   • Para sintetizar estas dimensiones, los autores aplicaron el método Entropy-TOPSIS (Técnica para el Orden de Preferencia por Similitud con la Solución Ideal). Este enfoque utiliza la entropía de la información para derivar pesos objetivos para cada dimensión basados en su poder discriminatorio, seguido de TOPSIS para clasificar los videos frente a soluciones ideales (precisas) y anti-ideales (engañosas).
   • Se integró una "regla de penalización en cascada": si un modelo falla en la extracción de datos (PA=0), el marco marca automáticamente el contenido para revisión de expertos, actuando como una salvaguarda sociotécnica contra el fallo de la automatización.

Contribuciones Clave

1. Primer Dataset en Bengalí Validado por Expertos: Creación del primer conjunto de datos de desinformación en salud en bengalí validado por expertos mediante la traducción y anotación del dataset MHMisinfo, revisado por expertos lingüísticos y médicos nativos.
2. Benchmarking de SLM: Evaluación exhaustiva de varios SLM en la detección de desinformación en salud en bengalí, comparando su rendimiento frente a la verdad fundamental humana y analizando la degradación del rendimiento translingüístico.
3. Marco de PLN Responsable: Diseño y prueba de un nuevo marco multidimensional que va más allá de las métricas técnicas para incorporar la sensibilidad cultural, el potencial de daño y la calidad de la comunicación, diseñado específicamente para contextos no ingleses.
4. Aplicación de Prototipo: Desarrollo de una aplicación móvil de prueba de concepto, MALAK (Agente de IA Multilingüe para el Aprendizaje, la Acción y el Conocimiento), que operacionaliza el marco para analizar afirmaciones de salud frente a fuentes médicas de confianza y proporcionar clasificaciones de riesgo.

Resultados

• Rendimiento de los Modelos: Entre los modelos evaluados, Phi-4 demostró el rendimiento superior, logrando el mejor equilibrio entre precisión y recall con un micro-F1 de 63.77% en el dataset en bengalí. Los modelos Qwen3 (8B y 4B) mostraron una alta precisión pero un recall más bajo, lo que indica un comportamiento de extracción conservador. Modelos como Llama-3.1, Gemma-3 y Ministral exhibieron un rendimiento significativamente menor, particularmente en recall y puntuaciones macro-F1.
• Discrepancias de Métricas: Se observó una brecha significativa entre las puntuaciones F1 de promedio micro y macro (ej., Phi-4 micro-F1: 63.77 vs. macro-F1: 15.49). Esto indica que, si bien los modelos funcionan bien en datos agregados, son altamente inconsistentes en videos individuales, fallando a menudo en la detección de clases minoritarias (instancias de desinformación).
• Aplicación del Marco: Al aplicarse a un subconjunto de seis videos, el marco Entropy-TOPSIS identificó con éxito contenido de alto riesgo que las métricas estándar podrían pasar por alto. Por ejemplo, marcó videos donde el modelo falló en la extracción de afirmaciones (PA=0) como "Alto Riesgo", activando la intervención de un experto. Por el contrario, resaltó una vulnerabilidad donde el lenguaje formal de apariencia académica (incluso en teorías de conspiración) podría enmascarar un alto potencial de daño al lograr puntuaciones de exactitud de rendimiento elevadas, lo que sugiere la necesidad de reglas de penalización asimétricas en iteraciones futuras.

Significancia y Reivindicaciones
El artículo postula que, si bien los SLM como Phi-4 ofrecen una base prometedora y rentable para la detección de desinformación en salud en idiomas de recursos limitados, aún no son lo suficientemente maduros para operar de forma autónoma en contextos culturales complejos. El estudio enfatiza que la exactitud técnica por sí sola es insuficiente para las comunidades CALD; los sistemas de detección deben integrar la sensibilidad cultural y la evaluación de daños para ser efectivos.

El marco propuesto ofrece un enfoque fundacional para desarrollar futuros modelos que prioricen tanto la exactitud como la capacidad de respuesta cultural. Al combinar la ponderación objetiva (Entropía) con la toma de decisiones multicriterio (TOPSIS), los autores proporcionan un método para evaluar holísticamente la desinformación que tiene en cuenta los matices lingüísticos y el potencial de daño social. El trabajo concluye que los esfuerzos futuros deben centrarse en el ajuste fino de los SLM para dominios de salud específicos, la creación de más benchmarks anotados por expertos para idiomas de recursos limitados y el refinamiento de los marcos de evaluación para abordar mejor las vulnerabilidades únicas de las poblaciones CALD.