Evaluating Health Misinformation in Low-Resource Languages: Integrating Small Language Models with a Culturally-Sensitive Responsible NLP Framework (Bangla as a Case Study)

Technische Samenvatting: Evaluatie van Gezondheidsmisinformatie in Talen met Lage Bronkracht

Probleemstelling
De proliferatie van generatieve AI en Large Language Models (LLM's) heeft de creatie en verspreiding van gezondheidsmisinformatie versneld, wat significante bedreigingen vormt voor wereldwijde digitale omgevingen. Hoewel AI zowel een strijder tegen als een vector voor misinformatie dient, vertonen huidige detectiesystemen kritieke beperkingen in niet-Engelse en talen met lage bronkracht (low-resource languages). Specifiek worden Cultuur en Linguïstisch Diverse (CALD) gemeenschappen blootgesteld aan verhoogde risico's vanwege structurele barrières, een gebrek aan taalkundig passende gezondheidsbronnen, en het onvermogen van bestaande modellen om culturele nuances en lokale tradities te vatten.

Een primaire technische bottleneck is de schaarste aan betrouwbare, door experts geannoteerde datasets voor talen met lage bronkracht (bijv. Bengaals, Arabisch, Vietnamees). Bovendien presteren LLM's vaak ondermaats in gespecialiseerde domeinen zoals de gezondheidszorg vanwege onvoldoende domeinspecifieke kennis en de prohibitieve kosten van middelintensieve fine-tuning. Bijgevolg is er behoefte aan kosteneffectieve, cultureel gevoelige detectiemechanismen die effectief kunnen opereren in omgevingen met lage bronkracht zonder uitsluitend te vertrouwen op Westerse-centrische data of metrieken.

Methodologie
Dit onderzoek hanteert een meerfasige methodologie om Small Language Models (SLM's) te evalueren voor de detectie van gezondheidsmisinformatie in het Bengaals, gevolgd door het ontwerp van een cultureel sensitief evaluatiekader.

1. Datasetconstructie en Vertaling:

   • De studie maakte gebruik van de MHMisinfo: Video-based Mental Health Misinformation dataset (oorspronkelijk Engels), bestaande uit 739 video's en bijbehorende reacties.
   • Na opschoning (het filteren van korte transcripties) werden 286 video's behouden.
   • Een hybride human-in-the-loop vertalingsproces werd geïmplementeerd met behulp van Azure vertalingsdiensten, gevolgd door een rigoureuze validatie door twee in het Bengaals vloeiende experts (waarvan één een expert in het medische domein) om linguïstische getrouwheid, culturele toepasbaarheid en medische nauwkeurigheid te waarborgen.
   • Menselijke experts annoteerden de vertaalde dataset om gezondheidsgerelateerde claims te extraheren en grondwaarheid-labels toe te kennen met betrekking tot hun juistheid (misinformatie versus feitelijk).

2. Experimentele Evaluatie van SLM's:

   • De studie evalueerde een reeks Small Language Models (SLM's) op de Bengaals-vertaalde dataset: Phi-4 (14B), Qwen3 varianten (4B, 8B, 14B), Llama-3.1-8B-Instruct, Gemma-3-12B-IT, en Ministral-8B-2512.
   • De evaluatiepipeline omvatte het gebruik van SLM's voor claimextractie en misinformatieclassificatie via prompt engineering.
   • Prestaties werden gemeten tegenover de door mensen geannoteerde grondwaarheid met behulp van micro-gemiddelde en macro-gemiddelde metrieken (Precisie, Recall, F1-score) om zowel de algehele prestaties als de consistentie over individuele video's te beoordelen.

3. Ontwikkeling van een Verantwoordelijk NLP-kader:

   • In het besef dat standaard technische metrieken (Precisie/Recall) er niet in slagen de nuances van gezondheidsmisinformatie in talen met lage bronkracht te vatten, stelden de auteurs een meerdimensionaal kader voor dat geworteld is in Responsible Natural Language Processing (RNLP).
   • Het kader evalueert misinformatie over zes dimensies:
     1. Inhoudelijke Nauwkeurigheid (CA): Wetenschappelijke onderbouwing en feitelijke consistentie.
     2. Detectie van Misinformatie (M): Misleidende inkadering, weglating van cruciale details en emotionele beroepspunten.
     3. Schade- en Risicobeoordeling (HR): Potentieel voor onveilig gedrag en de ernst van de gezondheidsimpact.
     4. Culturele en Linguïstische Sensitiviteit (CLS): Toepasbaarheid van overtuigingen, praktijken en linguïstische getrouwheid.
     5. Communicatiekwaliteit (CQ): Helderheid, balans in perspectieven en visuele integriteit.
     6. Prestatie-nauwkeurigheid (PA): Betrouwbaarheid van het model bij claimextractie en cross-linguale consistentie.
   • Om deze dimensies te synthetiseren, pasten de auteurs de Entropy-TOPSIS methode toe (Technique for Order Preference by Similarity to Ideal Solution). Deze benadering gebruikt informatie-entropie om objectieve gewichten voor elke dimensie af te leiden op basis van hun discriminerend vermogen, gevolgd door TOPSIS om video's te rangschikken tegenover ideale (accurate) en anti-ideale (misleidende) oplossingen.
   • Een "cascaderende strafregel" werd geïntegreerd: als een model faalt in het extraheren van gegevens (PA=0), markeert het framework de inhoud automatisch voor deskundige beoordeling, wat fungeert als een socio-technische waarborg tegen automatisatiefouten.

Belangrijkste Bijdragen

1. Eerste door Experts gevalideerde Bengaalse Dataset: Creatie van de eerste door experts gevalideerde Bengaalse gezondheidsmisinformatie-dataset door de MHMisinfo-dataset te vertalen en te annoteren, beoordeeld door inheemse medische en linguïstische experts.
2. SLM Benchmarking: Uitgebreide evaluatie van diverse SLM's op de detectie van Bengaalse gezondheidsmisinformatie, waarbij hun prestaties worden vergeleken met de menselijke grondwaarheid en de degradatie van cross-linguale prestaties wordt geanalyseerd.
3. Verantwoordelijk NLP-kader: Ontwerp en testen van een nieuw, meerdimensionaal kader dat verder gaat dan technische metrieken door culturele sensitiviteit, potentieel voor schade en communicatiekwaliteit te integreren, specifiek afgestemd op niet-Engelse contexten.
4. Prototype Toepassing: Ontwikkeling van een proof-of-concept mobiele applicatie, MALAK (Multilingual AI Agent for Learning, Action, and Knowledge), die het framework operationaliseert om gezondheidsclaims te analyseren tegen vertrouwde medische bronnen en risicoclassificaties te bieden.

Resultaten

• Modelprestaties: Onder de geëvalueerde modellen vertoonde Phi-4 de superieure prestaties, waarbij het de beste balans bereikte tussen precisie en recall met een micro-F1-score van 63,77% op de Bengaalse dataset. De Qwen3-modellen (8B en 4B) vertoonden een hoge precisie maar een lagere recall, wat wijst op een conservatief extractiegedrag. Modellen zoals Llama-3.1, Gemma-3 en Ministral vertoonden aanzienlijk lagere prestaties, met name in recall en macro-F1-scores.
• Metrieke Discrepanties: Er werd een aanzienlijk gat waargenomen tussen de micro- en macro-gemiddelde F1-scores (bijv. Phi-4 micro-F1: 63,77 vs. macro-F1: 15,49). Dit geeft aan dat hoewel modellen goed presteren op geaggregeerde data, ze zeer inconsistent zijn over individuele video's en vaak falen in het detecteren van minderheidsklassen (misinformatie-instanties).
• Toepassing van het Kader: Bij toepassing op een subset van zes video's identificeerde het Entropy-TOPSIS-framework succesvol hoog-risico inhoud die standaard metrieken mogelijk zouden missen. Bijvoorbeeld, het markeerde video's waar het model faalde in het extraheren van claims (PA=0) als "Hoog Risico", wat interventie door een expert triggerde. Omgekeerd bracht het een kwetsbaarheid aan het licht waarbij formeel, academisch klinkende taal (zelfs in complottheorieën) de potentie voor grote schade kon maskeren door een hoge prestatie-nauwkeurigheid te behalen, wat suggereert dat er behoefte is aan asymmetrische strafregels in toekomstige iteraties.

Betekenis en Claims
Het artikel stelt dat hoewel SLM's zoals Phi-4 een veelbelovend, kosteneffectief fundament bieden voor gezondheidsmisinformatie-detectie in talen met lage bronkracht, ze nog niet volwassen genoeg zijn om autonoom te opereren in complexe culturele contexten. De studie benadrukt dat technische nauwkeurigheid alleen onvoldoende is voor CALD-gemeenschappen; detectiesystemen moeten culturele sensitiviteit en schadebeoordeling integreren om effectief te zijn.

Het voorgestelde kader biedt een fundamentele aanpak voor de ontwikkeling van toekomstige modellen die prioriteit geven aan zowel nauwkeurigheid als culturele responsiviteit. Door objectieve weging (Entropy) te combineren met multi-criteria besluitvorming (TOPSIS), bieden de auteurs een methode om misinformatie holistisch te evalueren, rekening houdend met linguïstische nuances en potentieel maatschappelijk letsel. Het werk concludeert dat toekomstige inspanningen zich moeten richten op het fine-tunen van SLM's voor specifieke gezondheidsdomeinen, het creëren van meer door experts geannoteerde benchmarks voor talen met lage bronkracht, en het verfijnen van evaluatiekaders om de unieke kwetsbaarheden van CALD-populaties beter aan te pakken.