An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification

Stel je het internet voor als een enorme, bruisende bibliotheek waar iedereen feiten, geruchten of wilde gokken over gezondheid kan roepen. Soms zijn de boeken juist; andere keren zitten ze vol onzin die mensen ziek of bang kan maken. In de afgelopen jaren hebben wetenschappers "slimme robots" (AI genoemd) gebouwd om als bibliothecarissen te fungeren, die deze kreten lezen en bepalen of ze waar of onwaar zijn. Deze robots gebruiken een speciaal soort brein dat een Transformer wordt genoemd, wat heel goed is in het begrijpen van menselijke taal. Maar hier komt de adder onder het gras: deze robots verzinnen soms dingen omdat ze alleen vertrouwen op wat ze zich herinneren van hun training, in plaats van een echte, vertrouwde encyclopedie te raadplegen. Om dit op te lossen, hebben onderzoekers een truc uitgevonden genaamd Retrieval-Augmented Generation (RAG). Denk aan RAG als het geven van een rugzak vol vertrouwde boeken aan de robot. Voordat de robot een vraag beantwoordt, grijpt hij in de rugzak, pakt de meest relevante pagina eruit en leest deze om er zeker van te zijn dat zijn antwoord geworteld is in de realiteit.

Dit is precies de uitdaging waar onderzoekers uit Nigeria en Rusland zich mee hebben beziggehouden. Ze wilden zien of ze een superintelligente bibliothecaris konden bouwen voor gezondheidsgeruchten specif으로 in Nigeria, gebruikmakend van betrouwbare bronnen zoals de Wereldgezondheidsorganisatie (WHO) en het Nigeria Centre for Disease Control and Prevention (NCDC). Ze vroegen zich af: "Als we onze AI-robot een rugzak geven vol officiële Nigeriaanse en wereldwijde gezondheidsrapporten, zal hij dan beter worden in het opsporen van leugens over ziekten zoals Lassa koorts, cholera of het aapjespokkenvirus?" Het antwoord was verrassend genoeg geen simpel "ja". Hoewel het idee van de rugzak briljant is, kwamen de onderzoekers tot de conclusie dat de rugzak die ze hadden gebouwd te klein en te leeg was om de robot veel te helpen. In plaats daarvan hing het succes van de robot meer af van welk specifiek "breinmodel" ze gebruikten en hoe ze hem onderwezen, dan van de extra boeken die ze hem probeerden te geven.

Het verhaal van de digitale bibliothecaris

De onderzoekers begonnen met het verzamelen van een collectie van 67 gezondheidsclaims die al door menselijke factcheckers in Nigeria waren gecontroleerd. Deze claims besloegen vijf belangrijke ziekten: COVID-19, Lassa koorts, cholera, mazelen en het aapjespokkenvirus. Sommige claims waren waar, sommige waren onwaar en sommige waren misleidend (zoals zeggen dat een drankje een uitbraak veroorzaakte terwijl het eigenlijk het water was dat werd gebruikt om het te maken). Ze labelden deze claims als "Waar", "Onwaar" of "Misleidend" om een test voor hun AI te creëren.

Vervolgens bouwden ze hun "rugzak". Ze namen officiële documenten van de WHO en de NCDC, hakten deze in kleine, gemakkelijk leesbare stukjes en veranderden ze in een digitale bibliotheek. Het plan was dat de AI een gerucht zou bekijken, in deze bibliotheek zou zoeken naar de best passende feiten, en die feiten vervolgens zou gebruiken om te beslissen of het gerucht een leugen was. Ze testten drie verschillende soorten AI-hersenen: BERT, RoBERTa en DeBERTa. Ze probeerden ook een speciale versie van DeBERTa die de mogelijkheid kreeg om feiten in hun bibliotheek op te zoeken (de RAG-versie).

De grote verrassing

Hier neemt het verhaal een wending. Je zou verwachten dat het geven van een rugzak met vertrouwde feiten de AI een genie zou maken. Maar de resultaten waren een beetje teleurstellend.

De onderzoekers ontdekten dat het BERT-model, zonder enige hulp van de rugzak, het beste werk deed. Het had 71% van de tijd het juiste antwoord en had een score van 0,66 (een maatstaf voor hoe goed het een balans vond tussen het goed hebben en niets missen). Dit was de kampioen.

De andere modellen, inclusief de chique DeBERTa, hadden het moeilijk. Sterker nog, toen ze probeerden DeBERTa te helpen door het meer trainingsvoorbeelden te geven (een techniek genaamd "augmentatie") of door het de mogelijkheid te geven feiten in de bibliotheek op te zoeken, werd het niet beter. Het werd zelfs slechter en eindigde met het raden van bijna hetzelfde antwoord voor alles. Het was als een student die, wanneer hij een tekstboek krijgt, gewoon ophoudt met denken en "Waar" schrijft bij elke enkele vraag omdat hij in de war is.

Waarom faalde de rugzak? De onderzoekers realiseerden zich dat hun bibliotheek te klein was. Specifiek, wanneer het systeem geen perfecte match kon vinden in de hoofdbibliotheek, moest het vertrouwen op een alternatieve optie die slechts bestond uit vijf algemene ziekteoverzichten (één voor elke ziekte). Deze piekleine collectie was te generiek om de specifieke details te bieden die nodig zijn om ware claims van onware te onderscheiden. Wanneer de AI vroeg: "Is deze specifieke uitbraak in Lagos echt?", had de rugzak niet de specifieke pagina om het te laten zien; het had alleen een vage samenvatting. Omdat de bibliotheek effectief leeg was aan specifieke bewijslast, kon de AI de extra informatie niet gebruiken om betere beslissingen te nemen. Het was alsoal proberen een specifieke naald in een hooiberg te vinden, maar de hooiberg bevatte slechts drie strohalmen.

Wat dit betekent

De studie suggereert dat het simpelweg toevoegen van een "retrieval"-functie (de rugzak) geen toverstaf is. Als de bibliotheek die je in de rugzak stopt niet groot en gedetailleerd genoeg is, zal de AI niet leren er gebruik van te maken. De onderzoekers concludeerden dat voor deze specifieke opstelling het type AI-brein (BERT) belangrijker was dan de extra boeken. Ze merkten ook op dat hun dataset erg klein was (slechts 67 claims), wat het voor de AI moeilijk maakte om het verschil te leren tussen een waar verhaal, een leugen en een misleidende halve waarheid.

De onderzoekers zijn echter hoopvol. Ze suggereren dat als ze een veel grotere, beter georganiseerde bibliotheek bouwen met duizenden specifieke rapporten van de WHO en NCDC, de rugzak eindelijk zijn magie zou kunnen laten werken. Voor nu hebben ze ons laten zien dat in de wereld van AI-factchecking een goed brein belangrijk is, maar dat een goede bibliotheek net zo cruciaal is — en als de bibliotheek leeg is, kan het brein zijn werk niet doen.