Development and Evaluation of HEAL A Bilingual English-Luganda RAG Chatbot for Disease Surveillance in Uganda

Stel je de wereld van kunstmatige intelligentie voor als een enorme, superintelligente bibliotheek waar een robotbibliothecaris elke vraag kan beantwoorden die je stelt. Maar hier zit de adder onder het gras: de meeste van deze bibliothecarissen spreken alleen Engels en ze zijn getraind op boeken uit de hele wereld, niet op de specifieke regelboeken die door artsen in een bepave land worden gebruikt. Dit creëert een probleem voor "Retrieval-Augmented Generation" (RAG). Zie RAG niet als een robot die antwoorden simpelweg uit zijn geheugen raadt, maar als een robot die gedwongen wordt een specifiek tekstboek te openen, de exacte pagina te vinden en het antwoord hardop voor te lezen voordat hij spreekt. Dit voorkomt dat de robot dingen verzint. Dan is er het probleem van "Large Language Models" (LLM's), die de hersenen achter deze robots vormen. Hoewel ze briljant zijn, hebben ze vaak moeite met talen die niet over miljoenen digitale boeken beschikken, zoals Luganda, een taal die door miljoenen mensen in Oeganda wordt gesproken. Waarom is dit belangrijk? Omdat wanneer er een ziekte-uitbraak plaatsvindt, gezondheidswerkers direct moeten weten wat ze moeten doen. Als de enige gids een dik, technisch Engels boek is dat ze niet snel kunnen lezen, of als een robot een fout antwoord geeft omdat hij de specifieke regels van Oeganda niet kent, kunnen mensen ziek worden of zelfs sterven.

Dit artikel introduceert een nieuw project genaamd HEAL (AI for Health Equity), een tweetalige chatbot die ontworpen is om die perfecte bibliothecaris voor Oeganda te zijn. Het team wilde zien of ze een robot konden bouwen die niet alleen gokt, maar ook daadwerkelijk de officiële richtlijnen voor ziektebewaking van Oeganda (de IDSR-handleiding) leest en vragen beantwoordt in zowel het Engels als het Luganda. Ze namen de officiële richtlijnen, die honderden pagina's lang zijn en in complex Engels zijn geschreven, en vertaalden deze naar het Luganda. Vervolgens bouwden ze een systeem dat een krachtig AI-brein (GPT-4-turbo) gebruikt om de juiste pagina in die richtlijnen te vinden en het antwoord te genereren, terwijl een speciale vertaaltool ervoor zorgt dat het antwoord zinvol is in het Luganda.

De onderzoekers testten deze nieuwe HEAL-bot tegen drie beroemde commerciële robots (GPT-4, GPT-3.5 en Gemini) met behulp van 50 echte vragen die gezondheidswerkers in Oeganda daadwerkelijk hadden gesteld tijdens hun dagelijkelijk werk. Zes experts van het Ministerie van Volksgezondheid en het Infectious Diseases Institute fungeerden als rechters en beoordeelden de antwoorden op hoe relevant ze waren, hoe compleet de informatie was en hoe goed ze geschreven waren. De resultaten lieten zien dat HEAL de duidelijke winnaar was. Het scoorde hoger dan alle commerciële modellen in de algemene analyse, en de experts beoordeelden het het meest consistent als het hoogste. Het artikel suggereert dat het verankeren van de AI in de specifieke nationale richtlijnen en het toevoegen van een lokale taallaag het veel nuttiger maakte dan de generieke, kant-en-klare alternatieven.

Echter, het verhaal is geen perfect sprookje. Hoewel de experts HEAL goed vonden, was de vertaling van het Engels naar het Luganda niet foutloos. Het team mat de kwaliteit van de vertaling en stelde vast dat, hoewel het goed genoeg was om de medische feiten te begrijpen, de formulering in het Luganda soms wat onhandig of onnatuurlijk aanvoelde. Het artikel sluit expliciet de mogelijkheid uit dat een eenvoudige Engelstalige tool zou werken voor deze werkers; ze vonden dat zonder de Luganda-laag, de tool er niet in slaagt het toegangsprobleem op te lossen. Bovendien benadrukt de studie dat hoewel de AI slim is, deze nog steeds afhankelijk is van het internet en clou dservers, wat een barrière kan zijn voor gezondheidswerkers in landelijke gebieden met een slechte connectiviteit. De auteurs waarschuwen voorzichtig dat hoewel het hulpmiddel veelbelovend en accuraat is, het nog niet bewezen is dat het daadwerkelijk uitbraken stopt of levens redt op de lange termijn; ze maten alleen hoe goed het vragen beantwoordde en hoeveel de werkers het prettig vonden in gebruik.

Uiteindelijk suggereert het artikel dat de toekomst van gezondheids-AI in plaatsen zoals Oeganda niet gaat over het hebben van het grootste, duurste brein, maar over het hebben van een brein dat de lokale regels kent en de lokale taal spreekt. Het team kwam tot de conclusie dat door een krachtige AI te combineren met een specifieke set nationale richtlijnen en een vertaal-laag, ze een tool konden creëren die de grote commerciële reuzen in een echte wereldsetting overtreft. Maar ze waarschuwen ook dat voordat dit overal gebruikt kan worden, de vertaling soepeler moet zijn en het systeem moet kunnen werken zonder een constante internetverbinding nodig te hebben. Het is een succesvol prototype dat de weg vooruit wijst, maar de reis naar een volledig operationele, levensreddende tool is nog steeds gaande.