Evaluating Large Language Models' Responses to Sexual and Reproductive Health Queries in Nepali

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt voor persoonlijke vragen, waaronder op het gebied van Seksuele en Reproductieve Gezondheid (SRG), omdat ze anonieme en niet-oordelende gesprekken mogelijk maken. In landen met beperkte middelen, zoals Nepal, zijn er echter aanzienlijke barrières voor toegang tot SRG-informatie, veroorzaakt door stigma, gebrek aan informatie en misvattingen.

Hoewel LLMs potentieel hebben om deze kloof te overbruggen, zijn de bestaande evaluatiemethoden ontoereikend voor deze context:

1. Focus op nauwkeurigheid: De meeste studies evalueren LLMs uitsluitend op feitelijke nauwkeurigheid, vaak in hoog-risico talen (zoals Engels) en voor objectieve medische vragen.
2. Gebrek aan multidimensionale criteria: Er ontbreken gestructureerde criteria om bruikbaarheid (gebruiksgemak, relevantie, culturele geschiktheid) en veiligheid (gevoeligheid, vertrouwelijkheid) te beoordelen, vooral voor laag-risico talen en cultureel gevoelige domeinen.
3. Beperkte toepassing: Er is weinig onderzoek gedaan naar de prestaties van LLMs in gemeenschapscontexten en in talen zoals Nepali.

Methodologie

De auteurs hebben een nieuwe, taal-agnostische evaluatieframework ontwikkeld en toegepast in een real-world setting in Nepal.

1. Het LEAF Framework (LLM Evaluation Framework)
Het paper introduceert LEAF, een framework dat beoordelingen uitvoert op vier hoofdcriteria, verder dan alleen nauwkeurigheid:

• Nauwkeurigheid: Classificatie als accuraat, gedeeltelijk accuraat of inaccuraat.
• Taal: Evalueert of het antwoord in dezelfde taal als de vraag is (Nepali vs. Engels) of gemengde talen bevat.
• Gebruiksgaten (Usability Gaps): Een multi-label classificatie voor:
  • Relevantie (antwoordt het de vraag?)
  • Toereikendheid (bevat het alle noodzakelijke componenten?)
  • Culturele geschiktheid (past het in de Nepalese context?)
  • Actualiteit (is de informatie up-to-date?)
  • Lengte (is het antwoord onnodig lang?)
• Veiligheidsgaten (Safety Gaps): Een multi-label classificatie voor:
  • Veiligheid (risico op schadelijk advies, bijv. bij geweld)
  • Gevoeligheid (geen vooroordeel, beledigende taal)
  • Vertrouwelijkheid (geen lekken van persoonsgegevens).

Een gesprek wordt alleen als "correct" (proper) beschouwd als het aan alle positieve criteria voldoet.

2. Datacollectie en Platform

• Deelnemers: 9.035 gebruikers (78,4% gemeenschapsleden, 21,6% vrouwelijke gemeenschapsgezondheidsvrijwilligers) uit alle zeven provincies van Nepal.
• Interactie: Gebruikers hadden gesprekken via een aangepast chatplatform.
• Modellen: Er werden twee varianten van GPT-3.5 getest:
  • ChatGPT1: Standaard GPT-3.5.
  • ChatGPT2: GPT-3.5 met Retrieval Augmented Generation (RAG), gekoppeld aan een externe kennisbank van 22 documenten over SRG (o.a. van het Nepalese ministerie van Volksgezondheid).
• Dataset: Uit 10.535 gesprekken werden 8.272 geldige conversaties geselecteerd, resulterend in 14.132 betekenisvolle vraag-antwoordparen voor de analyse.

3. Evaluatieproces

• Vier SRG-experts hebben de antwoorden handmatig geannoteerd volgens het LEAF-framework.
• Inter-rater betrouwbaarheid: Cohen's Kappa was 0,764 voor nauwkeurigheid (substantieel) en 0,873 voor binaire nauwkeurigheidsbeoordeling (bijna perfect), wat wijst op hoge consistentie.

Belangrijkste Resultaten

1. Algemene Prestaties

• Slechts 35,1% van de antwoorden werd geclassificeerd als "correct" (voldoende aan alle criteria: accuraat, in dezelfde taal, relevant, toereikend, veilig, etc.).
• Hoewel 62,1% van de antwoorden feitelijk accuraat was, hadden 43,8% van deze accurate antwoorden extra gaten in bruikbaarheid of veiligheid. Dit onderstreept dat nauwkeurigheid alleen geen garantie is voor een goede conversatiekwaliteit.

2. Gebruiksgaten (Usability Gaps)

• Toereikendheid: 74,0% van de antwoorden was ontoereikend (ontbrak cruciale informatie).
• Relevantie: 14,9% was irrelevant.
• Lengte: 10,4% was te lang.
• Taal: Hoewel 84,2% van de vragen in het Nepali was, werden slechts 73,5% van de antwoorden in het Nepali gegeven. Ongeveer 10,7% van de Nepalese vragen kreeg een Engels antwoord.

3. Veiligheidsgaten

• Veiligheidsproblemen waren minder frequent dan gebruiksgaten, maar wel kritiek:
  • 0,74% van de antwoorden was onveilig (risico op schadelijke acties).
  • 0,38% was ongevoelig of beledigend.
  • 0,05% onthulde vertrouwelijke informatie.

4. Vergelijking GPT-3.5 vs. GPT-4
Een kleine pilot met GPT-4 (op 100 vragen) toonde significante verbeteringen:

• Het aantal "goede" conversaties steeg van 1% (GPT-3.5) naar 12% (GPT-4).
• Nauwkeurigheid steeg van 26% naar 50%.
• GPT-4 verminderde irrelevante antwoorden aanzienlijk.
• Beperking: GPT-4 had moeite met Romanized Nepali (Nepali in Latijns schrift), waarbij het vaak fouten maakte of in het Engels antwoordde, terwijl het beter presteerde bij Devanagari-script.

Belangrijkste Bijdragen

1. LEAF Framework: Introductie van een nieuw, aanpasbaar evaluatieframework dat nauwkeurigheid combineert met bruikbaarheid en veiligheid, specifiek ontworpen voor gevoelige domeinen en laag-risico talen.
2. Schaal en Context: De grootste dataset tot nu toe gerelateerd aan SRG en LLMs in een laag-risico land (Nepali), met data van 9.000+ gebruikers en 14.000+ vragen.
3. Gemeenschapsfocus: Verschuiving van klinische evaluaties naar gemeenschapscontexten, wat inzicht geeft in de daadwerkelijke bruikbaarheid voor de eindgebruiker.
4. Taal-agnostische aanpak: Demonstreert de noodzaak en methodologie voor het evalueren van LLMs in niet-Engelse talen, waarbij specifieke uitdagingen zoals script-variatie (Devanagari vs. Romanized) worden blootgelegd.

Betekenis en Conclusie

Het onderzoek toont aan dat hoewel LLMs veelbelovend zijn voor het leveren van SRG-informatie in Nepal, ze momenteel nog niet betrouwbaar genoeg zijn voor volledig autonoom gebruik. De belangrijkste beperkingen liggen niet in de feitelijke nauwkeurigheid, maar in de toereikendheid, culturele geschiktheid en veiligheid van de antwoorden.

De studie benadrukt dat:

• Nauwkeurigheid alleen onvoldoende is; systemen moeten ook bruikbaar en veilig zijn.
• Er een dringende behoefte is aan verbetering van LLMs voor laag-risico talen, met name in de omgang met verschillende scripts (Devanagari vs. Romanized).
• Het LEAF-framework een waardevol instrument biedt voor ontwikkelaars, beleidsmakers en gezondheidsprofessionals om LLM-interventies te evalueren en te verbeteren voordat ze op grote schaal worden ingezet.

De auteurs concluderen dat verdere iteraties, betere training op lokale data en continue evaluatie noodzakelijk zijn om LLMs tot een veilige en effectieve bron van gezondheidsinformatie te maken in ontwikkelingslanden.