💬 NLP

Evaluating Large Language Models for Hausa and Fongbe Machine Translation: Benchmarks, Failures, and Metric Reliability

Deze studie evalueert de vertaalvaardigheden van vier grote taalmodellen voor Engels-naar-Hausa en Engels-naar-Fongbe, waarbij significante prestatieverschillen tussen de twee talen, de onbetrouwbaarheid van standaard automatische metrieken in correlatie met menselijk oordeel, en de noodzaak van grootschalige evaluatie en multi-metrische benaderingen voor minderheidstalen in Afrika worden onthuld.

Oorspronkelijke auteurs: Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahounan Pericles Adjovi, Roald Eiselen, Prasenjit Mitra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te vertalen van het Engels naar twee zeer verschillende Afrikaanse talen: Hausa (gesproken door miljoenen in Nigeria en Niger) en Fongbe (gesproken door een kleinere groep in Benin). Je hebt vier krachtige "robotvertalers" (Large Language Models zoals GPT-4, Claude en Gemini) klaarstaan om de klus te klaren.

Dit artikel is als een rigoureuze smaaktest om te zien welke robot het beste werk levert en, nog belangrijker, of de "scorekaarten" die we gebruiken om ze te beoordelen (automatische metrieken) daadwerkelijk overeenkomen met wat echte menselijke sprekers vinden.

Hier is de uitslag van hun bevindingen, met behulp van eenvoudige analogieën:

1. De "Robotrace": Wie won er?

De onderzoekers vroegen de robots om duizenden zinnen te vertalen. De resultaten vertelden een verhaal van twee zeer verschillende werelden:

Hausa (De "goed genoeg" loper): De robots deden het hier redelijk. De vertalingen waren begrijpelijk en liepen goed. Het was alsoals een loper die een race voltooide met een respectabele tijd.
- De Winnaar: GPT-4o was de favoriet onder menselijke beoordelaars, ook al gaven de computerscorekaarten de winst aan Claude.
Fongbe (De "struikelende" loper): De robots hadden het hier erg moeilijk. De vertalingen waren vaak onzinnig of gebroken. Het was alsof een loper over zijn eigen veters struikelde.
- De Winnaar: Gemini was de minst slechte optie, maar zelfs deze kreeg van mensen slechts een "onvoldoende" cijfer.
De Grote Kloof: Hausa-vertalingen waren ongeveer drie keer zo goed als de Fongbe-vertalingen. Dit kwam niet omdat Fongbe een "moeilijkere" taal is, maar omdat de robots veel meer trainingsdata voor Hausa hadden gezien dan voor Fongbe.

Belangrijkste les: Alleen omdat een robot goed is in één Afrikaanse taal, betekent niet dat hij ook goed zal zijn in een andere. Je kunt er niet vanuit gaan dat één "one-size-fits-all" AI overal werkt.

2. Het "Scorekaart"-probleem: Liegen de computers?

Dit is het meest verrassende deel van het artikel. De onderzoekers vergeleken de prestaties van de robots met twee zaken:

Menselijke beoordelaars: Echtere moedertaalsprekers die de vertalingen beoordelen.
Automatische metrieken: Computeralgoritmen (zoals BLEU, chrF++, BERTScore) die proberen vertalingen te beoordelen zonder dat er een mens naar kijkt.

De Mismatch:

Voor Fongbe: De computerscorekaarten en de mensen waren het eens. Beiden zeiden: "Gemini is de beste."
Voor Hausa: De computerscorekaarten en de mensen waren het volledig oneens.
- De computers (specifiek BLEU en chrF++) zeiden: "Claude is de winnaar!"
- De mensen zeiden: "Nee, GPT-4o is de winnaar; Claude klinkt robotachtig."

De "Gebroken Liniaal" Analogie:
Stel je voor dat je de lengte van twee mensen meet.

Voor Fongbe werkt je liniaal perfect.
Voor Hausa is je liniaal verbogen. Hij zegt dat de kortere persoon langer is omdat hij de verkeerde dingen meet (zoals hoe de letters in een woord staan in plaats van hoe de zin klinkt).

3. De "Magische Spiegel" die Niets Reflecteert (Neurale Metrieken)

Het artikel testte een specifiek type computermetriek genaamd BERTScore, dat een "magische spiegel" (een embedding-model) gebruikt om te zien of twee zinnen hetzelfde betekenen.

De Fout: Voor zowel Hausa als Fongbe was deze spiegel kapot. Hij keek naar twee volkomen verschillende zinnen en zei: "Deze zijn 99% identiek!"
Het Resultaat: Omdat de spiegel het verschil niet kon zien tussen een goede vertaling en een slechte, waren de scores voor iedereen hetzelfde (hoge cijfers voor iedereen). Het was alsof een jury elke deelnemer een gouden medaille gaf omdat ze niet konden horen wie er daadwerkelijk aan het zingen was.
De Les: Je kunt deze "slimme" metrieken niet vertrouwen voor deze talen totdat we de spiegel hebben gerepareerd.

4. De "Steekproef"-valstrik

De onderzoekers probeerden de robots te testen met kleine groepen zinnen (500 of 1.000) en daarna met een enorme groep (10.000).

De Valstrik: Bij kleine groepen waren de resultaten chaotisch en misleidend. Bijvoorbeeld, bij 1.000 zinnen suggereerde de data dat Gemini in Hausa won. Maar toen ze 10.000 zinnen testten, bleek dat Claude eigenlijk de winnaar was.
De Les: Je hebt een grote menigte nodig (minstens 2.500 zinnen) om een echt beeld te krijgen. Kleine steekproeven zijn als het beoordelen van een hele film op basis van een clip van 10 seconden; je krijgt misschien een verkeerd beeld.

Samenvatting van Aanbevelingen

Op basis van deze "smaaktest" stellen de auteurs het volgende voor:

Vertrouw niet alleen op de computerscorekaarten. Vooral voor Hausa kregen de computers de winnaar verkeerd. Je moet echt mensen het werk laten controleren.
Gebruik de juiste liniaal. Als je toch een computermetriek moet gebruiken, gebruik dan chrF++ (die het aantal lettertekens telt) in plaats van de "magische spiegel" (BERTScore), die momenteel kapot is voor deze talen.
Kies je robot zorgvuldig. Als je naar het Hausa moet vertalen, gebruik dan GPT-4o of Claude. Als je naar het Fongbe moet vertalen, gebruik dan Gemini, maar wees voorbereid op een matige kwaliteit.
Gebruik Fongbe-vertalingen nog niet voor serieuze zaken. De kwaliteit is te laag; het zou zijn alsof je een huis probeert te bouwen met nat zand.
Hausa is klaar voor "data-augmentatie". De vertalingen zijn goed genoeg om te worden gebruikt als extra trainingsdata, mits je de slechte er eerst uitfiltert.

Kortom: AI wordt beter in het vertalen van Afrikaanse talen, maar het is er nog niet. De instrumenten die we gebruiken om het succes ervan te meten zijn vaak kapot, en we hebben echte mensen nodig om de robots eerlijk te houden.

Technische Samenvatting: Evaluatie van Large Language Models voor Machinevertaling in het Hausa en Fongbe

Probleemstelling

Machinevertaling (MT) voor taalarme Afrikaanse talen wordt gehinderd door kritiek tekort aan data. Hoewel Large Language Models (LLM's) een potentiële oplossing bieden via de generatie van synthetische parallelle data, blijft hun vermogen om voldoende vertaalkwaliteit te produceren voor typologisch verschillende talen nog niet geverifieerd. Bovendien is de betrouwbaarheid van standaard automatische evaluatiemetrieken — die primair zijn ontwikkeld voor hoogwaardige Europese talen — nog niet systematisch gevalideerd voor deze specifieke taalparen.

Deze studie adresseert twee specifieke onderzoeksvragen:

RQ1: Wat is de vertaalkwaliteit van huidige commerciële en open-weight LLM's voor Engels-naar-Hausa en Engels-naar-Fongbe, en hoe varieert deze kwaliteit over verschillende systemen en talen?
RQ2: Hoe betrouwbaar correleren automatische evaluatiemetrieken met de menselijke beoordeling door moedertaalsprekers voor deze talen, en welke metrieken moeten de kwaliteitsfiltering sturen?

Het onderzoek richt zich op Hausa (Afro-Aziatische familie, 58 miljoen sprekers) en Fongbe (Niger-Congo familie, 2,3 miljoen sprekers). Deze talen presenteren uiteenlopende linguïstische uitdagingen: Hausa kenmerkt zich door agglutinerende morfologie en complexe TAM-markering (aspect/tijd/modus) van werkwoorden, terwijl Fongbe gebruikmaakt van seriële werkwoordconstructies en een drie-toonssysteem dat orthografisch verplicht gemarkeerd moet worden.

Methodologie

Geëvalueerde Modellen

De studie evalueerde vier LLM-gebaseerde vertaalingssystemen op progressieve schalen (500 tot 10.000 zinnen):

Commerciële API's: GPT-4o Mini (OpenAI), Claude Sonnet 4 (Anthropic), Gemini 2.5 Flash (Google).
Open-Weight: Qwen2.5-7B (Alibaba).
Alle modellen werden uitgevoerd met een temperatuur van 0.0 voor deterministische outputs.

Data en Evaluatiestrategie

Brongegevens: Parallele zinsparen werden afkomstig uit de OPUS-repository (CCMatrix voor Engels–Hausa; NLLB v1 voor Engels–Fongbe).
Schalen: Evaluaties werden uitgevoerd bij $n=500, 1.000, 2.500,$ en $10.000$ zinnen om de minimale steekproefomvang te bepalen die vereist is voor stabiele systeemrangschikkingen.
Automatische Metrieken: Vijf metrieken werden toegepast:
- Lexicaal: BLEU, chrF++, TER.
- Neuraal: COMET (wmt22-comet-da) en BERTScore (XLM-RoBERTa-large).
Menselijke Evaluatie: 13 moedertaalsprekers (7 Fongbe, 6 Hausa) beoordeelden vertalingen op een 5-puntsschaal over vier dimensies: Adequaatheid, Vloeiendheid, Culturele Gepastheid en Algehele Kwaliteit. Vanwege beperkte middelen werden $n=50$ zinnen per taal geëvalueerd door elk 3 beoordelaars.
Statistische Analyse: Bootstrap-resampling (10.000 iteraties) werd gebruikt om 95% betrouwbaarheidsintervallen te berekenen voor paarsgewijze systeemvergelijkingen. Spearman's $\rho$ werd gebruikt om de rangcorrelatie tussen metrieken en menselijke oordelen te meten.

Belangrijkste Bijdragen

LLM Benchmark voor Hausa en Fongbe: Dit is de eerste systematische vergelijking van huidige commerciële LLM's (uitgebracht in 2024–2025) voor deze specifieke talen met statistische significantietoetsing op schaal ( $n=10.000$ ). Het onthult dat prestaties op de ene laag-resource Afrikaanse taal geen voorspeller zijn voor prestaties op een andere.
Betrouwbaarheidsanalyse van Metrieken: De studie biedt een systematische validatie van automatische metrieken tegenover de beoordeling door moedertaalsprekers. Het identificeert dat de correlatie tussen metrieken en mensen drastisch varieert per taal en legt "embedding collapse" bloot in neurale metrieken voor beide talen.
Praktische Aanbevelingen: De auteurs stellen minimale steekproefomvangseisen vast ( $n=2.500$ ) voor betrouwbare evaluatie en bevelen specifieke metrieken aan (chrF++) en evaluatieprotocollen (verplichte menselijke evaluatie) voor laag-resource Afrikaanse talen.

Resultaten

Vertalingkwaliteit en Modelrangschikking

Cross-Language Prestatiekloof: Hausa-vertalingen behaalden een acceptabele kwaliteit (Menselijke scores 3.37–4.46/5), terwijl Fongbe-vertalingen slecht waren (1.0–2.2/5). Er bestond een consistente 3× BLEU-kloof tussen het beste Hausa-systeem en het beste Fongbe-systeem over alle schalen heen.
Taalspecifieke Modelrangschikking:
- Fongbe: Gemini 2.5 Flash leidde consistent op zowel automatische metrieken als menselijke evaluatie.
- Hausa: GPT-4o Mini werd geprefereerd door menselijke evaluatoren (4.46/5), terwijl Claude Sonnet 4 rangschikte als eerste op alle automatische metrieken (BLEU 15.75).
- Open-Source: Qwen2.5-7B presteerde aanzienlijk slechter dan alle commerciële modellen.

Betrouwbaarheid en Correlatie van Metrieken

Correlatie tussen Metriek en Mens:
- Fongbe: Perfecte rangcorrelatie ( $\rho=1.0$ ) tussen automatische metrieken en menselijke beoordeling.
- Hausa: Zwakke correlatie ( $\rho=0.5$ ). Menselijke evaluatoren gaven de voorkeur aan GPT-4o, terwijl alle automatische metrieken Claude als eerste rangschikten. Dit geeft aan dat oppervlakte- en semantische metrieken kwaliteitsdimensies (bijv. natuurlijkheid, culturele gepastheid) kunnen missen die door moedertaalsprekers worden geprioriteerd.
Falen van Neurale Metrieken (Embedding Collapse):
- BERTScore: Vertoonde "embedding collapse" voor beide talen, met een binnen-taal cosinus gelijkenis die de 0.99 overschreed. Dit maakte de metriek niet in staat om vertaalkwaliteit te differentiëren, wat resulteerde in uniform hoge scores (0.83–0.88) ongeacht de werkelijke prestaties.
- COMET: Toonde abnormaal gedrag voor Fongbe, waarbij het slechtst presterende systeem (Qwen2.5-7B) als eerste werd gerangschikt ondanks de lage lexicale scores. Voor Hausa stemde COMET beter overeen met lexicale metrieken.
Stabiliteit van Schaal: Rangschikkingen waren instabiel bij $n=1.000$ (bijv. Gemini leek onterecht te leiden bij Hausa). Stabiele, statistisch significante rangschikkingen vereisten een minimum van $n=2.500$ zinnen.

Problemen met de Referentiecorpus

Post-hoc analyse van de referentiedata onthulde aanzienlijke kwaliteitsproblemen, met name voor Fongbe, waaronder contaminatie door de verkeerde taal (Chinees in plaats van Fongbe) en codering-corruptie. De gemiddelde kwaliteitsscore van de referentiecorpus was 2.94/5.0.

Betekenis en Claims

Het artikel claimt dat "laag-resource" geen monolithische categorie is; er bestaan substantiële kwaliteitsverschillen zelfs tussen West-Afrikaanse talen met miljoens sprekers. De studie demonstreert dat:

Evaluatiepraktijken zijn niet overdraagbaar: Metrieken die gevalideerd zijn op hoogwaardige talen, zijn niet betrouwbaar overdraagbaar naar typologisch verschillende, laag-resource settings. Specifiek zijn neurale metrieken zoals BERTScore onbetrouwbaar door embedding collapse in modellen zoals XLM-RoBERTa, zelfs voor talen die in de pre-training zijn opgenomen (Hausa).
Schaal is Cruciaal: Kleine steekproeven ( $<2.500$ ) produceren artefact-bevindingen die bij grotere schaal worden omgedraaid. Betrouwbare systeemvergelijking voor laag-resource MT vereist grotere datasets.
Modelselectie is Taalspecifiek: Geen enkel model blinkt uit in beide talen. Prestaties op de ene laag-resource taal voorspellen de prestaties op de andere niet, wat suggereert dat de representatie in de trainingsdata de dominante factor is in plaats van een generaliseerbare "laag-resource capaciteit".
Haalbaarheid van Data-augmentatie:
- Hausa: LLM-gegenereerde vertalingen zijn levensvatbaar voor data-augmentatie mits gefilterd wordt met drempelwaarden (bijv. COMET > 0.55 of chrF++ > 35).
- Fongbe: LLM-gegenereerde vertalingen zijn niet levensvatbaar voor data-augmentatie, aangezien het beste systeem (Gemini) onder de acceptabele drempelwaarde scoorde (2.20/5), waardoor er meer ruis dan signaal wordt geïntroduceerd.

De auteurs concluderen dat voor morfologisch complexe en laag-resource talen, chrF++ de primaire automatische metriek moet zijn, maar dat verplichte menselijke evaluatie essentieel is voor de definitieve kwaliteitsbeoordeling, vooral wanneer automatische metrieken afwijken van de menselijke beoordeling.