Fabricator or dynamic translator?
Dit artikel onderzoekt hoe grote taalmodellen in een commerciële context kunnen worden ingezet als dynamische vertalers die door hun generatieve aard soms nuttige overgeneraties produceren, en presenteert strategieën om deze complexe overgeneraties te detecteren en te classificeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een vertaler hebt die niet alleen woorden omzet, maar ook een verhaler is die graag zijn eigen verhaal toevoegt. Soms is dat prachtig en helpt het de lezer, maar soms is het gewoon onzin of gevaarlijk.
Dit onderzoek van Lisa Vasileva en Karin Sim (van Language Weaver) gaat precies over dat probleem. Ze kijken naar wat er gebeurt als moderne AI (Large Language Models of LLM's) teksten vertalen.
Hier is de uitleg in gewoon Nederlands, met wat creatieve vergelijkingen:
1. Het probleem: De "Vertaler" die te veel praat
Vroeger waren vertaalprogramma's als een strenge robot. Die vertaalde woord voor woord. Als er een fout in zat, zag je dat vaak direct: de robot herhaalde woorden als een kapotte plaat ("hond, hond, hond") of praatte onzin (de zogenoemde "neurobabble").
De nieuwe AI-vertalers zijn echter als een creatieve, maar soms overenthousiaste schrijver. Ze zijn heel slim en schrijven vloeiend, maar ze hebben een neiging om "overgeneratie" te doen. Dat betekent dat ze dingen toevoegen die er niet in de originele tekst stonden.
De auteurs noemen dit niet zomaar "hallucinaties" (zoals in de oude robots), maar confabulaties. Dat is een mooi woord voor: iets verzinnen dat klinkt alsof het waar is, maar dat niet in de bron staat.
2. De vier soorten "overpraters"
De onderzoekers hebben vier soorten van dit gedrag onderscheiden, van heel duidelijk tot heel subtiel:
- De "Gekke Plaat" (Oscillatory): De AI blijft een woord herhalen of praat onzin. Vergelijking: Iemand die niet kan stoppen met "hallo, hallo, hallo" zeggen. Dit is makkelijk te zien.
- De "Afwijkende Verhaaltjeschrijver" (Detached): De AI vertaalt niet eens meer, maar begint een lang verhaal over waarom hij niet wil vertalen, of geeft een uitleg die nergens op slaat. Vergelijking: Je vraagt om het weerbericht, en de AI begint een gedicht te schrijven over zijn eigen gevoelens.
- De "Toevoeging" (Partially detached): De vertaling is goed, maar de AI plakt er een zinnetje voor of erachter, zoals "Natuurlijk! Hier is de vertaling:". Vergelijking: Een gids die je de weg wijst, maar eerst nog even een lange introductie houdt over zijn eigen loopbaan.
- De "Subtiele Toevoeging" (Minimally detached): Dit is het lastigste. De vertaling is perfect, vloeiend en correct, maar er staat één klein woordje bij dat er niet hoorde. Vergelijking: Je vraagt om een foto van een hond, en de AI maakt een prachtige foto van een hond, maar voegt er heel subtiel een klein hoedje aan toe. Het ziet er leuk uit, maar het was niet gevraagd.
3. De uitdaging: Hoe pak je die subtiele toevoegingen?
De onderzoekers wilden weten: Kunnen we deze subtiele fouten opsporen voordat ze de klant bereiken?
Ze hebben twee methoden getest, alsof ze twee verschillende detectives zijn:
- Detective 1: De Kwaliteitscontroleur (MTQE).
Deze kijkt naar de tekst en zegt: "Dit voelt niet goed aan." Hij is getraind om te voelen of een vertaling "goed" of "slecht" is. Hij is goed in het opsporen van de grote fouten (zoals de "Afwijkende Verhaaltjeschrijver"), maar hij mist vaak die ene subtiele toevoeging. - Detective 2: De Vergelijker (CheckAlign).
Deze kijkt letterlijk woord voor woord: "Staat dit woord in de originele tekst?" Als er een woord in de vertaling staat dat niet in de bron zit, slaat hij alarm. Deze is heel goed in het vinden van de subtiele toevoegingen.
Het probleem: Detective 2 is soms te streng. Hij slaat ook alarm als de AI iets terecht uitlegt.
Voorbeeld: Als de bron zegt "NSW" (een afkorting), en de AI vertaalt dit als "New South Wales" (de volledige naam) zodat de lezer het begrijpt. Dat is geen fout, dat is verduidelijking (explicatie). Een goede menselijke vertaler doet dit ook! Maar de computer ziet dit als een "fout" omdat er extra woorden zijn.
4. De oplossing: Samenwerken
De conclusie van het papier is dat je beide detectives nodig hebt.
- Als je alleen naar de "Kwaliteitscontroleur" kijkt, mis je de kleine fouten.
- Als je alleen naar de "Vergelijker" kijkt, krijg je te veel vals alarm (je denkt dat er een fout is, terwijl de AI juist heel behulpzaam was).
De beste aanpak is een teamwerk (een ensemble): Als een van de twee detectives een vlaggetje zet, dan wordt de tekst gecontroleerd.
Samenvatting in één zin
Deze AI-vertalers zijn zo slim dat ze soms te creatief worden en dingen toevoegen; om dit te vangen moeten we slimme computers gebruiken die niet alleen kijken naar wat er niet klopt, maar ook begrijpen dat soms "extra uitleg" juist heel nuttig is, en niet per se een fout.
Het is dus een zoektocht naar het vinden van de balans tussen een strakke vertaler en een behulpzame gids.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.