Do LLMs Truly Benefit from Longer Context in Automatic Post-Editing?

Hoewel eigendommelijke grote taalmodellen (LLMs) bij automatische naschrijving (APE) bijna menselijke kwaliteit bereiken, blijken ze documentcontext vaak niet effectief te benutten, terwijl hun hoge kosten en latentie hen voor praktische toepassing ongeschikt maken.

De kern

De Grote Context-Test: Helpt het om het hele boek te lezen voor één zin?

Stel je voor dat je een vertaler bent. Je krijgt een zin uit een boek om te vertalen.

• De oude manier (APEseg): Je kijkt alleen naar die ene zin. Je vertaalt hem en bent klaar.
• De nieuwe manier (APEdoc): Je krijgt het hele boek mee. Je leest de vorige hoofdstukken, de sfeer, de personages, en probeert die ene zin te vertalen met die extra kennis.

De vraag die deze onderzoekers (Ahrii Kim en Seong-heum Kim) stellen, is: Is die extra kennis van het hele boek echt nodig voor moderne AI-vertalers (LLMs), of is het gewoon een dure en trage manier om hetzelfde te doen?

Ze hebben dit getest met verschillende "hersenen" van AI: de dure, gesloten modellen (zoals GPT-4o van OpenAI) en de goedkopere, open modellen (zoals LLaMA en Qwen).

Hier zijn de belangrijkste bevindingen, vertaald in alledaagse taal:

1. De "Super-Vertaler" doet het prima zonder het hele boek

De dure AI-modellen (zoals GPT-4o) zijn als een ervaren chef-kok. Als je ze vraagt om een gerecht te maken, doen ze dat al perfect, zelfs als je ze alleen de ingrediënten van dat ene gerecht geeft. Ze hoeven niet het hele restaurant te inspecteren om te weten hoe ze een ei moeten koken.

• Het resultaat: Deze modellen vertalen bijna net zo goed als een mens, zelfs zonder het document-context. Ze zijn zo slim dat ze de context van de hele zin al "in hun hoofd" hebben.

2. De "Leerling-Kok" raakt in de war

De goedkopere, open modellen (zoals LLaMA) zijn als een leerling-kok die nog veel moet leren. Als je ze het hele boek geeft, raken ze overprikkeld.

• Het probleem: Ze beginnen dingen te verzinnen die er niet staan (hallucinaties) of ze vergeten wat ze eigenlijk moesten doen. Het is alsof je een leerling in een drukke keuken zet met 100 recepten tegelijk; in plaats van te focussen op het ene gerecht, begint hij te koken met de verkeerde ingrediënten uit een ander recept.
• Het risico: Ze worden vaak "vergiftigd" door de extra informatie. Ze lezen de hele tekst en vergeten dan de opdracht om alleen die ene zin te verbeteren.

3. De "Dure Rekening" (Kosten en Snelheid)

Dit is misschien wel het belangrijkste punt. Het gebruik van het hele document is extreem duur en traag.

• De analogie: Stel je voor dat je een boodschappenlijstje wilt maken.
  • Zonder context: Je loopt de supermarkt in, pakt de producten en gaat naar huis. (Snel, goedkoop).
  • Met context: Je moet eerst het hele magazijn van de supermarkt doorlopen, elke schaal bekijken, voordat je ook maar één product pakt. (Zeer traag, kost enorm veel energie en geld).
• De bevinding: Voor de dure AI-modellen kost het gebruik van het hele document 4.300% meer geld en 146% meer tijd. Voor de goedkope modellen is het zelfs nog erger qua snelheid. Het is alsof je een Ferrari gebruikt om een blokje om te doen, terwijl je gewoon met de fiets had gekund.

4. De "Onzichtbare" Verbetering

Soms maakt de AI met de hele context wel een betere vertaling (bijvoorbeeld door de toon aan te passen, zoals van formeel naar informeel). Maar de automatische meetinstrumenten (zoals een "scoremeter" voor vertalingen) zien dit niet.

• De analogie: Het is alsof je een schilderij maakt. De automatische meter zegt: "De kleuren zijn hetzelfde, dus de kwaliteit is gelijk." Maar een mens kijkt er naar en zegt: "Ah, deze versie heeft een veel mooiere sfeer." De computer ziet de nuance niet, alleen de mens wel.

Conclusie: Is het de moeite waard?

Het antwoord van de onderzoekers is een groot "Nee" voor nu, tenzij je heel specifieke, moeilijke taken hebt.

• Voor de dure AI: Het werkt goed, maar het is te duur en te traag om het hele document erbij te halen. Je krijgt voor je geld niet veel meer dan je al had.
• Voor de goedkope AI: Het werkt vaak slechter. Ze raken in de war door de extra informatie en maken meer fouten dan nodig.

De les voor de toekomst:
We moeten niet zomaar "meer context" gooien naar AI. In plaats daarvan moeten we slimme manieren vinden om de AI alleen de belangrijke stukjes van het document te laten lezen, net zoals een mens die snel scant naar de relevante informatie in plaats van het hele boek woord voor woord te lezen.

Kortom: Soms is "minder meer" beter, zeker als je niet wilt betalen voor een dure, trage rit die je toch niet nodig hebt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Do LLMs Truly Benefit from Longer Context in Automatic Post-Editing?" in het Nederlands.

Titel: Do LLMs Truly Benefit from Longer Context in Automatic Post-Editing?

Auteurs: Ahrii Kim en Seong-heum Kim (Soongsil University)

---

1. Probleemstelling

Automatische post-editing (APE) heeft als doel machinevertalingen (MT) te verfijnen door resterende fouten te corrigeren. Hoewel Large Language Models (LLMs) uitstekende vertaalkwaliteit tonen op zinsniveau, is hun effectiviteit voor APE op documentniveau (waarbij de volledige context van het document wordt gebruikt) nog niet volledig begrepen.

De kernvraag is of het toevoegen van documentcontext (document-aware prompting) daadwerkelijk leidt tot kwaliteitsverbeteringen ten opzichte van zinsgebaseerde APE (APEseg), en of dit de hoge rekenkosten en latentie rechtvaardigt. Er bestaat een kloof in het begrip van hoe LLMs documentcontext benutten, hoe ze reageren op "data poisoning" (afleidende informatie in lange contexten), en of standaard automatische evaluatiemetrics deze kwaliteitsverbeteringen wel kunnen vastleggen.

2. Methodologie

De auteurs voerden een systematische vergelijking uit tussen propriëtaire en open-weight LLMs onder een "naïeve" documentniveau-prompting setup.

• Experimenteel Ontwerp:
  • APEseg: Post-editing per zin, zonder documentcontext.
  • APEdoc: Post-editing per zin, waarbij de volledige bron- en doeltekst als context wordt meegegeven in de prompt.
  • Prompting: Een instructie-gebaseerde prompt met één voorbeeld (in-context learning) om hallucinaties te minimaliseren en instructievolging te waarborgen. De documentcontext werd bewust aan het einde van de prompt geplaatst om te voorkomen dat het model de taak negeerde.
• Data:
  • Gebruik van het WMT24++ dataset (Engels naar Koreaans).
  • Het Koreaans werd gekozen vanwege zijn agglutinerende aard, pro-drop fenomenen en complexiteit, wat het geschikt maakt voor contextafhankelijke evaluatie.
  • Dataset: 7.974 zinnen verdeeld over 59 documenten in drie domeinen: Literatuur, Nieuws en Sociale media.
• Modellen:
  • Propriëtaire: GPT-4o en GPT-4o-mini.
  • Open-weight: Qwen2.5-32B en LLaMA3-8B (als contrast, aangezien deze geen officiële ondersteuning voor Koreaans heeft en een korter contextvenster heeft).
• Evaluatie:
  • Automatische Metrics: TER (Translation Edit Rate), COMET, BLEU en ChrF++.
  • Menselijke Evaluatie: Relatieve rangschikking (ranking) door drie professionele vertalers voor 886 unieke zinnen. Statistische significantie werd getest met de Friedman-test en Nemenyi post-hoc test.
  • Efficiëntie: Analyse van token-gebruik, latentie en kostenoverhead bij het schakelen van APEseg naar APEdoc.

3. Belangrijkste Bijdragen

1. Beperkte winst van documentcontext: Hoewel LLM-based APE menselijke kwaliteit kan bereiken met eenvoudige prompting, levert het toevoegen van documentcontext geen consistent voordeel op ten opzichte van zinsgebaseerde APE. Dit onthult fundamentele beperkingen in hoe huidige modellen context gebruiken.
2. Robuustheid vs. Contextbewustzijn: Propriëtaire modellen tonen een hogere robuustheid tegen data-poisoning-aanvallen (verwarring door irrelevante context) dan open-weight modellen. Echter, deze robuustheid gaat ten koste van contextbewustzijn: ze gebruiken documentcontext nauwelijks om contextuele fouten te corrigeren. Open-weight modellen zijn juist zeer gevoelig voor lange, ruisige contexten.
3. Meting van Kwaliteit: De meeste door LLMs gemaakte edits zijn parafrazing (herformulering) en worden slecht vastgelegd door oppervlakkige automatische metrics. Menselijke evaluatie blijft essentieel.
4. Kosten-Niet-Realisatie: Ondanks de sterke prestaties, zijn de aanzienlijke kosten en latentie-overhead van documentniveau-APE onpraktisch voor real-world implementatie.

4. Resultaten

• Kwaliteit (Menselijke Evaluatie):
  • Propriëtaire modellen (GPT-4o-mini) bereiken bijna menselijke post-editing kwaliteit, zelfs zonder documentcontext.
  • Er is geen statistisch significant verschil tussen APEdoc en APEseg voor de beste modellen. De verbetering door context is minimaal.
  • Menselijke referenties werden verrassend lager gerangschikt dan menselijke post-editing, wat suggereert dat APE soms zelfs beter kan zijn dan de "gouden standaard" referentie in specifieke contexten.
• Grootte van Edits:
  • Open-weight modellen (vooral LLaMA3-8B) maken veel grotere wijzigingen bij het toevoegen van context, maar vaak ten koste van de betekenis (hallucinaties).
  • Propriëtaire modellen maken conservatievere, kleinere wijzigingen.
• Robuustheid en Hallucinaties:
  • Open-weight modellen lijden onder "context drift" of data poisoning. Bij LLaMA3-8B leidde documentcontext tot een enorme toename in fouten (TER > 100), waarbij het model de originele vertaling volledig herschreef of irrelevante informatie uit het document overnam.
  • Propriëtaire modellen zijn veel stabieler en negeren irrelevante context beter, maar missen hierdoor ook nuttige contextuele correcties.
• Efficiëntie:
  • De overgang van APEseg naar APEdoc veroorzaakt extreme overhead:
    • GPT-4o-mini: +6040% tokens, +146% latentie, +4299% kosten.
    • Qwen2.5-32B: +1536% tokens, +1030% latentie.
  • Deze kosten zijn niet proportioneel aan de marginaal verbeterde kwaliteit.

5. Betekenis en Conclusie

De studie concludeert dat de huidige "naïeve" aanpak van documentniveau-APE (het simpelweg toevoegen van de volledige tekst aan de prompt) niet rendabel is voor real-world toepassingen in Engels-Koreaans vertaling.

• Voor Propriëtaire Modellen: Ze zijn kwalitatief uitstekend en stabiel, maar de kosten en latentie van het verwerken van volledige documenten maken ze onpraktisch. Bovendien negeren ze de context vaak, waardoor het extra rekenwerk voor niets is.
• Voor Open-weight Modellen: Ze zijn kwetsbaar voor hallucinaties en data poisoning bij lange contexten, wat leidt tot onbetrouwbare output.
• Toekomstperspectief: De resultaten wijzen op de noodzaak van efficiëntere lang-context modellering. In plaats van de volledige documenten als input te geven, zijn adaptieve contextselectie, geheugencompressie of retrieval-gebaseerde injectie nodig om de voordelen van documentbewustzijn te halen zonder de enorme kosten en stabiliteitsproblemen.

Kortom: Hoewel LLMs potentie hebben voor documentbewuste post-editing, biedt de huidige technologie geen voldoende meerwaarde om de hoge operationele kosten te rechtvaardigen, en zijn automatische metrics ontoereikend om de subtiele kwaliteitsverbeteringen (of verslechteringen) te meten.