APEX-VW: A Document-Level English-Spanish Post-Editing Dataset in the Healthcare Domain

Stel je een wereld voor waarin computers proberen te leren hoe ze menselijke talen spreken, maar nog een beetje onhandig zijn. Dit is het domein van Machinevertaling (MT), waar software zoals Google Translate of DeepL probeert een zin in de ene taal om te zetten naar een andere. Soms krijgt de computer het goed, maar vaak maakt hij fouten—vooral met lastige woorden of specifieke onderwerpen zoals de geneeskunde. Om dit op te lossen, komen mensen in actie als Post-Editors. Denk aan hen als de "correcteurs" die de ruwe conceptversie van de computer nemen en deze polijsten tot ze perfect is.

Lamaag onderzochten onderzoekers deze fouten door naar losse zinnen te kijken, één voor één, zoals het bestuderen van individuele puzzelstukjes op een tafel. Maar in de echte wereld werken vertalers niet met geïsoleerde zinnen; ze werken aan volledige documenten, zoals een heel boek of een medisch rapport. In deze lange documenten verschijnen dezelfde lastige woorden steeds opnieuw. Als een computer een medische term de eerste keer fout vertaalt, doet hij dat de tiende keer vaak ook fout. De grote vraag die onderzoekers stellen is: Kunnen we computers leren om te leren van de eerste correctie van een mens en later in het document dezelfde fout automatisch te herstellen, net zoals een mens dat zou doen? Dit artikel duikt in dat exacte probleem en kijkt verder dan enkelvoudige zinnen om te zien hoe correcties zich door een heel verhaal "verplaatsen".

---

De "Virtuele Verpleegafdeling" van de Vertaling

Maak kennis met APEX-VW, een nieuwe, open schatkist aan data gecreëerd door een team van onderzoekers. Stel je een enorme bibliotheek voor waar elk boek een medisch document is over "virtuele verpleegafdelingen" (virtual wards)—een moderne manier waarop ziekenhuizen patiënten thuis behandelen in plaats van in een gebouw. Deze documenten zijn geschreven in het Engels, en de onderzoekers wilden zien hoe goed computers deze in het Spaans konden vertalen, en nog belangrijker, hoe menselijke redacteurs die vertalingen verbeterden.

Het team heeft niet zoma van willekeurige zinnen gepakt. Ze namen zeven volledige documenten (totaal 42.108 woorden) en voerden deze aan vier verschillende vertaalmachines (DeepL, ModernMT, Language Weaver en een op OpenAI gebaseerd systeem). Vervolgens huurden ze drie professionele menselijke vertalers in om als "redacteurs" op te treden. Deze mensen corrigeerden niet alleen typefouten; ze moesten ervoor zorgen dat als een specifieke medische term in de eerste paragraaf op een bepaalde manier werd vertaald, diezelfde manier ook in de laatste paragraaf werd aangehouden.

Het "Kopieer-Plak" Probleem versus het "Slimme Geheugen"

Dit is de kern van het probleem waar dit artikel zich mee bezighoudt. Stel je voor dat je een lang verhaal aan het redigeren bent. Op pagina 1 vertaalt de computer "virtual ward" als "virtual room". Je weet dat dat fout is, dus je verandert het in "virtual hospital unit". Je leest verder, en op pagina 5 zegt de computer opnieuw "virtual room". Je zucht en verandert het weer. Op pagina 10 gebeurt het voor de derde keer.

In de echte wereld hebben professionele tools (zoals de tool die in deze studie werd gebruikt, Trados Studio) een "geheugen". Als je een woord één keer verandert, onthoudt de tool dat en biedt het aan om het overal elders aan te passen. Maar de meeste onderzoeksdatasets voor computers kijken alleen naar losse zinnen, waardoor ze dit "geheugen" niet in actie kunnen zien. Ze missen het feit dat mensen vaak dezelfde correctie tientallen keren moeten uitvoeren in één document.

De APEX-VW-dataset is bijzonder omdat het het volledige document bij elkaar houdt. Het behoudt de volgorde van de pagina's en de context van de vertaaltool. Dit stelt onderzoekers in staat om "correctiepropagatie" te bestuderen—wat een chique manier is om te zeggen: Hoe helpt het herstellen van één fout bij het herstellen van de rest van het document?

Wat Ze Vonden (en Wat Ze Niet Vonden)

De onderzoekers analyseerden de data en vonden enkele interessante patronn, hoewel ze voorzichtig zijn om te zeggen dat dit een startpunt is, en niet het definitieve antwoord.

• Herhaling is Reëel: De documenten zaten vol met herhaalde termen. De "Repetitierate" (een maatstaf voor hoe vaak woorden herhalen) varieerde van 0,07 tot 0,21 over de verschillende documenten. Dit betekent dat sommige teksten zeer repetitief waren, terwijl andere meer gevarieerd waren, wat onderzoekers verschillende soorten uitdagingen bood om te bestuderen.
• Niet Alle Computers Zijn Gelijk: De vier vertaalsystemen presteerden verschillend. Zo maakten DeepL en ModernMT minder fouten op hun toegewezen teksten (met foutpercentages, bekend als TER, zo laag als 6,35 en 9,66). Echter, Language Weaver en het OpenAI-systeem maakten veel meer fouten, met TER-scores die opliepen tot 55,47 en 39,32 op hun respectieve teksten.
• Mensen Doen Meer Dan Alleen Woorden Wisselen: Wanneer de mensen de tekst verbeterden, wisselden ze niet alleen het ene woord voor het andere. Ze voegden veel toe, verwijderden veel en vervingen veel inhoud. In totaal maakten ze 6.790 toevoegingen, 1.285 verwijderingen en 9.523 vervangingen. De gemiddelde wijziging per zin was 6,49 bewerkingen. Dit suggereert dat het verbeteren van machinevertaling niet alleen gaat over het kiezen van het juiste woord; het gaat vaak over het herschrijven van hele zinnen om het logisch te maken.
• Twee Soorten Fouten: Het team identificeerde twee hoofdscenario's waarin mensen hard moesten werken:
  1. Het scenario "Consistent maar Fout": De computer vertaalde een term elke keer op dezelfde manier, maar het was de foute term. De mens moest het elke keer handmatig corrigeren (35 keer in één document voor de term "virtual ward").
  2. Het scenario "Inconsistent": De computer vertaalde dezelfde term op verschillende manieren (bijv. "virtual room", "virtual unit", "virtual service") door hetzelfde document heen. De mens moest optreden als een detective, alle verschillende versies vinden en ze dwingen om hetzelfde te zijn.

Waarom Dit Belangrijk Is (En Wat Het Niet Is)

Deze dataset is een benchmark, een standaard testset voor toekomstige onderzoekers. Het suggereert dat om betere AI-vertalers te bouien, we moeten stoppen met het bekijken van zinnen in isolatie en moeten beginnen met het kijken naar volledige documenten. Het suggereert dat toekomstige tools in staat moeten zijn om te "leren" van de eerste correctie van een mens en deze automatisch toe te passen op de rest van het document, wat vertalers tijd bespaart en stress vermindert.

De auteurs zijn echter heel duidelijk over wat deze dataset niet is. Het is geen magische oplossing die alle vertaalproblemen oplost. Het is beperkt tot Engels-naar-Spaans en beslaat alleen zorgdocumenten. Het is een momentopname (specifiek de staat van de AI in april 2026) en laat niet zien hoe zaken over de jaren heen veranderen. Ook, omdat verschillende documenten met verschillende computers zijn getest, kun je deze data niet gebruiken om strikt te rangschikken welke computer de "beste" is; het is beter geschikt voor het bestuderen van hoe mensen dingen in een echte workflow verbeteren.

De Toekomst van "Slim" Redigeren

Het artikel concludeert dat deze bron de deur opent naar nieuwe soorten onderzoek. Stel je een toekomst voor waarin je vertaaltool als een behulpzame co-piloot is. Als je een medische term corrigeert, fluistert de tool: "Hé, ik merkte dat je dat eerder hebt gecorrigeerd. Zal ik dat overal in dit document aanpassen?"

De auteurs suggereren dat we met data zoals APEX-VW systemen kunnen bouwen die begrijpen wat consistentie en propagatie zijn. Ze hopen dat dit zal leiden tot tools die niet alleen woorden vertalen, maar de flow van een heel document begrijpen, waardoor mensen sneller en met minder hoofdpijn kunnen werken. Maar voor nu is deze dataset slechts de eerste stap—een zorgvuldig vervaardigde kaart voor onderzoekers om het complexe landschap te verkennen van hoe mensen en machines samenwerken om een verhaal te vertellen.