💬 NLP

Pearmut: Human Evaluation of Translation Made Trivial

Dit paper introduceert Pearmut, een lichtgewicht platform dat menselijke evaluatie van machinevertalingen vereenvoudigt en standaardiseert door de technische barrières te verlagen, zodat het net zo makkelijk uit te voeren is als automatische evaluatie.

Oorspronkelijke auteurs: Vilém Zouhar, Tom Kocmi

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vilém Zouhar, Tom Kocmi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🍐 Pearmut: De "IKEA-Handleiding" voor het Meten van Vertaal-Kwaliteit

Stel je voor dat je een nieuwe auto koopt. Je wilt weten of hij goed rijdt. Je kunt een dure, ingewikkelde testbaan huren met duizenden sensoren (dat is automatische evaluatie), maar de enige echte manier om te weten of de auto echt comfortabel is, is om een mens erin te laten zitten en te vragen: "Hoe voelt dit?"

In de wereld van kunstmatige intelligentie (AI) en vertalingen is die "menselijke mening" de gouden standaard. Maar tot nu toe was het organiseren van die mening voor onderzoekers net zo moeilijk als het zelf bouwen van een auto. Het kostte maanden, veel geld en een team van ingenieurs om de juiste "testbaan" op te zetten.

Pearmut is de oplossing. Het is een nieuw platform dat menselijke evaluatie maakt zo makkelijk als het instellen van een magnetron.

1. Het Probleem: De "Bouwpakket"-Moeilijkheid

Vroeger was het zo: Als je een nieuwe vertaal-AI wilde testen, moest je zelf een website bouwen, mensen vinden om te beoordelen, een systeem maken om hun antwoorden te verzamelen en zorgen dat niemand bedrog.

Vergelijking: Het was alsof je elke keer als je een taart wilde bakken, eerst zelf een oven, meel en eieren moest produceren in plaats van naar de supermarkt te gaan.
Gevolg: Veel onderzoekers gaven het op. Ze vertrouwden alleen op de computer-metingen, wat vaak leidt tot fouten (alsof je zegt dat een auto goed rijdt omdat de snelheidsmeter het doet, maar de motor is kapot).

2. De Oplossing: Pearmut

Pearmut is een platform dat speciaal is gemaakt voor vertalingen. Het is lichtgewicht, maar heeft alles wat je nodig hebt.

De Analogie: Pearmut is als een IKEA-bouwpakket voor onderzoekers. Je hoeft geen timmerman te zijn. Je pakt de doos uit, volgt de handleiding (een paar commando's in de computer) en binnen een uur staat je "testbaan" klaar.
Wat doet het? Het laat mensen vertalingen beoordelen op verschillende manieren:
- Directe score: "Geef dit een cijfer van 0 tot 100."
- Fouten vinden: "Markeer hier en hier de fouten."
- Vergelijken: "Welke van deze twee vertalingen is beter?"

3. Waarom is het zo speciaal?

Pearmut is niet zomaar een tool; het is een specialist.

Geen "Alles-in-één" rommel: Andere tools zijn als een Zwitsers zakmes: ze kunnen van alles, maar voor vertalingen zijn ze vaak onhandig. Pearmut is als een scharnierende schaar: perfect gemaakt voor één taak (vertalingen testen), maar dan extreem goed.
Slimme verdeling: Pearmut zorgt er slim voor dat de juiste mensen de juiste teksten krijgen. Het is alsof een slimme conciërge in een hotel zorgt dat elke gast precies het juiste bed krijgt, zonder dat de gast er moeite voor hoeft te doen.
Veiligheid en Kwaliteit: Het heeft ingebouwde "valstrikken" (zoals een vraag die je alleen goed kunt beantwoorden als je echt kijkt) om te voorkomen dat mensen hun werk slordig doen.

4. De Test: Werkt het echt?

De auteurs van het paper hebben twee experimenten gedaan:

Experiment 1: De Onderzoekers
Ze vroegen vijf experts om een test op te zetten met Pearmut en andere, oude tools.
- Resultaat: Met Pearmut was de test klaar in 11 minuten. Met de andere tools duurde het 20 tot 25 minuten, en bij sommige gaven de onderzoekers zelfs op omdat het te lastig was.
- Vergelijking: Pearmut is als het instellen van een Netflix-profiel. De andere tools zijn als het zelf een televisie bouwen uit losse onderdelen.
Experiment 2: De Mensen die Beoordelen
Ze vroegen tien mensen om vertalingen te beoordelen via Pearmut en een oude tool.
- Resultaat: De mensen vonden Pearmut sneller, duidelijker en leuker om te gebruiken. Ze maakten minder fouten en vonden de interface (het uiterlijk) veel logischer.
- Vergelijking: Het was alsof ze van een oude, piepende fiets overstapten op een moderne e-bike. Alles liep soepel.

5. Conclusie: De Toekomst van AI-testen

Pearmut wil dat menselijke evaluatie net zo normaal wordt als het controleren van de olie in je auto. Het maakt het zo makkelijk, dat elke onderzoeker, elke student en elke bedrijfsmaker het kan doen.

Kort samengevat:
Pearmut haalt de drempel weg. Het maakt het mogelijk om AI-vertalingen te testen met echte mensen, zonder dat je een ingenieursdiploma nodig hebt. Het zorgt ervoor dat we niet alleen kijken naar wat de computer zegt, maar ook naar wat de mens voelt. En dat is cruciaal voor het bouwen van betrouwbare AI.

De kernboodschap in één zin:
Pearmut maakt het testen van AI-vertalingen zo makkelijk als het bestellen van een pizza, zodat we eindelijk kunnen weten of die pizza (de vertaling) ook echt lekker is. 🍕🍐

Probleemstelling

Menselijke evaluatie wordt beschouwd als de "gouden standaard" voor meertalige NLP-taken, met name machinevertaling (MT). In de praktijk wordt deze echter vaak overgeslagen en vervangen door automatische metrics. De redenen hiervoor zijn tweeledig:

Hoge complexiteit en kosten: Het opzetten van menselijke evaluatie met bestaande tools vereist aanzienlijke engineering- en operationele overhead.
Gebrek aan gebruiksgemak: Bestaande tools zijn vaak moeilijk te implementeren, niet flexibel genoeg voor moderne protocollen, of vereisen complexe configuraties.

Dit leidt tot een situatie waarin onderzoekspapers vaak geen menselijke evaluatie rapporteren (volgens de auteurs 68% van de vertaalpapers bij ACL 2025), wat resulteert in onbetrouwbare conclusies en het "hillclimben" van automatische metrics zonder echte kwaliteitsverbetering.

Methodologie: Pearmut

De auteurs introduceren Pearmut, een lichtgewicht maar functioneel rijk platform dat specifiek is ontworpen voor meertalige en vertaalevaluatie. Het doel is om menselijke evaluatie net zo eenvoudig te maken als het gebruik van automatische tools (zoals SacreBLEU).

Kernarchitectuur en Techniek:

Installatie: Pearmut is een pip-installeerbaar pakket. Een evaluatiecampagne start met slechts drie commando's: installeren, een campagne toevoegen (via JSON), en de server starten.
Architectuur: Het platform bestaat uit een FastAPI-server (Python) en een frontend in TypeScript/jQuery. In tegenstelling tot veel andere tools die server-side rendering gebruiken, serveert Pearmut statische bestanden met client-side code die data ophaalt. Dit zorgt voor lagere latentie en hogere responsiviteit.
Dataopslag: Gegevens worden in het geheugen opgeslagen voor snelle toegang, met een append-only logbestand op schijf voor duurzaamheid. Dit vermijdt de overhead van zware databasebeheersystemen.
Veiligheid: Gebruikers krijgen toegang via "magic links" (96-bit tokens) voor een lage drempel, hoewel voor gevoelige data een interne implementatie wordt aanbevolen.

Ondersteunde Protocollen en Functies:
Pearmut implementeerde standaard protocollen voor vertaalevaluatie:

Direct Assessment (DA): Schaal van 0-100.
Error Span Annotation (ESA): Markeren van fouten met ernst (minor/major) en een totaalscore.
Multidimensional Quality Metrics (MQM): Foutenmarkering met categorieën en ernst.
ESAAI: Vooraf ingevulde foutspans door AI, die door de mens worden nagekeken.
Document-level context: Ondersteuning voor contrastieve evaluatie (meerdere vertalingen naast elkaar) en documentcontext.
Toewijzing (Assignment):
- Task-based: Vooraf gedefinieerde toewijzing.
- Single-stream: Random toewijzing uit een pool.
- Dynamic: Gebruikt $\epsilon$ -greedy sampling om prioriteit te geven aan de beste modellen (multi-armed bandit probleem) om de evaluatie-efficiëntie te maximaliseren.
Dashboard: Biedt monitoring van voortgang, aandachtstests (attention checks), en statistische analyse (t-toetsen) met een mechanisme om resultaten pas te exporteren om bias te voorkomen.

Kernbijdragen

Een gespecialiseerd platform: Pearmut vult de kloof tussen algemene annotatietools (zoals Label Studio) en zware, moeilijk te deployen frameworks (zoals Appraise). Het is lichtgewicht maar specifiek geoptimaliseerd voor vertaling.
Vereenvoudiging van de workflow: Het verlaagt de instapdrempel aanzienlijk door een CLI-gebaseerde workflow en standaardinstellingen voor best practices.
Statistische validatie: Ingebouwde statistische tests en ondersteuning voor dynamische toewijzing (met correcties voor selectiebias) om wetenschappelijke standaardpraktijken te bevorderen.
Multimodaliteit: Ondersteuning voor tekst, audio, video en interactieve HTML-elementen.

Resultaten

De auteurs onderzochten de effectiviteit van Pearmut via twee casestudies:

1. Casestudy met Onderzoekers (Setup-tijd en gebruiksgemak):

Vijf NLP-practitioners probeerden evaluatiecampagnes op te zetten met Pearmut, Appraise, Factgenie, Potato en Label Studio.
Pearmut was de snelste tool (gemiddeld 11 minuten voor setup en annotatie van voorbeelden) en kreeg de hoogste scores voor gebruiksgemak (9.0/10) en geschiktheid voor vertaling (9.2/10).
Andere tools hadden aanzienlijk meer tijd nodig (19-25 minuten) en hadden een hogere uitvalskans (onderzoekers gaven op door complexiteit).
Een LLM-agent slaagde erin om setup-scripts te genereren voor Pearmut en Label Studio, maar faalde bij Appraise en Factgenie vanwege complexe, niet-standaard architecturen.

2. Casestudy met Annotatoren (Kwaliteit en ervaring):

Tien tweetalige annotatoren vertaalden 540 outputs in Pearmut en Appraise.
Snelheid: Annotatoren waren sneller in Pearmut (gemiddeld 124s per item vs. 144s in Appraise).
Kwaliteit: De kwaliteit van de annotaties (aantal fouten, scheiding tussen modellen, inter-annotator overeenstemming) was vergelijkbaar of beter in Pearmut.
Tevredenheid: Annotatoren gaven Pearmut significant hogere scores voor snelheid (8.3 vs 6.3), duidelijkheid (8.3 vs 6.0) en inspanning (7.8 vs 6.0), voornamelijk dankzij een responsievere interface en betere lay-out voor parallelle lezing.

Schaalbaarheid:

Pearmut reageerde minimaal 3x sneller op serververzoeken dan Appraise.
Berekeningen tonen aan dat Pearmut op goedkope hardware ongeveer 2000 gelijktijdige gebruikers kan hanteren, wat ruim voldoende is voor grote schaal-evaluaties zoals WMT.

Betekenis en Conclusie

Pearmut positioneert menselijke evaluatie niet langer als een zeldzame, dure uitzondering, maar als een praktisch, routinematig onderdeel van modelontwikkeling. Door de instapdrempel te verlagen en best practices (zoals MQM, ESA, en statistische validatie) direct in te bouwen, moedigt het onderzoekers aan om menselijke evaluatie vaker uit te voeren. Dit is cruciaal om de betrouwbaarheid van meertalige NLP-systemen te waarborgen en te voorkomen dat onderzoekers blindelings vertrouwen op automatische metrics die kunnen misleiden. De tool is open source beschikbaar en wordt al gebruikt in grote projecten zoals de WMT 2026 Shared Task.