MQM‑Fin: A Risk‑Weighted Hybrid Quality Assurance Framework for Localizing Financial Software - Beyond LISA and SAE J2450

Wanneer een softwarebedrijf besluit zijn product in een nieuw land te verkopen, staat het voor een uitdaging die veel dieper gaat dan simpelweg woorden uit een andere taal vervangen. Dit proces, bekend als lokalisatie, vereist het aanpassen van digitale inhoud zodat deze aanvoelt als inheems voor een vreemde cultuur, waarbij rekening wordt gehouden met lokale gebruiken, grammatica en de specifieke manier waarop mensen met technologie omgaan. In de wereld van software betekent dit het vertalen van de tekst die verschijnt op knoppen, menu's en foutmeldingen, en ervoor zorgen dat deze perfect begrijpelijk is voor een gebruiker die een andere taal spreekt. Het beoordelen of deze vertaling echter goed genoeg is, is berucht moeilijk. In tegenstelling tot een roman, waarbij een lezer simpelweg kan voelen dat een zin "niet klopt", moet softwaretekst precies zijn; een verkeerd vertaalde instructie in een bank-app zou ertoe kunnen leiden dat een gebruiker geld verliest of zichzelf van zijn account afsluit. Jarenlang heeft de industrie vertrouwd op een handvol standaard checklists om deze fouten te meten, maar experts debatteren al lang of deze instrumenten scherp genoeg zijn om de subtiele, gevaarlijke fouten te vangen die optreden wanneer machines het vertaalwerk doen.

Een onderzoeker genaamd Sina Alizadeh Tabrizi zette zich het doel om deze bestaande methoden te testen tegen een zeer specifiek en risicovol scenario: een bankapplicatie ontworpen voor islamitische financiën. Deze software was oorspronkelijk gebouwd in het Perzisch, volgens strikte religieuze financiële principes, en het doel was om te zien hoe goed deze vertaald kon worden naar het Engels voor gebruik in de Verenigde Staten. Om een realistische haastklus te simuleren, huurde de onderzoeker geen menselijke vertalers in. In plaats daarvan werd de gehele interface vertaald met behulp van een gratis, geautomatiseerd hulpmiddel genaamd Google Translate, zonder menselijke bewerking achteraf. Dit creëerde een perfecte storm van potentiële fouten, waardoor de onderzoeker precies kon zien waar de machine struikelde bij complexe financiële termen en geïsoleerde tekstreeksen die zonder omliggende context waren. De studie onderwierp deze door machinevertaling gegenereerde software vervolgens aan drie verschillende kwaliteitscontrolemodellen—gestandaardiseerde systemen die in de industrie worden gebruikt om fouten te tellen en te wegen—om te zien welk model de problemen het beste kon identificeren en, belangrijker nog, welk model het verschil kon zien tussen een onschuldige typefout en een catastrofale financiële fout.

Het onderzoek toonde aan dat hoewel alle drie de systemen fouten konden vinden, ze het niet eens waren over wat die fouten waren of hoe gevaarlijk ze waren. Een van de oudere modellen, vaak gebruikt in de automobielindustrie, richtte zich zwaar op grammatica en spelling, maar negeerde grotendeels of de stijl of opmaak van de tekst wel gepast was voor een bank. Een ander model, breed gebruikt in de lokalisatie-industrie, was beter in het opsporen van algemene fouten, maar had de neiging om verschillende soorten fouten bij elkaar te groeperen, waardoor het moeilijk was om de specifieke aard van het probleem te zien. Het derde model, een moderner kader genaamd Multidimensional Quality Metrics, bleek het meest gedetailleerd te zijn. Het fungeerde als een krachtige microscoop door fouten te scheiden in duidelijke categorieën zoals "nauwkeurigheid" (is de betekenis veranderd?) en "vloeiendheid" (klinkt de zin natuurlijk?). Dit model was in staat om aan te wijzen dat de machinevertaling specifieke banktermen had verward, waarbij een knop die bedoeld was om een gebruiker in te loggen, veranderde in een woord dat simpelweg "aankomst" betekende, en het detecteerde weglatingen waarbij volledige financiële overzichten van het scherm verdwenen.

De onderzoeker stelde echter vast dat zelfs het meest gedetailleerde model een blinde vlek had als het ging om de unieke gevaren van financiële software. Een standaard kwaliteitscontrole kan een kleine spelfout op een inlogscherm op dezelfde manier behandelen als een kleine spelfout op een "Over ons"-pagina. In een bank-app zijn deze echter niet hetzelfde. Een fout op het inlogscherm kan een gebruiker de toegang tot zijn geld volledig ontzeggen, terwijl een typefout op een informatieve pagina slechts irritant is. Om dit op te lossen, stelde de studie een nieuwe, gespecialiseerde versie van het kwaliteitsmodel voor die specifiek is afgestemd op de financiële sector. Deze nieuwe aanpak, genaamd MQM-Fin, voegt een laag van risicobeoordeling toe aan elke gevonden fout. Het vraagt niet alleen "wat is er mis?", maar ook "hoe erg zou het zijn als een gebruiker dit ziet?". Door de score van een fout te vermenigvuldigen op basis van het potentieel om financieel verlies of het falen van een transactie te veroorzaken, onthulde het nieuwe systeem dat de software, die onder standaardregels slechts "grensgevallig acceptabel" leek, in feite faalde in haar meest kritieke functies. Het inlogscherm en de transactieknoppen waren zo gebrekkig dat de software effectief onbruikbaar was voor haar beoogde doel.

De studie bracht ook aan het licht waarom de machinevertaling zo vaak faalde. Het bleek dat de fouten niet willekeurig waren; ze volgden een voorspelbaar patroon veroorzaakt door de manier waarop gebruikersinterfaces zijn opgebouwd. In software verschijnt tekst vaak in kleine, geïsoleerde brokjes, zoals een enkel woord op een knop, zonder de omliggende zinnen die een menselijke vertaler helpen de context te begrijpen. De machine, die deze context mist, zou de betekenis raden op basis van het meest voorkomende gebruik van een woord, wat in een bancaire context vaak onjuist was. Bijvoorbeeld, een frase die een specifiek type bankrekening beschreef, werd vertaald als een onzinnige combinatie van woorden als "Informatieblad behandeling, telefoon ziekenhuis", omdat de machine niet wist dat het naar een financieel menu keek. De onderzoeker identificeerde drie hoofdwijzen waarop dit gebeurde: de tekst was te geïsoleerd voor de machine om de grammatica te begrijpen, de woorden hadden meerdere betekenissen en de machine koos de verkeerde, of lange frases werden samengeperst in korte labels die de machine niet kon verwerken.

Uiteindelijk suggereert het onderzoek dat de industrie verder moet kijken dan generieke checklists bij het werken met kritieke software. De studie stelt een hybride workflow voor waarbij eerst een snelle, brede scan wordt gebruikt om voor de hand liggende fouten te vangen, gevolgd door een diepe, risicogewogen inspectie van alleen de onderdelen van de software die er het meest toe doen, zoals inlogschermen en betalingsknoppen. Deze aanpak zou tijd en geld besparen en tegelijkertijd ervoor zorgen dat de gevaarlijkste fouten worden opgemerkt. De bevindingen benadrukken ook een cruciale behoefte aan betere hulpmiddelen: als de mensen die software bouwen de vertaalmachines meer context kunnen bieden—zoals een notitie die uitlegt dat een knop bedoeld is om in te loggen in plaats van alleen het woord "Login" te tonen—zou de kwaliteit van de output drastisch verbeteren. De studie concludeert dat hoewel machines woorden kunnen vertalen, zij nog steeds niet het gewicht van een financiële transactie kunnen begrijpen zonder menselijke begeleiding en een kwaliteitssysteem dat het verschil begrijpt tussen een cosmetische fout en een financiële ramp.