MQM‑Fin: A Risk‑Weighted Hybrid Quality Assurance Framework for Localizing Financial Software - Beyond LISA and SAE J2450

Wenn ein Softwareunternehmen beschließt, sein Produkt in einem neuen Land zu verkaufen, steht es vor einer Herausforderung, die weit über das bloße Ersetzen von Wörtern in einer anderen Sprache hinausgeht. Dieser Prozess, bekannt als Lokalisierung, erfordert die Anpassung digitaler Inhalte, damit sie sich für eine fremde Kultur natürlich anfühlen und lokale Bräuche, Grammatik sowie die spezifische Art und Weise, wie Menschen mit Technologie interagieren, respektieren. In der Welt der Software bedeutet dies, den Text, der auf Schaltflächen, Menüs und Fehlermeldungen erscheint, so zu gestalten, dass er für einen Nutzer, der eine andere Sprache spricht, absolut Sinn ergibt. Es ist jedoch notorisch schwierig zu beurteilen, ob diese Übersetzung gut genug ist. Im Gegensatz zu einem Roman, bei dem ein Leser lediglich das Gefühl haben könnte, ein Satz sei „nicht ganz stimmig“, muss Softwaretext präzise sein; eine falsch übersetzte Anweisung in einer Banking-App könnte dazu führen, dass ein Nutzer Geld verliert oder sich selbst von seinem Konto aussperrt. Jahrelang hat sich die Branche auf einige Standard-Checklisten verlassen, um diese Fehler zu messen, doch Experten debattieren schon lange darüber, ob diese Werkzeuge scharf genug sind, um die subtilen, gefährlichen Fehler abzufangen, die entstehen, wenn Maschinen die Übersetzung übernehmen.

Ein Forscher namens Sina Alizadeh Tabrizi unternahm den Versuch, diese bestehenden Methoden gegen ein sehr spezifisches und hochriskantes Szenario zu testen: eine Banking-App, die für das islamische Finanzwesen entwickelt wurde. Diese Software wurde ursprünglich auf Persisch erstellt, basierend auf strengen religiösen Finanzprinzipien, und das Ziel war es zu sehen, wie gut sie für die Nutzung in den USA ins Englische übersetzt werden konnte. Um eine realistische Eilarbeit zu simulieren, engagte der Forscher keine menschlichen Übersetzer. Stattdessen wurde die gesamte Benutzeroberfläche mit einem kostenlosen, automatisierten Tool namens Google Translate übersetzt, ohne anschließende menschliche Bearbeitung. Dies schuf einen perfekten Sturm potenzieller Fehler und ermöglichte es dem Forscher zu sehen, an welchen Stellen die Maschine scheiterte, wenn sie mit komplexen Finanzbegriffen und isolierten Textfragmenten konfrontiert wurde, denen der Kontext fehlte. Die Studie unterzog diese maschinell übersetzte Software anschließend drei verschiedenen Qualitätssicherungsmodellen – standardisierten Systemen, die in der Branche verwendet werden, um Fehler zu zählen und zu gewichten – um herauszufinden, welches Modell die Probleme am besten identifizieren konnte und, was noch wichtiger ist, welches den Unterschied zwischen einem harmlosen Tippfehler und einem katastrophalen finanziellen Fehler erkennen konnte.

Die Untersuchung ergab, dass zwar alle drei Systeme Fehler finden konnten, sie sich jedoch nicht darüber einig waren, was diese Fehler waren oder wie gefährlich sie waren. Eines der älteren Modelle, das häufig in der Automobilindustrie verwendet wird, konzentrierte sich stark auf Grammatik und Rechtschreibung, ignorierte aber weitgehend, ob der Stil oder die Formatierung des Textes für eine Bank angemessen war. Ein anderes Modell, das in der Lokalisierungsbranche weit verbreitet ist, war besser darin, allgemeine Fehler zu finden, neigte aber dazu, verschiedene Arten von Fehlern zusammenzufassen, was es schwierig machte, die spezifische Natur des Problems zu erkennen. Das dritte Modell, ein modernerer Rahmen namens Multidimensional Quality Metrics, erwies sich als das detaillierteste. Es fungierte wie ein Hochleistungsmikroskop, indem es Fehler in klare Kategorien wie „Genauigkeit“ (hat sich die Bedeutung geändert?) und „Flüssigkeit“ (klingt der Satz natürlich?) unterteilte. Dieses Modell war in der Lage, genau aufzuzeigen, dass die maschinelle Übersetzung spezifische Bankbegriffe verwechselt hatte – etwa eine Schaltfläche, die einen Nutzer zum Einloggen bestimmt war, in ein Wort verwandelte, das schlichtweg „Ankunft“ bedeutete – und es erkannte Auslassungen, bei denen ganze Finanzberichte auf dem Bildschirm fehlten.

Der Forscher stellte jedoch fest, dass selbst das detaillierteste Modell eine Schwachstelle hatte, wenn es um die einzigartigen Gefahren von Finanzsoftware ging. Eine Standard-Qualitätsprüfung behandelt einen kleinen Rechtschreibfehler auf einem Login-Bildschirm möglicherweise genauso wie einen kleinen Rechtschreibfehler auf einer „Über uns“-Seite. In einer Banking-App sind diese jedoch nicht gleichzusetzen. Ein Fehler auf dem Login-Bildschirm kann den Nutzer daran hindern, überhaupt auf sein Geld zuzugreifen, während ein Tippfehler auf einer Informationsseite lediglich störend ist. Um dies zu lösen, schlug die Studie ein neues, spezialisiertes Qualitätsmodell vor, das speziell auf das Finanzwesen zugeschnitten ist. Dieser neue Ansatz, genannt MQM-Fin, fügt jeder gefundenen Fehlermeldung eine Ebene der Risikobewertung hinzu. Er fragt nicht nur „Was ist falsch?“, sondern auch „Wie schlimm wäre es, wenn ein Nutzer dies sähe?“. Durch die Multiplikation des Fehlerwertes basierend auf dem Potenzial für finanziellen Verlust oder Transaktionsfehler offenbarte das neue System, dass die Software, die unter Standardregeln lediglich als „grenzwertig akzeptabel“ galt, in ihren kritischsten Funktionen tatsächlich versagte. Die Login-Bildschirme und Transaktionsschaltflächen waren so fehlerhaft, dass die Software für ihren beabsichtigten Zweck praktisch unbrauchbar war.

Die Studie deckte auch auf, warum die maschinelle Übersetzung so oft scheiterte. Es stellte sich heraus, dass die Fehler nicht zufällig waren; sie folgten einem vorhersehbaren Muster, das durch die Art und Weise verursacht wurde, wie Benutzeroberflächen aufgebaut sind. In der Software erscheinen Texte oft in winzigen, isolierten Stücken, wie etwa ein einzelnes Wort auf einer Schaltfläche, ohne die umgebenden Sätze, die einem menschlichen Übersetzer helfen würden, den Kontext zu verstehen. Die Maschine, der dieser Kontext fehlte, würde die Bedeutung basierend auf der häufigsten Verwendung eines Wortes erraten, was im Bankenkontext oft falsch war. Beispielsweise wurde eine Phrase, die eine bestimmte Art von Bankkonto beschrieb, als nonsensartige Kombination von Wörtern wie „Information sheet treatment, phone hospital“ übersetzt, weil die Maschine nicht wusste, dass sie es mit einem Finanzmenü zu tun hatte. Der Forscher identifizierte drei Hauptgründe für dies: Der Text war zu isoliert, als dass die Maschine die Grammatik hätte verstehen können; die Wörter hatten mehrere Bedeutungen und die Maschine wählte die falsche; oder lange Phrasen wurden in kurze Bezeichnungen komprimiert, die die Maschine nicht korrekt parsen konnte.

Letztendlich legt die Forschung nahe, dass die Branche beim Umgang mit kritischer Software über generische Checklisten hinausgehen muss. Die Studie schlägt einen hybriden Workflow vor, bei dem zuerst ein schneller, breiter Scan durchgeführt wird, um offensichtliche Fehler zu finden, gefolgt von einer tiefgehenden, risikogewichteten Inspektion nur bei den Teilen der Software, die am wichtigsten sind, wie etwa Login-Bildschirme und Zahlungsbuttons. Dieser Ansatz würde Zeit und Geld sparen und gleichzeitig sicherstellen, dass die gefährlichsten Fehler entdeckt werden. Die Ergebnisse unterstreichen zudem die dringende Notwendigkeit besserer Werkzeuge: Wenn die Menschen, die Software bauen, den Übersetzungsmaschinen mehr Kontext zur Verfügung stellen könnten – wie etwa eine Notiz, die erklärt, dass eine Schaltfläche für das „Einloggen“ und nicht nur für das Wort „Login“ gedacht ist –, würde sich die Qualität der Ausgabe drastisch verbessern. Die Studie kommt zu dem Schluss, dass Maschinen zwar Wörter übersetzen können, aber noch nicht in der Lage sind, das Gewicht einer Finanztransaktion ohne menschliche Anleitung und ein Qualitätssystem zu verstehen, das den Unterschied zwischen einem kosmetischen Fehler und einer finanziellen Katastrophe begreift.