Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval

Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, aber anstatt nur Ihr eigenes Gehirn zu benutzen, haben Sie eine riesige Bibliothek mit Referenzbüchern direkt neben sich stehen. Dies ist die Welt der Retrieval-Augmented Generation (RAG). Denken Sie an einen Studenten, der eine Prüfung ablegt und dabei die Erlaubnis hat, vor der Beantwortung der Fragen in einem Lehrbuch Fakten nachzuschlagen. Normalerweise sind Computer darin sehr gut, wenn die Fragen auf Englisch gestellt werden, aber es wird unordentlich, wenn die Fragen auf Spanisch, Griechisch oder Hindi sind. Die „Bibliothek“ ist vielleicht voll mit englischen Büchern, aber leer für andere Sprachen, und der Student weiß vielleicht nicht, wie man die fremden Bücher liest, selbst wenn er sie findet.

Dieses Paper befasst sich mit einer sehr spezifischen, hochsensiblen Version dieses Problems: Finanzzertifizierungsprüfungen. Dies sind nicht einfach nur Wissensfragen; es sind komplexe Tests, um ein zertifizierter Finanzanalyst oder Buchhalter zu werden, die tiefes logisches Verständnis über Geld, Gesetze und Buchhaltungsregeln erfordern. Die große Frage, die die Autoren stellen, lautet: Können wir ein Computersystem bauen, das diese schwierigen Finanzprüfungen in fünf verschiedenen Sprachen (Englisch, Spanisch, Griechisch, Chinesisch und Hindi) genauso gut besteht wie auf Englisch? Die Antwort ist wichtig, denn das Finanzwesen ist global, aber die meisten Computergehirne wurden hauptsächlich auf Englisch trainiert, was enorme Lücken hinterlässt, wenn es darum geht, Finanzthemen in anderen Sprachen zu verarbeiten.

Das große Experiment des Teams: Ein intelligenter, multilingualer Detektiv

Die Forscher von Georgia Tech, die ihr Team DS@GT nennen, haben ein digitales Detektivsystem gebaut, um diese Finanzprüfungsfragen zu lösen. Anstatt nur zu raten, folgt ihr System einem strengen dreistufigen Prozess, den sie eine „Pipeline“ nennen.

Schritt 1: Der Sprachdetektiv
Zuerst schaut sich das System die Frage an und fragt: „In welcher Sprache ist dies?“ Es ist wie ein Türsteher im Club, der Ausweise kontrolliert. Wenn die Frage auf Griechisch ist, weiß das System, dass es Bücher aus der „Griechischen Sektion“ seiner Bibliothek ziehen muss. Wenn die Bibliothek für diese Sprache leer ist (was bei kleineren Sprachen wie Griechisch oder Hindi der Fall ist), greift es auf Bücher aus der „Globalen Sektion“ zurück, die ähnliche Ideen enthalten könnten, auch wenn sie in einer anderen Sprache verfasst sind. Sie verwendeten ein spezielles Werkzeug namens BGE-M3, um die Bedeutung der Fragen in einen universellen Code zu übersetzen, damit das System relevante Beispiele finden konnte, selbst über Sprachbarrieren hinweg.

Schritt 2: Der Modell-Router (Das „rechte Gehirn“ für den richtigen Job)
Hier entdeckte das Team etwas Überraschendes. Sie verwendeten nicht einfach ein einziges riesiges Computergehirn für alles. Sie fanden heraus, dass verschiedene Computergehirne besser für verschiedene Sprachen geeignet sind.

• Für Englisch verwendeten sie ein Modell namens Qwen2.5-14B.
• Für Griechisch fanden sie überraschenderweise heraus, dass ein kleineres Modell, Llama-3.1-8B, tatsächlich der Star war und die größeren Modelle um eine riesige Marge (etwa 19,5 Prozentpunkte!) schlug.
• Für Chinesisch, Hindi und Arabisch verwendeten sie Qwen3-14B.

Hätten sie einfach das „beste“ Modell für alle verwendet, wäre ihr System bei Englisch und Griechisch kläglich gescheitert. Es ist wie die Erkenntnis, dass ein Marathonläufer zwar großartig für lange Distanzen ist, man ihn aber nicht beim Schachspielen einsetzen würde; man braucht für jede Aufgabe einen anderen Spezialisten.

Schritt 3: Der Scorer (Keine Ratespiele mehr)
Normalerweise versuchen Computer, Fragen zu beantworten, indem sie die Antwort „schreiben“, wie zum Beispiel „Die Antwort ist C“. Dies führt oft zu Fehlern, bei denen der Computer einen langen Absatz schreibt und dann vergisst, welchen Buchstaben er ausgewählt hat. Das DS@GT-Team wandte einen cleveren Trick namens Retrieval-Augmented Direct Scoring (RADS) an. Anstatt die Antwort zu schreiben, prüft das System einfach die Mathematik: „Wie wahrscheinlich ist es, dass der Buchstabe 'A' das nächste Wort ist? Wie wahrscheinlich ist 'B'? Wie wahrscheinlich ist 'C'?“ Es wählt den Buchstaben mit dem höchsten mathematischen Wert. Dies ist wie ein Multiple-Choice-Test, bei dem der Computer keinen Aufsatz schreiben muss, sondern einfach nur das richtige Kästchen ankreuzt. Diese Methode eliminierte fast alle „Parse-Fehler“ (Fehler beim Lesen der eigenen Antwort des Computers) und erreichte eine Erfolgsquote von 100 % bei chinesischen Fragen, bei denen andere Methoden Schwierigkeiten hatten.

Die überraschenden Entdeckungen

Das Team führte tausende Tests durch und fand einige Regeln, die die üblichen Vorstellungen darüber, wie KI funktioniert, außer Kraft setzten:

1. Zu viel Nachdenken kann schlecht sein: Für die meisten Menschen hilft „Chain-of-Thought“ (die KI bittet, ihre Argumentation Schritt für Schritt zu erklären) – aber für griechische Fragen zerstörte dies tatsächlich die Leistung. Die Genauigkeit sank von fantastischen 90,7 % auf katastrophale 20,9 %. Es stellte sich heraus, dass für diese spezifischen griechischen Fragen, die eher darauf abzielen, Fakten zu kategorisieren als mathematische Probleme zu lösen, das „Laut-Denken“ die KI verwirrte. Sie fing an, Geschichten zu schreiben, anstatt die richtige Kategorie zu wählen.
2. Die „Denkmodus“-Falle: Das Modell Qwen3 hat eine Standardeinstellung, bei der es vor der Antwort einen „Denkabschnitt“ schreibt. Das Team fand heraus, dass, wenn sie diesen Modus aktiviert ließen, die Fähigkeit des Systems, den richtigen Buchstaben zu wählen (RADS), für Arabisch auf das Niveau eines reinen Ratens zusammenbrach. Sie mussten diesen „Denkmodus“ manuell ausschalten, damit das System funktionierte.
3. Übersetzung ist eine Falle: Sie versuchten, Fragen aus anderen Sprachen ins Englische zu übersetzen, diese zu lösen und dann zurück zu übersetzen. Dies war ein Desaster. Die Übersetzung verlor wichtige Finanzdetails, und die Punktzahlen sanken im Vergleich zur Lösung in der Originalsprache um fast 20 Prozentpunkte.
4. Daten zählen, aber Modelle zählen mehr: Für Hindi half es zwar ein wenig (um etwa 1 Prozentpunkt), mehr native Hindi-Beispiele in ihre Bibliothek aufzunehmen, aber die Lücke zwischen ihrem System und der führenden kommerziellen KI (Claude Opus 4.7) war riesig (17 Prozentpunkte). Dies deutet darauf hin, dass das Problem bei ressourcenarmen Sprachen nicht nur darin besteht, mehr Bücher in der Bibliothek zu haben, sondern dass das Computergehirn selbst tiefer auf diese spezifischen Finanzbegriffe trainiert werden muss.

Die abschließende Bilanz

Als das Team sein System bei dem offiziellen FinMMEval 2026 Wettbewerb einreichte, schnitt es gut ab und belegte in den meisten Sprachen einen Platz in den Top 10.

• Arabisch: 76,0 % (10. Platz)
• Hindi: 73,5 % (7. Platz)
• Englisch: 69,5 % (9. Platz)
• Chinesisch: 64,5 % (9. Platz)

Obwohl sie nicht den ersten Platz belegten (die Spitzenteams erreichten über 90 %), bewiesen ihre Arbeit eine lebenswichtige Lektion: Einheitslösungen passen nicht für alle. Um eine intelligente Finanz-KI zu bauen, die weltweit funktioniert, kann man nicht einfach ein Modell und eine Strategie verwenden. Man muss verschiedene Sprachen an verschiedene Modelle routen, unterschiedliche Denkstrategien je nach Aufgabe wählen und Antworten mathematisch bewerten, anstatt sie einfach nur auszuschreiben. Die Zukunft der globalen Finanz-KI ist nicht ein einzelnes Supergehirn, sondern ein Team von Spezialisten, die die richtige Sprache sprechen und die passenden Werkzeuge nutzen.