Ebisu: Benchmarking Large Language Models in Japanese Finance
Dieses Paper stellt Ebisu vor, einen neuartigen Benchmark, der aus zwei von Experten annotierten Aufgaben besteht, die darauf ausgelegt sind, die Herausforderungen zu bewerten, denen große Sprachmodelle bei der Erfassung der komplexen linguistischen und kulturellen Nuancen des japanischen Finanzwesens gegenüberstehen, wobei aufgezeigt wird, dass selbst modernste Modelle trotz Skalierung oder Anpassung Schwierigkeiten mit impliziten Verpflichtungen und der Extraktion hierarchischer Terminologie haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein sehr höfliches, hochkomplexes Gespräch zwischen einem japanischen Unternehmen und seinen Investoren zu verstehen. In diesem Gespräch sagt das Unternehmen selten direkt „Nein“. Stattdessen sagen sie vielleicht: „Wir werden die Möglichkeiten prüfen“ oder „Es ist derzeit schwierig, eine definitive Antwort zu geben“. Für einen Muttersprachler sind diese Phrasen klare Signale einer Ablehnung. Aber für eine KI, die hauptsächlich auf Englisch trainiert wurde, wo Menschen dazu neigen, direkter zu sein, sehen diese Phrasen wie ein „Vielleicht“ oder sogar ein „Ja“ aus.
Dieses Paper mit dem Titel EBISU stellt eine neue „Prüfung“ vor, die darauf ausgelegt ist, zu testen, wie gut Künstliche Intelligenz (KI) diese subtilen, kulturspezifischen Finanzgespräche in Japan verstehen kann.
Hier ist eine Aufschlüsselung des Papers unter Verwendung einfacher Analogien:
1. Das Problem: Die „Lost in Translation“-Falle
Die Autoren argumentieren, dass aktuelle KI-Modelle wie Touristen sind, die ein japanisches Lehrbuch studiert haben, aber das Land selbst nie besucht haben.
- Die Sprachbarriere: Japanisch ist eine „verb-endende“ Sprache (das Verb kommt ganz am Ende des Satzes) und verwendet drei verschiedene Schriftsysteme gleichzeitig. Es ist, als würde man versuchen, einen Satz zu lesen, in dem das wichtigste Wort am Ende versteckt ist und die Wörter in drei verschiedenen Schriftarten gleichzeitig geschrieben sind.
- Die kulturelle Barriere: In der japanischen Geschäftskultur gilt es oft als unhöflich, zu direkt zu sein. Unternehmen nutzen eine „High-Context“-Kommunikation, was bedeutet, dass die wahre Bedeutung im Tonfall, in der Stille oder in der spezifischen Art und Weise, wie ein Satz endet, verborgen liegt, statt in den expliziten Worten.
- Das Ergebnis: Selbst die klügsten KI-Modelle gehen sich in diesen Finanzdokumenten „verloren“. Sie übersehen das subtile „Nein“ und die komplexen Finanzbegriffe, weil sie nach direkten, englischsprachigen Antworten suchen.
2. Die Lösung: Der EBISU-Benchmark
Um dies zu beheben, entwickelten die Forscher EBISU, einen spezialisierten Test mit zwei unterschiedlichen Herausforderungen (Aufgaben). Betrachten Sie dies als eine zweiteilige Fahrprüfung für die KI.
Aufgabe 1: Der „Zwischentöne lesen“-Test (JF-ICR)
- Das Szenario: Ein Investor stellt eine schwierige Frage, und das Unternehmen gibt eine höfliche, vage Antwort.
- Die Herausforderung: Die KI muss entscheiden: Sagt das Unternehmen „Ja, wir werden es tun“, „Vielleicht, aber es ist riskant“ oder „Nein, auf keinen Fall“?
- Die Falle: Die KI verwechselt ein höfliches „Nein“ oft mit einem „Vielleicht“, weil sie die kulturellen Regeln der indirekten Ablehnung nicht versteht.
- Die Daten: Sie verwendeten echte Transkripte von 4 großen japanischen Unternehmen aus einem Zeitraum von 3 Jahren, die sorgfältig von menschlichen Experten beschriftet wurden, die den Unterschied zwischen einer höflichen Abschwächung und einer harten Ablehnung kennen.
Aufgabe 2: Der „Nadel im Heuhaufen“-Test (JF-TE)
- Das Szenario: Japanische Finanzberichte sind wie dichte Textwälder. Wichtige Finanzbegriffe sind oft in langen, verschachtelten Phrasen vergraben und vermischt mit Lehnwörtern aus dem Englischen und Chinesischen, die sich im Laufe der Zeit verändert haben.
- Die Herausforderung: Die KI muss spezifische Finanzbegriffe finden und sie nach ihrer Wichtigkeit ordnen.
- Die Falle: Da die Wörter gemischt sind (Kanji, Hiragana, Katakana) und ineinander verschachtelt sind, wird die KI oft verwirrt darüber, wo ein Begriff endet und ein anderer beginnt. Es ist, als würde man versuchen, bestimmte Zutaten in einer Suppe zu finden, bei denen die Etiketten in drei verschiedenen Sprachen geschrieben sind und die Zutaten aneinanderkleben.
3. Die Ergebnisse: Die KI kämpft
Die Forscher testeten 22 verschiedene KI-Modelle, darunter die berühmtesten aus den USA (wie GPT-4 und Claude) sowie Modelle, die speziell auf Japanisch oder auf Finanzdaten trainiert wurden.
- Die Bewertung: Die Ergebnisse waren überraschend schlecht. Selbst die „klügsten“ KI-Modelle beantworteten nur etwa 4-0 % der Fragen richtig.
- Größer ist nicht besser: Das Modell „größer“ zu machen (mehr Daten und Parameter hinzuzufügen), half ein wenig, reichte aber nicht aus, um das Problem zu lösen.
- Spezialisierung half nicht: Überraschenderweise schnitten Modelle, die speziell auf japanischen Finanzdaten trainiert wurden, in einigen Fällen schlechter ab als allgemeine Modelle. Es ist, als ob das Studium eines speziellen Lehrbuchs den Studenten übermäßig selbstbewusst und weniger flexibel gemacht hätte.
- Der Bias: KI-Modelle, die auf englischen Daten trainiert wurden, neigen dazu, zu optimistisch zu sein. Wenn ein japanisches Unternehmen vage bleibt, nimmt die auf Englisch trainierte KI an, dass sie zustimmen, während sie in Wirklichkeit ablehnen.
4. Das Fazrazit
Das Paper kommt zu dem Schluss, dass wir die KI nicht einfach nur „skalieren“ oder englische Finanzregeln ins Japanische übersetzen können. Um japanische Finanzen wirklich zu verstehen, muss die KI die kulturellen Nuancen und die sprachlichen Eigenheiten der Sprache lernen, nicht nur den Wortschatz.
Kurz gesagt: Der EBISU-Benchmark ist ein Realitätscheck. Er zeigt, dass KI zwar gut in vielen Dingen ist, aber derzeit unfähig ist, die höfliche, indirekte und komplexe Art und Weise zu verstehen, wie japanische Unternehmen über Geld sprechen. Die Autoren haben ihre Testdaten und Werkzeuge veröffentlicht, damit andere Forscher versuchen können, bessere „kulturelle Übersetzer“ für das Finanzwesen zu bauen.
Hinweis: Die Autoren weisen ausdrücklich darauf hin, dass diese Modelle nur der Forschung und Evaluierung dienen. Sie warnen davor, dass selbst wenn eine KI in diesem Test gut abschneidet, sie nicht für reale Investitionsentscheidungen oder zur Einhaltung gesetzlicher Vorschriften verwendet werden sollte, ohne dass menschliche Experten alles doppelt prüfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.