💬 NLP

SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses

Das Papier stellt SPLIT vor, einen Benchmark mit 500 Prompts zur Bewertung der sprachübergreifenden Empathie und kulturellen Fundierung in englischen und ukrainischen LLM-Antworten, wobei eine signifikante Leistungsverschlechterung in Ukrainisch für einige Modelle, eine schwache Übereinstimmung zwischen menschlichen und KI-Evaluatoren sowie die entscheidende Unterscheidung zwischen der Generierung ukrainischer Texte und der Bereitstellung kulturell angemessener emotionaler Unterstützung aufgezeigt werden.

Ursprüngliche Autoren: Anna Chorna

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anna Chorna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Die Sprache sprechen vs. die Kultur fühlen

Stellen Sie sich vor, Sie haben einen Roboter, der unglaublich gut darin ist, Englisch zu sprechen. Er kann einen Witz erzählen, ein Gedicht schreiben oder Ihnen den Weg beschreiben – in perfektem Englisch. Nun stellen Sie sich vor, Sie bitten denselben Roboter, auf Ukrainisch mit jemandem zu sprechen, der sich in einer schweren Krise befindet – etwa bei einer Panikattacke, Einsamkeit oder der Flucht aus der Heimat.

Die Arbeit stellt eine einfache, aber beängstigende Frage: Nur weil der Roboter die ukrainischen Wörter beherrscht, versteht er dann auch, wie man einem ukrainischen Menschen Trost spendet?

Die Autoren nennen dies den Unterschied zwischen der Textproduktion (die richtigen Wörter sagen) und der Produktion emotionaler Unterstützung (die richtigen Wörter mit dem richtigen Gefühl und kulturellen Verständnis sagen). Ihr Fazit ist ungeschönt: Das sind nicht dieselben Dinge.

Das Experiment: Der „SPLIT“-Test

Um die Antwort zu finden, entwickelten die Forscher einen Test namens SPLIT. Betrachten Sie dies als einen „Stresstest“ für die Empathie von Robotern.

Das Szenario: Sie erstellten 500 verschiedene Krisensituationen (wie „Ich fühle mich panisch“, „Ich bin einsam“ oder „Ich bin aus meiner Heimat vertrieben worden“).
Der Aufbau: Sie baten drei verschiedene fortgeschrittene KI-Roboter (DeepSeek, LLaMA und Gemini), auf diese Szenarien sowohl auf Englisch als auch auf Ukrainisch zu reagieren.
Die Richter: Sie ließen die Roboter nicht einfach sich selbst bewerten. Sie setzten zwei Arten von Richtern ein:
1. Menschliche Richter: Ein Muttersprachler des Ukrainischen, der perfekt Englisch spricht und wie ein strenger, aber fairer Lehrer agiert.
2. KI-Richter: Andere leistungsstarke Roboter, die als „Jury“ fungierten, um die Antworten zu bewerten.

Sie bewerteten die Roboter nach drei Kriterien:

Empathische Genauigkeit: Hat der Roboter den Schmerz der Person wirklich „verstanden“, oder hat er nur generische Dinge wie „Es wird schon alles gut werden“ gesagt?
Linguistische Natürlichkeit: Klang das Ukrainische wie ein echter Mensch, der spricht, oder klang es wie ein Roboter, der ein Wörterbuch vorliest?
Kulturelle Fundierung (Cultural Grounding): Verstand der Roboter den spezifischen kulturellen Kontext? (z. B. zu wissen, dass bestimmte Arten, Traurigkeit auszudrücken, in der Ukraine normal sind, während sie in den USA vielleicht seltsam wirken würden).

Was sie fanden: Die „Übersetzungsfalle“

Die Ergebnisse zeigten eine große Lücke zwischen der Leistung der Roboter auf Englisch im Vergleich zu Ukrainisch.

1. Die „driftenden“ Roboter (Gemini und LLaMA)
Stellen Sie sich einen Schüler vor, der intensiv für eine Prüfung auf Englisch gelernt hat, dann aber plötzlich gebeten wird, dieselbe Prüfung in einer Sprache abzulegen, die er nur wenig beherrscht.

Gemini und LLaMA waren auf Englisch großartig. Doch als sie zu Ukrainisch wechselten, sank ihre „Empathie“ signifikant.
Das Problem: Sie begannen, roboterhaft zu klingen. Sie verwendeten steife, formale Phrasen, die ein echter ukrainischer Mensch in einer Krise nicht verwenden würde. Sie griffen auf Klischees zurück (wie „Bleib stark“), die kalt und übersetzt wirkten, statt gefühlt.
Die Analogie: Es ist, als würde eine Person versuchen, einen weinenden Freund zu trösten, indem sie ein medizinisches Lehrbuch über Traurigkeit vorliest. Die Worte sind technisch korrekt, aber das Gefühl ist völlig falsch.

2. Der „stabile“ Roboter (DeepSeek)

DeepSeek war anders. Als es zu Ukrainisch wechselte, verlor es nicht die Fassung. Es hielt seine Empathie-Werte hoch und ließ die Sprache natürlich klingen.
Warum? Die Forscher glauben, dass DeepSeek anders aufgebaut ist. Anstatt zu versuchen, ein einziger riesiger Verstand für alles zu sein, besitzt es im Inneren spezialisierte „Experten“. Wenn eine ukrainische Krisenanfrage eingeht, leitet das System die Frage an den spezifischen Experten weiter, der diese Sprache und Emotion beherrscht, anstatt nur eine generische englische Antwort zu übersetzen.

Das Problem der „KI-Jury“

Einer der interessantesten Teile der Arbeit war das, was geschah, als sie die KI-Richter die Roboter bewerten ließen.

Die Diskrepanz: Der menschliche Richter und der KI-Richter waren oft uneins.
Der blinde Fleck der KI: Die KI-Richter waren zu nachsichtig mit den Robotern. Sie vergaben hohe Punktzahlen für „gute Grammatik“ und „höfliche Sätze“. Sie dachten: „Wow, dieser Satz ist perfekt!“
Die Realität des Menschen: Der menschliche Richter betrachtete denselben Satz und dachte: „Das ist grammatikalisch perfekt, aber es klingt wie ein Roboter, der versucht, menschlich zu sein. Es fühlt sich nicht echt an.“
Das Ergebnis: Die KI-Jury war schlecht darin, die kulturelle Fundierung zu beurteilen. Sie konnten den Unterschied zwischen einem kulturell angemessenen Trost und einer seltsamen, übersetzten Phrase nicht erkennen. Tatsächlich waren die KI- und die menschlichen Werte für die kulturelle Fundierung fast völlig unzusammenhängend.

Das Kernergebnis

Die Hauptbotschaft der Arbeit ist eine Warnung an jeden, der KI für die Krisenunterstützung entwickelt:

Flüssigkeit ist nicht Empathie.

Nur weil eine KI 500 Wörter in perfekter ukrainischer Grammatik generieren kann, bedeutet das nicht, dass sie einem ukrainischen Menschen in Not eine warme, kulturell sensible Umarmung anbieten kann. Die KI mag die Sprache „sprechen“, aber sie ist nicht in der Kultur „verwurzelt“.

Die Autoren argumenten, dass wir uns nicht allein auf automatisierte Tests (KI-Richter) verlassen können, um zu sehen, ob diese Roboter sicher oder hilfreich sind. Wir brauchen echte Menschen, um zu prüfen, ob die Roboter die kulturellen Nuancen von Schmerz und Trost wirklich verstehen – insbesondere in Sprachen wie Ukrainisch, in denen die emotionale Landschaft einzigartig ist.

Kurz gesagt: Man kann einem Roboter beibringen, eine Sprache zu sprechen, aber ihm beizubringen, das Herz dieser Kultur zu verstehen, ist ein viel schwierigeres und derzeit noch ungelöstes Problem.

Technisches Resümee: SPLIT – Cross-linguale Empathie und kulturelle Verankerung in englischen und ukrainischen LLM-Antworten

Problemstellung

Der schnelle Einsatz von Large Language Models (LLMs) in Kontexten der emotionalen Unterstützung und Krisenbewältigung hat die Forschung zu deren cross-lingualen Fähigkeiten, insbesondere für ressourcenarme bis mittelstarke Sprachen, überholt. Bestehende Benchmarks betonen zwar die mehrsprachige Leistungsfähigkeit, versäumen es jedoch häufig, krisenbezogene Empathie und kulturelle Verankerung zu untersuchen. Es besteht eine kritische Lücke zwischen linguistischer Flüssigkeit und der Fähigkeit, kulturell angemessene emotionale Unterstützung zu leisten. Die Arbeit postuliert, dass die Erzeugung von Text in einer bestimmten Sprache (z. B. Ukrainisch) nicht mit der Erzeugung kulturell fundierter emotionaler Unterstützung in dieser Sprache gleichzusetzen ist. Diese Studie adressiert die Inkonsistenz in LLM-Antworten beim Übergang von ressourcenreichen Sprachen (Englisch) zu ressourcenarmen bis mittelstarken Sprachen (Ukrainisch) in hochsensiblen, krisenbezogenen Szenarien.

Methodik

Datensatz: Die SPLIT-Benchmark

Die Autoren führen SPLIT ein, eine 500-Prompt-Benchmark, die darauf ausgelegt ist, die Konsistenz von LLMs bei der Generierung emotional fundierter Antworten zu bewerten. Der Datensatz besteht aus 500 distinkten emotionalen Unterstützungsanfragen, die auf fünf krisenbezogene Kategorien verteilt sind:

Stress
Panik
Einsamkeit
Binnenvertreibung
Spannung

Die Prompts wurden sowohl in Englisch als auch in Ukrainisch generiert. Während maschinelle Übersetzung die primäre Quelle für die ukrainischen Daten war, verifizierte ein Muttersprachler des Ukrainischen mit C2-Englischkenntnissen eine randomisierte 15 % Stichprobe (n=75) streng, um die Genauigkeit der natürlichen Sprachgenerierung (NLG) sicherzustellen.

Modellauswahl

Drei technisch diverse LLMs wurden als Antwortgeneratoren evaluiert:

DeepSeek-V3: Eine Mixture-of-Experts (MoE)-Architektur mit einer strategie ohne Hilfslos-Verlust (auxiliary-loss-free strategy) und Multi-Token-Prediction-Training.
LLaMA-3.3-70B-Instruct: Ein Standard-Dense-Transformer-Modell.
Gemini-2.5-Flash: Ein geschlossenes, spärliches (sparse) MoE-Transformer-Modell mit hybriden Reasoning-Fähigkeiten.

Evaluationsrahmen

Die Antworten wurden anhand von drei Dimensionen auf einer Skala von 1 bis 5 bewertet:

Empathische Genauigkeit: Identifizierung des emotionalen Zustands und Vermeidung von Klischees.
Linguistische Natürlichkeit: Bewahrung eines natürlichen Flusses, von Idiomen und Ausdrücken, die spezifisch für die Krise sind.
Kontextuelle & Kulturelle Verankerung: Anpassung an die Sprache des Nutzers, den kulturellen Hintergrund und den spezifischen Krisenkontext.

Evaluationsparadigma

Die Studie nutzte einen dualen Evaluationsansatz:

LLM-as-a-Jury: Drei High-Reasoning-Modelle (GPT-4o, Mistral Large und Claude 4.5 Sonnet) fungierten als automatisierte Jury, um alle 3.000 generierten Antworten (3 Modelle × 500 Prompts × 2 Sprachen) zu bewerten.
Human Validation: Ein einzelner muttersprachlicher Ukrainer mit C2-Englischkenntnissen evaluierte manuell 10 % der Antworten (n=300).
Statistische Analyse: Die Studie berechnete Pearson-Korrelationskoeffizienten ( $r$ ), den mittleren absoluten Fehler (MAE) und den mittleren Fehler (ME), um die Übereinstimmung zwischen menschlicher und automatisierter Evaluation zu messen.

Kernergebnisse

Leistungsunterschiede (Humane Evaluation)

Es wurde eine signifikante Leistungslücke beobachtet, wenn die Modelle von Englisch zu Ukrainisch wechselten:

Gemini-2.5-Flash und LLaMA-3.3-70B-Instruct: Beide Modelle zeigten eine starke Degradation im Ukrainischen. LLaMAs Score für linguistische Natürlichkeit sank um 1,76 Punkte (von 3,92 in Englisch auf 2,16 in Ukrainisch). Geminis Score für kulturelle Verankerung fiel um 1,2 Punkte.
DeepSeek-V3: Dieses Modell blieb vergleichsweise stabil, wobei die Scores im Ukrainischen den englischen Basiswert erreichten oder leicht übertrafen. Beispielsweise stieg sein Score für kulturelle Verankerung von 3,54 (EN) auf 3,74 (UA).

Übereinstimmung zwischen Automatisierung und Mensch

Die Korrelation zwischen der LLM-as-a-jury und den menschlichen Evaluatoren war schwach und dimensionsabhängig:

Empathische Genauigkeit: Schwache, aber signifikante positive Korrelation ( $r = 0,198$ ). Die KI-Jury zeigte einen Milde-Bias (ME = +0,281) und bewertete grundlegendes empathisches Vokabular oft zu hoch.
Linguistische Natürlichkeit: Schwache positive Korrelation ( $r = 0,149$ ). Die KI-Jury bevorzugte stark grammatikalische Korrektheit und Struktur gegenüber authentischen Idiomen, was zu einem großen systematischen Milde-Bias führte (ME = +0,506).
Kontextuelle & Kulturelle Verankerung: Die Korrelation war negativ und nicht signifikant ( $r = -0,095, p > 0,05$ ). Die automatisierte Jury versäumte es, authentische kulturelle Anpassung zu erkennen, und bestrafte teilweise Antworten, die Menschen als kulturell angemessen empfanden, aber strukturell von Standardmustern abwichen.

Spezifische Beobachtungen

LLaMA zeigte „Language Drifting“ (Sprachdriften) und eine Abhängigkeit von Klischees im Ukrainischen, was wahrscheinlich auf seine Dense-Transformer-Architektur und die englisch-lastigen Trainingsdaten zurückzuführen ist.
Gemini wies einen „Over-Alignment-Bias“ auf, indem es übermäßig defensive, sicherheitsorientierte Skripte produzierte, denen im Ukrainischen die emotionale Tiefe fehlte.
Die Stabilität von DeepSeek wurde seiner MoE-Routing-Strategie und dem Multi-Token-Prediction-Ziel zugeschrieben, was eine bessere Planung auf Phrasenebene in morphologisch reichen Sprachen ermöglichte.

Wichtigste Beiträge

SPLIT-Benchmark: Die Einführung eines spezialisierten 500-Prompt-Datensatzes, der sich auf die Krisenkommunikation in Ukrainisch konzentriert und damit eine Lücke in den Benchmarks für ressourcenarme Sprachen im Bereich der emotionalen Unterstützung schließt.
Empirischer Beleg für Divergenz: Die Studie liefert datengestützte Beweise dafür, dass mehrsprachige Kompetenz nicht mit multikultureller Kompetenz gleichzusetzen ist. Modelle können flüssigen ukrainischen Text erzeugen, während sie gleichzeitig daran scheitern, kulturell fundierte emotionale Unterstützung zu leisten.
Evaluation von LLM-as-a-Jury: Die Arbeit bewertet kritisch die Zuverlässigkeit der automatisierten Evaluation im Kontext der emotionalen Unterstützung und stellt fest, dass KI zwar oberflächliche Metriken (Grammatik, basale Empathie) annähern kann, aber bei der Bewertung der kulturellen Verankerung signifikant versagt.
Architektonische Erkenntnisse: Die Ergebnisse legen nahe, dass MoE-Architekturen mit spezialisiertem Routing (wie DeepSeek-V3) eine bessere cross-linguale Stabilität in emotionalen Kontexten bieten können als Dense-Transformer oder Modelle, die auf massiven, gemittelten Web-Scraping-Daten basieren.

Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass „das Erzeugen von ukrainischem Text nicht gleichbedeutend mit dem Erzeugen von ukrainischer emotionaler Unterstützung ist.“

Die Autoren argumentieren, dass aktuelle Benchmarks und Evaluationsmethoden für Krisenreaktions-Anwendungen unzureichend sind, da sie linguistische Flüssigkeit und allgemeine Kohärenz über tiefe kulturelle Immersion priorisieren. Die Studie behauptet:

LLMs, die in Krisenkontexten eingesetzt werden, benötigen eine tiefere kulturelle Anpassung über die einfache Sprachübersetzung hinaus.
Die automatisierte Evaluation (LLM-as-a-jury) ist unzuverlässig bei der Beurteilung der kulturellen Verankerung, da sie dazu neigt, strukturelle Korrektheit gegenüber authentischer kultureller Nuancierung zu belohnen.
Die zukünftige Entwicklung muss sich von lediglich „mehrsprachigen“ Benchmarks hin zu „multikulturellen“ Benchmarks bewegen, die die spezifischen Normen, Werte und impliziten Referenzen mittel- bis ressourcenarmer Sprachen berücksichtigen.

Das Werk dient als Warnung für Entwickler, die LLMs in Krisenreaktionssysteme integrieren, und betont, dass linguistische Flüssigkeit allein kein ausreichender Maßstab für Sicherheit und Effektivität in emotional aufgeladenen, cross-lingualen Szenarien ist.