Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

Diese Studie zeigt, dass vortrainierte Sprachmodelle trotz expliziter Anweisungen und Kontextinformationen über 10 Sprachen hinweg eine schlechte Fähigkeit zur Unterscheidung von Lehnwörtern von einheimischem Wortschatz aufweisen, was ihre Verzerrung zugunsten von Lehnwörtern bestätigt und Implikationen für die Entwicklung von NLP-Tools für Minderheitensprachen hat.

Das Wesentliche

Sind KI-Sprachmodelle „blinde Nachahmer"?

Stell dir vor, du hast einen sehr intelligenten, aber etwas verwirrten Übersetzer, der alle Sprachen der Welt kennt. Dieser Übersetzer hat Millionen von Büchern gelesen und kann fast alles verstehen. Aber die Forscher aus Zürich haben eine ganz spezielle Frage an ihn gestellt:

„Kannst du unterscheiden, welche Wörter in einem Satz echt sind und welche nur 'eingeschleppt' wurden?"

In der Sprachwissenschaft nennt man eingekaufte Wörter aus anderen Sprachen Lehnwörter. Ein klassisches Beispiel im Deutschen ist das Wort „Computer". Es ist ein englisches Wort, das wir uns einfach „geliehen" haben. Ein „echtes" deutsches Wort wäre vielleicht „Rechner".

Die Forscher wollten wissen: Wenn man einem modernen KI-Modell (wie ChatGPT oder Gemini) einen Satz gibt, kann es dann erkennen: „Aha, hier steht ein eingekauftes Wort, und hier ein einheimisches"?

Das Experiment: Ein Test für 10 Sprachen

Die Wissenschaftler haben den KI-Modellen Aufgaben in 10 verschiedenen Sprachen gestellt (von Chinesisch über Russisch bis hin zu Isländisch). Sie haben den Modellen sogar ganz genau erklärt, was ein Lehnwort ist:

1. Einfach: „Finde die fremden Wörter."
2. Mit Geschichte: „Finde Wörter, die vor langer Zeit aus einer anderen Sprache kamen."
3. Mit Alltag: „Finde Wörter, die auch von Leuten benutzt werden, die nur eine Sprache sprechen (also keine Code-Switching)."

Das Ergebnis: Die KI ist „wortschuldig"

Das Ergebnis war überraschend und etwas enttäuschend: Die KI war ziemlich schlecht darin.

Man kann sich das wie einen Schüler vorstellen, der eine Prüfung macht, bei der er rote und blaue Kugeln sortieren soll.

• Die KI: Sie sortiert fast alles durcheinander. Sie hält oft Wörter für „fremd", die eigentlich schon fest im Land angekommen sind (wie „Frühstück" oder „Kaffee", die eigentlich auch Lehnwörter sind, aber so integriert sind, dass wir sie gar nicht mehr als solche sehen).
• Das Problem: Die KI schaut nur auf die Oberfläche. Wenn ein Wort wie ein englischer Name aussieht, denkt die KI: „Das ist sicher fremd!". Dabei ist es vielleicht schon seit 200 Jahren Teil der Sprache.

Ein besonders lustiges Beispiel aus dem Papier:
Die KI dachte bei dem englischen Wort „really" in einem kurdischen Satz, es sei ein Lehnwort. Aber eigentlich war es nur ein Moment, in dem der Sprecher kurz auf Englisch umschaltete (Code-Switching). Die KI verwechselte also einen „kurzen Besuch" mit einem „eingebürgerten Einwanderer".

Warum ist das ein Problem?

Stell dir vor, eine Sprache ist wie ein altes, gemütliches Haus.

• Einheimische Wörter sind die alten Möbel, die schon seit Generationen da sind.
• Lehnwörter sind neue Möbel, die man von Nachbarn übernommen hat.

Wenn eine Sprache unter Druck steht (weil eine mächtige Sprache wie Englisch alles überflutet), verlieren die einheimischen Wörter oft den Boden unter den Füßen. Die KI hilft uns normalerweise, Texte zu verstehen. Aber wenn die KI nicht weiß, was „echt" und was „geliehen" ist, kann sie nicht helfen, die einheimischen Wörter zu schützen. Sie bevorzugt oft die „cooleren", eingekauften Wörter, weil sie in ihren Trainingsdaten öfter vorkommen.

Die Lösung? Ein bisschen Nachhilfe hilft

Die Forscher haben dann versucht, den KI-Modellen Nachhilfe zu geben (das nennt man „Fine-Tuning"). Sie haben ihnen spezielle Beispiele gezeigt, wie man Lehnwörter erkennt.

• Ohne Nachhilfe: Die KI lag bei ca. 20–40 % richtig.
• Mit Nachhilfe: Die KI wurde viel besser (bis zu 85 % richtig).

Aber selbst mit Nachhilfe war sie nicht perfekt. Sie hatte immer noch Schwierigkeiten mit:

• Namen von Firmen oder Ländern (die sie fälschlicherweise als Lehnwörter abtat).
• Wissenschaftlichen Begriffen (die oft lateinisch oder griechisch klingen, aber in der Sprache fest verankert sind).

Fazit: Die KI ist noch kein Sprachpolizist

Die Studie zeigt uns, dass moderne Sprach-KIs zwar super im Übersetzen und Schreiben sind, aber sie verstehen die Geschichte und die kulturelle Einbettung von Wörtern noch nicht wirklich. Sie sind „lehnwort-blind".

Sie sehen nur, wie ein Wort aussieht, nicht, wie es sich in der Sprache anfühlt. Damit wir KI-Tools entwickeln können, die kleine Sprachen schützen und fördern, müssen wir ihnen beibringen, nicht nur auf die Buchstaben zu schauen, sondern auch auf die Geschichte hinter dem Wort.

Kurz gesagt: Die KI ist wie ein Tourist, der alle Wörter kennt, aber nicht weiß, welche davon schon seit Jahrhunderten zu Hause sind und welche nur auf Urlaub sind.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Fähigkeit von vortrainierten Sprachmodellen (PLMs) und Large Language Models (LLMs), Lehnwörter (Loanwords) von einheimischem Wortschatz zu unterscheiden.

• Hintergrund: Lexikalisches Entleihen ist ein universelles Phänomen, das in zweisprachigen Gemeinschaften oft von dominanten zu Minderheitensprachen fließt und Sprachwandel sowie den Verlust einheimischen Wortschatzes beschleunigen kann.
• Die Lücke: Während die linguistische Forschung das Entleihen intensiv untersucht, fehlt es in der NLP-Forschung an systemischen Evaluierungen. Bisherige Studien konzentrierten sich oft auf spezifische Sprachpaare (z. B. Anglizismen) oder nutzten einfache Wortlisten.
• Kernfrage: Können moderne NLP-Systeme, die in Generierungs- und Verstehensaufgaben eine systematische Präferenz für Lehnwörter zeigen (wie im vorherigen ConLoan-Projekt gezeigt), diese explizit identifizieren, wenn sie dazu angewiesen werden?

2. Methodik

Die Autoren evaluieren die Leistung verschiedener Modelle unter Verwendung des ConLoan-Datensatzes (Ahmadi et al., 2025), der Sätze in 10 typologisch unterschiedlichen Sprachen (Chinesisch, Französisch, Deutsch, Griechisch, Isländisch, Italienisch, Nordkurdisch, Portugiesisch, Russisch, Spanisch) mit Annotationen für Lehnwort-Spans enthält.

Die Evaluation erfolgt in zwei Hauptansätzen:

A. Prompting von Large Language Models (LLMs)

Drei Modelle wurden getestet: Gemini-2.5-Flash-Lite, GPT-4.1 (OpenAI) und Meta-Llama-3-8B-Instruct.

• Settings: Zero-Shot und Few-Shot (mit zwei Beispielen pro Sprache).
• Prompt-Varianten: Es wurden drei Prompts mit zunehmender Granularität getestet:
  1. Minimal: Nur die Anweisung, Lehnwörter zu finden.
  2. Etymologisch: Definition basierend auf historischem Entleihen (Haspelmath & Tadmor, 2009).
  3. Usage-based: Fokus auf konventionelle Nutzung durch einsprachige Sprecher (Unterscheidung von Code-Switching).
• Ausgabe: Die Modelle sollten die Lehnwörter als Python-Listen von Strings zurückgeben.

B. Feinabstimmung (Fine-Tuning) multilingualer Encoder

Vier vortrainierte Encoder-Modelle wurden evaluiert: mBERT, XLM-RoBERTa (Base und Large) und ELECTRA (Multilingual).

• Aufgabe: Sequence Labeling (Token-Klassifikation) mit dem BIO-Schema (B-LOAN, I-LOAN, O).
• Settings:
  • Zero-Shot: Gefrorene Modelle ohne spezifisches Training.
  • Fine-Tuned: Training auf einem 80/20-Train/Test-Split des ConLoan-Datensatzes mit einem Token-Klassifikations-Kopf.

C. Metriken

Die Bewertung erfolgte mittels Precision, Recall und F1-Score auf Ebene der Entitäts-Spans (verwendet seqeval).

• Strict: Exakte Übereinstimmung der Spans.
• Relaxed: Multi-Wort-Lehnwörter werden in ihre Token zerlegt, um Segmentierungsfehler der LLMs zu kompensieren.

3. Wichtige Ergebnisse

LLM-Leistung (Prompting)

• Generelle Schwäche: LLMs schneiden in dieser Aufgabe schlecht ab. Alle F1-Scores liegen unter 0,70.
• Bestes Modell: Gemini erreichte den höchsten Durchschnittswert (0,466), gefolgt von OpenAI (0,410) und Llama (0,231).
• Einfluss der Prompts: Die Hinzufügung von Few-Shot-Beispielen hatte gemischte Effekte. Während es bei einigen Prompts die Recall-Werte leicht erhöhte, führte Prompt 3 (Usage-based) bei einigen Modellen zu einem Leistungsabfall.
• Anomalie bei Llama: Unter bestimmten Few-Shot-Bedingungen brach die Leistung von Llama fast auf Null ein, da das Modell die Formatierungsvorgaben (Listen-Output) ignorierte und freitextartige Antworten lieferte.
• Sprachabhängigkeit: Sprachen wie Chinesisch, Französisch und Italienisch wurden besser erkannt als Deutsch, Isländisch und Portugiesisch (vermutlich aufgrund komplexerer Morphologie und stärkerer Integration von Lehnwörtern).

Encoder-Leistung (Fine-Tuning)

• Zero-Shot vs. Fine-Tuning: Untrainierte Encoder-Modelle performten extrem schlecht (durchschnittlicher F1 < 0,02).
• Durchbruch durch Fine-Tuning: Das Fine-Tuning führte zu drastischen Verbesserungen. Die durchschnittlichen F1-Scores stiegen auf 0,65 bis 0,85.
• Bestes Modell: XLM-RoBERTa-Large erreichte mit 0,8513 den höchsten F1-Score.
• Sprachspezifische Ergebnisse: Romantische Sprachen (Französisch, Italienisch, Spanisch, Portugiesisch) erreichten konsistent Werte ≥ 0,8. Auch für Sprachen mit sehr niedriger Zero-Shot-Leistung (z. B. Nordkurdisch, Isländisch) stieg die Leistung durch Fine-Tuning signifikant an (von ~0 auf >0,7).

4. Fehleranalyse (Qualitative Analyse)

Die Autoren identifizierten systematische Fehlerquellen, die auch nach dem Fine-Tuning bestehen blieben:

1. Code-Switching vs. Lehnwörter: Modelle verwechseln oft Code-Switching (z. B. das englische Wort "really" im Kurdischen) mit integrierten Lehnwörtern. Umgekehrt klassifizierten Modelle etablierte Lehnwörter (z. B. "deal" im Französischen) fälschlicherweise als Code-Switching, wenn sie nach dem Usage-based-Prompt gefragt wurden.
2. Named Entities (Eigennamen): Eigennamen, Akronyme (z. B. NASA, PISA) und Proper Nouns wurden häufig fälschlicherweise als Lehnwörter markiert, da sie orthografisch fremd wirken.
3. Wissenschaftliche/Technische Begriffe:
   • Fine-Tuned-Modelle: Neigten dazu, etablierte wissenschaftliche Begriffe (z. B. griechisch-lateinische Wurzeln wie "Nitrates") als einheimisch zu übersehen, da sie morphologisch integriert sind.
   • LLMs: Neigten zur Übererkennung (Over-detection) rein aufgrund etymologischer Hinweise, ohne den aktuellen linguistischen Status zu berücksichtigen.

5. Bedeutung und Beiträge

• Hauptbeitrag: Die Studie liefert den ersten umfassenden multilingualen Beweis, dass aktuelle LLMs und PLMs trotz expliziter Anweisungen und Kontextinformationen nicht in der Lage sind, Lehnwörter zuverlässig von einheimischem Wortschatz zu unterscheiden. Sie sind im Wesentlichen "borrowing-blind".
• Implikationen für NLP:
  • Die Entwicklung von NLP-Tools für Minderheitensprachen und Sprachbewahrung ist gefährdet, da Modelle systematisch Lehnwörter bevorzugen und einheimische Alternativen ignorieren.
  • Das reine Fine-Tuning verbessert die Leistung zwar signifikant, löst das Problem aber nicht vollständig, da Modelle immer noch zu stark auf orthografische und etymologische Oberflächenmerkmale angewiesen sind und pragmatische sowie soziolinguistische Integrationsaspekte nicht erfassen.
• Zukunftsaussichten: Die Autoren fordern feinere Evaluierungsaufgaben, die den Integrationsstatus von Lehnwörtern auf einem Kontinuum betrachten, sowie Modelle, die kontextuelle und sprecherintentionale Faktoren besser berücksichtigen.

Fazit: Die Identifikation von Lehnwörtern ist für aktuelle KI-Modelle eine hochkomplexe Aufgabe, die über die reine Mustererkennung hinausgeht und ein tiefes Verständnis von Sprachkontakt, Sprachgeschichte und soziolinguistischer Integration erfordert, das in den aktuellen Architekturen noch fehlt.