Who Benchmarks the Benchmarks? A Case Study of LLM Evaluation in Icelandic

Diese Studie kritisiert die derzeitige Evaluierung von Large Language Models für Isländisch, da nicht verifizierte synthetische oder maschinell übersetzte Testdaten schwerwiegende Fehler aufweisen, und fordert für Sprachen mit geringen bis mittleren Ressourcen rigorosere, menschlich überprüfte Bewertungsmethoden.

Das Wesentliche

🧐 Die Geschichte vom „Irischen Sprach-Test"

Stellen Sie sich vor, Sie wollen herausfinden, wie gut ein neuer, super-intelligenter Roboter (ein sogenanntes KI-Modell) die isländische Sprache beherrscht. Dazu braucht man einen Test, einen sogenannten Benchmark.

Das Problem: Isländisch ist eine „kleine" Sprache. Es gibt nicht so viele Bücher, Zeitungen oder Texte davon wie für Englisch. Deshalb haben die Ersteller der Tests oft keine Zeit oder kein Geld, um alles selbst zu schreiben.

Was tun sie dann?
Sie nehmen einen perfekten Test auf Englisch und lassen ihn von einer Übersetzungs-KI (wie Google Translate oder einer modernen KI) ins Isländische übersetzen. Oder sie lassen die KI einfach neue Fragen erfinden.

Das ist wie beim Kochen:
Stellen Sie sich vor, Sie wollen ein Gericht für Isländer kochen. Aber Sie können nicht kochen und sprechen kein Isländisch. Also nehmen Sie ein Rezept aus einem englischen Kochbuch und lassen es von einem Roboter übersetzen.

• Das Ergebnis? Der Roboter übersetzt „Butter" vielleicht korrekt, aber bei speziellen isländischen Zutaten oder kulturellen Begriffen macht er Fehler. Vielleicht steht da plötzlich „Truthahn" (das Tier) statt „Tyrkland" (das Land), oder ein berühmter isländischer Philosoph wird zu einem völlig fremden Namen.

🔍 Was haben die Forscher in diesem Papier gemacht?

Die Autoren (ein Team aus Isländern und einem Schweizer) haben sich angesehen, welche Tests aktuell für Isländisch verwendet werden, um KI zu bewerten. Sie haben sich gefragt: „Wer hat eigentlich diese Tests erstellt? Und haben sie sie überprüft?"

Sie haben eine Art „Qualitätskontrolle" durchgeführt. Sie haben sich zufällige Fragen aus diesen Tests herausgepickt und von muttersprachlichen Isländern prüfen lassen.

Das Ergebnis war erschreckend:

1. Die „Roboter-Übersetzungen" sind voller Fehler:
   Viele Tests, die automatisch übersetzt wurden, enthalten Fragen, die keinen Sinn ergeben, falsche Fakten haben oder grammatikalisch falsch sind.

   • Beispiel: Ein Test fragte nach einem Paar, das einen Sohn namens „Sigurjón" hatte. Aber der Name stand gar nicht im Text, und die Antwort war völlig falsch.
   • Beispiel: In einem anderen Test wurde ein wissenschaftlicher Begriff falsch übersetzt, sodass die Frage für einen Isländer unsinnig war.

2. Die „Menschlichen" Tests sind besser:
   Die Tests, die von echten Isländern geschrieben oder von Menschen sorgfältig geprüft und korrigiert wurden, waren fast fehlerfrei.

3. Das große Missverständnis:
   Wenn eine KI auf diesen fehlerhaften Tests „gut" abschneidet, heißt das nicht, dass sie Isländisch kann. Sie hat vielleicht nur gelernt, die Fehler des Tests zu erkennen oder zufällig die richtige Antwort zu raten, weil die Frage so schlecht gestellt war. Es ist wie bei einem Schüler, der eine Mathe-Arbeit schreibt, bei der die Aufgaben falsch sind. Wenn er die falsche Antwort gibt, weil die Aufgabe falsch war, ist das keine gute Leistung.

🚨 Warum ist das ein Problem?

Stellen Sie sich vor, Sie bauen ein Auto und testen es auf einer Rennstrecke, die voller Löcher und falscher Schilder ist.

• Wenn das Auto über die Löcher stolpert, sagen Sie: „Das Auto ist schlecht!"
• Aber vielleicht ist das Auto gut, nur die Strecke war kaputt.

Wenn wir KI-Modelle mit solchen fehlerhaften Tests bewerten, passieren zwei Dinge:

1. Wir denken, die KI ist besser (oder schlechter), als sie wirklich ist.
2. Noch schlimmer: Die KI lernt aus diesen Tests. Wenn wir KI-Modelle mit fehlerhaften Daten trainieren, werden sie diese Fehler lernen und in der Zukunft noch mehr Unsinn produzieren. Das nennt man einen „Teufelskreis".

💡 Die wichtigsten Lehren (in einfachen Worten)

Die Autoren geben drei wichtige Ratschläge für die Zukunft, besonders für kleine Sprachen wie Isländisch:

1. Keine blinden Übersetzungen: Übersetzen Sie Tests nicht einfach per Knopfdruck von Englisch auf eine andere Sprache. Das funktioniert nicht gut.
2. Menschen müssen mitreden: Muttersprachler müssen die Tests schreiben oder zumindest prüfen. Ein KI-Test ohne menschliche Kontrolle ist wie ein Haus ohne Fundament.
3. Qualität vor Quantität: Es ist besser, einen kleinen, perfekten Test zu haben, als einen riesigen Haufen von Tests, die voller Fehler stecken.

🎯 Fazit

Die Überschrift des Papers fragt: „Wer prüft die Prüfer?"
Die Antwort lautet: Niemand.

Bisher haben sich viele darauf verlassen, dass KI-Tests automatisch funktionieren. Dieses Papier zeigt: Das ist gefährlich. Bevor wir KI bewerten, müssen wir sicherstellen, dass unsere Tests selbst korrekt sind. Sonst bewerten wir nicht die Intelligenz der KI, sondern nur die Qualität unserer schlechten Übersetzungen.

Kurz gesagt: Man kann nicht messen, wie gut jemand Isländisch spricht, wenn man ihm eine Frage stellt, die in Isländisch gar keinen Sinn ergibt. Und das passiert aktuell viel zu oft.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein kritisches Problem im Bereich des Natural Language Processing (NLP): Die Qualität und Validität von Benchmarks für Low- und Medium-Resource-Sprachen (wie Isländisch).

• Herausforderung: Da die Erstellung von manuell erstellten Benchmarks zeit- und kostenintensiv ist, greifen Forscher zunehmend auf automatisierte Methoden zurück, wie z. B. die Maschinelle Übersetzung (MT) bestehender englischer Benchmarks oder die Generierung synthetischer Daten mittels Large Language Models (LLMs).
• Kernproblem: Diese automatisierten Methoden führen oft zu Benchmarks mit schwerwiegenden Fehlern (faktisch falsch, grammatikalisch fehlerhaft, kulturell unpassend oder durch „Translationese" verzerrt).
• Folge: Solche fehlerhaften Benchmarks verzerren die Evaluierungsergebnisse, führen zu einer Überschätzung der Fähigkeiten von LLMs in der Zielsprache und untergraben die Konstruktvalidität (misst der Test wirklich das, was er messen soll?). Besonders kritisch ist dies, wenn die Daten nicht von Muttersprachlern verifiziert wurden.

2. Methodik

Die Autoren führen eine quantitative Fehleranalyse an bestehenden Benchmarks für die isländische Sprache durch, um die Qualität zu bewerten.

• Datensatz: Es wurden 12 verschiedene Benchmarks analysiert, die auf aktuellen Leaderboards für Isländisch (Miðeind und EuroEval) verwendet werden. Dazu gehören Datensätze wie ARC-Challenge, HellaSwag, Belebele, WinoGrande, MMLU und verschiedene QA-Datensätze.
• Klassifizierung der Daten: Die Benchmarks wurden kategorisiert in:
  • Menschlich verfasst/lokalisiert (z. B. WinoGrande-IS).
  • Maschinell übersetzt (z. B. HellaSwag-IS, MMLU-IS).
  • Synthetisch generiert durch LLMs (z. B. MultiWikiQA-IS).
• Annotation: Drei Autoren mit Hintergrund in isländischer Linguistik und NLP annotierten zufällige Teilmengen der Datensätze (jeweils 250 Beispiele oder 10 % der Gesamtmenge).
• Labeling-Schema: Jedes Beispiel wurde in eine von drei Kategorien eingeteilt:
  • IC (Incorrect/Severely Flawed): Falsche Antwort, schwerwiegende Fehler, offensichtlich schlechte MT.
  • F (Flawed): Fehler vorhanden (Rechtschreibung, Grammatik, Vokabular), aber nicht zwingend diskreditierend für den Test.
  • OK (Valid): Korrektes, valides Beispiel.
• Statistik: Berechnung der Inter-Rater-Reliability (IRR) mittels Krippendorffs Alpha, um die Zuverlässigkeit der Annotationen zu messen.

3. Wichtige Beiträge

• Quantitative Evidenz: Das Paper liefert die erste quantitative Analyse, die einen klaren, messbaren Unterschied zwischen menschlich erstellten/verifizierten Benchmarks und maschinell übersetzten/synthetischen Benchmarks aufzeigt.
• Kritik an „Unverified MT": Es wird nachgewiesen, dass Benchmarks, die ohne menschliche Überprüfung maschinell übersetzt wurden, oft unbrauchbar sind (z. B. HellaSwag-IS hatte 0 % valide Beispiele).
• Kulturelle und linguistische Validität: Das Paper zeigt auf, dass direkte Übersetzungen kulturell spezifischer Inhalte (z. B. US-Schulfragen im ARC-Challenge) oft keinen Sinn ergeben oder fachlich falsch übersetzt werden (z. B. falsche biologische Begriffe).
• Warnung vor synthetischen Daten: Die Generierung von Daten durch LLMs (ohne menschliche Validierung) wird als äquivalent zu schlechter maschineller Übersetzung eingestuft, da sie Halluzinationen und linguistische Verzerrungen einführt.

4. Ergebnisse

Die Analyse ergab deutliche Diskrepanzen in der Datenqualität:

• Maschinell übersetzte/synthetische Benchmarks (Schlechte Qualität):
  • HellaSwag-IS: 0 % valide Beispiele (alle als schwerwiegend fehlerhaft eingestuft).
  • MMLU-IS: Weniger als 10 % valide Beispiele.
  • ARC-Challenge-IS (EuroEval-Version): Nur 20 % valide Beispiele; 37 % schwerwiegend fehlerhaft.
  • MultiWikiQA-IS: Weniger als 50 % valide Beispiele.
  • Belebele-IS: Überraschend niedrige Validität; Beispiele zeigen, dass Übersetzer offenbar MT-Dienste nutzten (z. B. falsche Übersetzung von „Turkey" als Tier statt als Land).
• Menschlich verifizierte/lokalisierte Benchmarks (Bessere Qualität):
  • WinoGrande-IS: Keine schwerwiegend fehlerhaften Beispiele in der Stichprobe.
  • ARC-Challenge-IS (Miðeind-Version): 55 % valide Beispiele, deutlich besser als die EuroEval-Version (da hier mehr Lokalisierung stattfand, obwohl immer noch Fehler vorhanden waren).
  • IcelandicQA: Bessere Qualität, da die LLM-generierten Paare manuell überprüft und korrigiert wurden.
• Spezifische Fehlerarten:
  • Faktische Fehler: Fragen und Antworten passen nicht zusammen (z. B. Kontext über Kim Jong-Un, Frage über Bolivien).
  • Linguistische Fehler: Falsche Fachbegriffe (z. B. „tvíflagella" statt korrektem isländischen Wort).
  • Kulturelle Inkompatibilität: US-spezifische Fragen (z. B. über Nevada) sind im isländischen Kontext irrelevant.
  • Halluzinationen: Bei Gender-Bias-Tests wurden nicht existierende weibliche Formen von Berufsbezeichnungen erfunden.

5. Bedeutung und Schlussfolgerungen

Das Paper hat weitreichende Implikationen für die NLP-Community, insbesondere für Low-Resource-Sprachen:

• Gefahr der Verzerrung: Die Verwendung unüberprüfter, maschinell übersetzter Benchmarks führt zu einer systematischen Überschätzung der Modellfähigkeiten. Modelle optimieren sich auf Artefakte der Übersetzung statt auf echte Sprachkompetenz.
• Notwendigkeit von Muttersprachlern: Die Autoren betonen, dass die Einbindung von Muttersprachlern und die Verwendung von native-authored Daten unverzichtbar sind.
• Empfehlungen für die Praxis:
  1. Vermeidung von rein maschinell übersetzten Benchmarks ohne menschliche Validierung.
  2. LLMs sollten nicht zur Generierung von Testdaten verwendet werden, es sei denn, diese werden streng von Experten überprüft.
  3. Benchmarks müssen kulturell und linguistisch lokalisiert sein, nicht nur übersetzt.
  4. Es braucht einen „Benchmark-Validation-First"-Ansatz, bei dem die Validität des Tests vor der Evaluierung des Modells sichergestellt wird.

Fazit: Die Frage „Wer bewertet die Benchmarks?" wird mit „Die Ersteller" beantwortet. Die Verantwortung liegt bei den Entwicklern, kontinuierlich die Qualität ihrer Evaluierungsmetriken zu prüfen, anstatt sich blind auf automatisierte Pipelines zu verlassen. Ohne diese Sorgfalt drohen Benchmarks für Sprachen wie Isländisch wertlos oder sogar schädlich für die Modellentwicklung zu werden.