💬 NLP

What Makes Words Hard? Sakura at BEA 2026 Shared Task on Vocabulary Difficulty Prediction

Dieser Artikel stellt zwei Modelle zur Vorhersage des Schwierigkeitsgrades von Wortschatz vor, die für die BEA 2026 Sakura Shared Task entwickelt wurden: ein hochpräzises Black-Box-LLM, das Spitzenresultate erzielte, und ein erklärbares Modell, das Einblicke in Faktoren wie Rechtschreibung und Testkonstruktion bietet und dabei Basis-Encoder übertrifft.

Ursprüngliche Autoren: Adam Nohejl, Xuanxin Wu, Yusuke Ide, Maria Angelica Riera Machin, Yi-Ning Chang, Hitomi Yanaka

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Adam Nohejl, Xuanxin Wu, Yusuke Ide, Maria Angelica Riera Machin, Yi-Ning Chang, Hitomi Yanaka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die herausfinden möchte, welche englischen Wörter für Ihre Schüler am schwierigsten zu schreiben und korrekt zu verwenden sind. Sie haben eine riesige Liste von Wörtern, und für jedes einzelne wissen Sie genau, wie viele Schüler es in einem Test richtig oder falsch hatten. Ihr Ziel ist es, ein Computerprogramm zu erstellen, das ein Wort betrachten und dessen „Schwierigkeitswert" vorhersagen kann, noch bevor Sie es einem Schüler geben.

Dieser Artikel handelt von zwei verschiedenen Teams (oder Ansätzen), die versuchten, den bestmöglichen „Schwierigkeitsvorhersager" für einen Wettbewerb namens BEA 2026 Shared Task zu entwickeln. Hier ist erklärt, wie sie es taten, einfach dargestellt.

Die zwei Hauptansätze

Die Autoren versuchten zwei sehr unterschiedliche Strategien, wie ein Meisterkoch, der zwei verschiedene Rezepte verwendet.

1. Der „Black-Box"-Koch (Das hochpräzise Modell)

Dieser Ansatz ist wie die Anstellung eines superklugen, mysteriösen Kochs, der ein Gericht probieren und sofort genau wissen kann, wie salzig es ist, aber Sie können nicht fragen, warum er das denkt.

Funktionsweise: Sie nahmen ein massives, vortrainiertes KI-Modell (ein Large Language Model oder LLM) und brachten ihm bei, Schwierigkeitswerte vorherzusagen.
Die geheime Zutat: Normalerweise, wenn man einer KI beibringt, eine Zahl zu raten (wie 3,5), zwingt man sie, eine ganze Zahl zu wählen (wie 3 oder 4), und bestraft sie dafür, wenn sie falsch liegt. Die Autoren fanden einen besseren Weg: Sie brachten der KI bei, in „Wahrscheinlichkeiten" zu denken. Anstatt zu sagen „Es ist eine 3", lernte die KI zu sagen: „Es ist zu 60 % wahrscheinlich eine 3 und zu 40 % wahrscheinlich eine 4." Dies nennt man die Verwendung von weichen Zielen (soft targets).
Das Ergebnis: Diese Methode war unglaublich genau. Sie gewann den „Open Track" des Wettbewerbs (wo man beliebige Werkzeuge verwenden darf) und schlug fast alle anderen. Es ist das „klügste" Modell, aber es ist ein wenig rätselhaft, da es schwer zu erkennen ist, welche spezifische Regel es genau für seine Entscheidung verwendet hat.

2. Der „erklärbare" Detektiv (Das transparente Modell)

Dieser Ansatz ist wie die Anstellung eines Detektivs, der den Fall löst, aber jeden einzelnen Hinweis aufschreibt, den er verwendet hat. Sie wissen genau, warum er denkt, dass ein Wort schwer ist.

Funktionsweise: Anstatt die KI blind raten zu lassen, gaben die Autoren dem Modell eine Checkliste mit spezifischen Merkmalen:
- Rechtschreibschwierigkeit: Wie schwer ist es zu schreiben?
- Häufigkeit: Wie oft schreiben Lernende dieses Wort tatsächlich?
- Ähnlichkeit: Sieht das Wort dem Muttersprachwort des Schülers ähnlich (z. B. Spanisch oder Deutsch)?
- Verwirrung: Hat das Wort mehrere Bedeutungen, die den Schüler täuschen könnten?
Das Ergebnis: Dieses Modell war nicht ganz so genau wie der „Black-Box"-Koch, aber immer noch sehr gut. Noch wichtiger: Es sagte den Forschern, warum es seine Vermutungen anstellte. Es verwendete ein Werkzeug namens SHAP (das wie eine Lupe funktioniert), um zu zeigen, welche Hinweise am wichtigsten waren.

Was sie über „schwierige Wörter" entdeckten

Indem sie die Notizen des „Detektivs" betrachteten, fanden die Autoren einige überraschende Dinge heraus, was ein Wort in diesen Tests schwierig macht:

Rechtschreibung ist König: Für Sprecher von Spanisch und Deutsch war die größte Hürde nicht, die Bedeutung des Wortes zu kennen; es war, es korrekt zu schreiben. Wenn ein Wort lang ist oder seltsam aussieht, erhält es einen hohen Schwierigkeitswert.
Der „Trick"-Faktor: Manchmal ist der Test selbst trickreich. Die Autoren stellten fest, dass einige Testfragen so gestaltet waren, dass sie selbst die klügste KI verwirrten. Zum Beispiel könnte ein Test einen Hinweis geben, der auf ein Wort hindeutet, das fast passt, aber nicht ganz. Die Autoren nannten dies „Trickiness". Es ist nicht so, dass das englische Wort schwer ist; es ist so, dass das Rätsel schlecht gestaltet ist.
Muttersprache spielt eine Rolle:
- Für chinesische Sprecher war die Kenntnis des „CEFR-Niveaus" (ein Standardgrad für Englischkenntnisse) der wichtigste Hinweis.
- Für deutsche und spanische Sprecher war es ein riesiger Faktor, wie ähnlich das englische Wort ihrem Muttersprachwort aussieht.

Die große Erkenntnis

Der Artikel zeigt, dass man, um vorherzusagen, wie schwer ein Wort ist, zwei Dinge benötigt:

Rohleistung: Eine massive KI, die Muster aus Millionen von Beispielen lernen kann (der „Black Box").
Menschliche Einsicht: Das Verständnis, dass Schwierigkeit nicht nur vom Wort selbst abhängt; es geht auch darum, wie das Wort geschrieben wird und wie die Testfrage formuliert ist (der „Detektiv").

Die Autoren stellten ihren Code zur Verfügung, damit andere in Zukunft versuchen können, noch bessere „Schwierigkeitsvorhersager" zu bauen. Sie bewiesen, dass zwar eine „Black-Box"-KI am genauesten ist, aber das Verständnis der Hinweise des „Detektivs" uns hilft zu verstehen, warum Schüler mit bestimmten Wörtern kämpfen.

Technische Zusammenfassung: Was macht Wörter schwierig? (BEA 2026 Shared Task)

Problemdefinition

Der Beitrag adressiert die Aufgabe der Vorhersage des Vokabelschwierigkeitsgrades für Englischlernende, wobei spezifisch die Knowledge-based Vocabulary Lists (KVL) des British Council genutzt werden. Das Ziel ist die Vorhersage der Schwierigkeit englischer Wörter unter Angabe der Muttersprache (L1: Chinesisch, Deutsch oder Spanisch) der Lernenden. Im Gegensatz zur traditionellen lexikalischen Komplexitätsvorhersage (LCP), die sich auf das Leseverstehen konzentriert, fokussiert diese Aufgabe auf produktives Wissen: die Fähigkeit, ein englisches Wort mit korrekter Rechtschreibung zu schreiben, gegeben eine L1-Äquivalenz, einen L1-Kontext und einen Hinweis (erster Buchstabe und Wortlänge).

Die Schwierigkeitswerte werden aus einem Generalized Linear Mixed Model (GLMM) abgeleitet und repräsentieren die Log-Odds einer korrekten Antwort der Lernenden. Die Herausforderung besteht darin, diese kontinuierlichen Werte präzise vorherzusagen und gleichzeitig die Faktoren zu verstehen, die die Schwierigkeit antreiben, insbesondere da der Datensatz Testitems enthält, bei denen die Schwierigkeit durch Faktoren beeinflusst werden kann, die über die inhärente Schwierigkeit des Wortes selbst hinausgehen (z. B. Komplexität der Rechtschreibung oder Konstruktion des Testitems).

Methodik

Die Autoren schlagen zwei unterschiedliche Modellierungsansätze vor: ein hochpräzises „Black-Box"-Modell und ein erklärbares, feature-basiertes Modell.

1. Fine-Tuning mit Soft Targets (Black-Box-Modell)

Die Kerninnovation ist eine Technik zum Fine-Tuning von Large Language Models (LLMs) und Masked Language Models (MLMs) für die Vorhersage kontinuierlicher Werte unter Verwendung von Cross-Entropy-Verlust mit Soft Targets.

Standardansatz: Üblicherweise werden kontinuierliche Werte diskretisiert (z. B. auf ganze Zahlen gerundet) und als harte Targets für den Cross-Entropy-Verlust behandelt, oder Regressionsköpfe mit Mean Squared Error (MSE) werden verwendet. Die Autoren argumentieren, dass diese Methoden an Präzision verlieren oder für LLMs nicht Standard sind.
Vorgeschlagene Methode:
- Training: Das Modell wird aufgefordert, Werte auf einer diskreten Skala vorherzusagen (z. B. $S = \{1, 2, 3, 4, 5\}$ ). Anstatt Wahrscheinlichkeitsmasse auf ein einzelnes Target-Token zu legen, wird das kontinuierliche Target $y$ als gewichtete Summe seiner beiden nächsten ganzzahligen Punkte ( $a$ und $a+1$ ) mit Gewichtung durch die Wahrscheinlichkeit ausgedrückt. Die Verlustfunktion ist die Cross-Entropy zwischen der vom Modell vorhergesagten Verteilung und dieser Soft-Target-Verteilung.
- Inferenz: Das Modell gibt eine Token-Wahrscheinlichkeitsverteilung über die diskrete Skala aus. Die endgültige kontinuierliche Vorhersage $\hat{y}$ wird als gewichteter Mittelwert der Skalawerte berechnet.
Implementierung: Die Autoren haben verschiedene Modelle (GLM-4, Qwen2.5, Ministral-3, mmBERT, XLM-RoBERTa) unter Verwendung von 4-Bit-Quantisierung und QLoRA feinabgestimmt. Sie setzten lineare Stacking-Ensembles dieser Modelle ein, um die Leistung im Open Track zu maximieren.

2. Erklärbares Modell

Um die Faktoren zu interpretieren, die die Schwierigkeit beeinflussen, trainierten die Autoren einen XGBoost-Regressor unter Verwendung einer Reihe von handgefertigten und von LLM extrahierten Features.

Features:
- Produktions-/Rezeptionsfrequenz: Log-Frequenzen aus Lernerkorpora (Lang-8) und gesprochenen Korpora (TUBELEX, BNC).
- Lexikalische Eigenschaften: Wortlänge, CEFR-Niveau und L1-Ähnlichkeit (Levenshtein-Distanz).
- Von LLM extrahierte Features: Unter Verwendung von GPT-5.2 und DeepSeek-V3.2 zur Bewertung von Rechtschreibschwierigkeit, lexikalischer Mehrdeutigkeit (Polysemie/Homonymie im spezifischen Testkontext) und L1-Kalke-Status (morphem-für-morphem-Übersetzung). Diese Features wurden mittels der G-Scale-Methode (Temperierung + gewichteter Mittelwert der Wahrscheinlichkeit) in kontinuierliche Werte umgewandelt.
Analyse: Die Autoren verwendeten SHAP (SHapley Additive exPlanations), um den Einfluss jedes Features auf die Vorhersage zu quantifizieren.

3. Zusätzliche Features und „Trickiness"

Im Open Track führten die Autoren ein „Trickiness"-Feature ein. Sie forderten LLMs (GPT-4.1-mini/nano) auf, die Testitems zu lösen. Die Wahrscheinlichkeit einer falschen Antwort des LLM diente als Proxy für die „Trickiness" der Testitem-Konstruktion (z. B. irreführende L1-Kontexte oder Hinweise), die sich von der inhärenten Schwierigkeit des englischen Vokabulars unterscheidet.

Wichtige Ergebnisse

Leistung im Open Track

Das feinabgestimmte LLM-Ensemble (unter Verwendung von Soft Targets) erzielte die besten Ergebnisse im Open Track mit einem mittleren Root Mean Square Error (RMSE) von 0,710.
Die besten einzelnen Modelle (GLM-4-32B, Qwen2.5-32B, Ministral-3-14B) erzielten RMSE-Werte zwischen 0,751 und 0,753.
Das Hinzufügen externer Features (Frequenz, Trickiness) zu den feinabgestimmten LLMs brachte nur marginale Verbesserungen, was darauf hindeutet, dass die LLMs selbst das meiste Signal erfasst haben.
Die Ergebnisse näherten sich dem „Statistischen Optimum" (die theoretische Leistungsgrenze angesichts des Rauschens in den Goldstandard-Daten) an, welches ein RMSE von 0,277 war.

Leistung im Closed Track

Das erklärbare Modell (XGBoost mit von LLM extrahierten Features) erzielte einen mittleren RMSE von 1,067 und übertraf das offizielle Baseline-Modell (feinabgestimmtes XLM-RoBERTa, RMSE 1,218).
Das closed_max-Modell (Hinzufügen eines feinabgestimmten MLM als Feature zum erklärbaren Modell) erzielte das beste Closed-Track-Ergebnis mit einem RMSE von 0,921.
Die Autoren stellten fest, dass das „traditionelle" Feature-only-Modell (ohne von LLM extrahierte Features) mit dem Baseline-Modell gleichauf lag, während die Einbeziehung von LLM-basierten Features (Rechtschreibschwierigkeit, Mehrdeutigkeit) den signifikanten Schub lieferte.

Ablationsstudien

Soft Targets vs. Standard Loss: Der Ersatz der Soft-Target-Cross-Entropy durch standardisierte diskretisierte Cross-Entropy oder MSE-Regressionsköpfe führte zu signifikanten Leistungseinbußen (z. B. RMSE-Anstieg von 0,753 auf 0,832 für das LLM).
Modellgröße: Die Leistung verbesserte sich im Allgemeinen mit der Modellgröße bis zu 32 Milliarden Parametern. Bemerkenswerterweise schnitt das 14-Milliarden-Parameter-Modell Ministral-3 vergleichbar mit 32-Milliarden-Modellen ab und übertraf kleinere MLMs mit ähnlicher Parameterzahl.
Sprachspezifität: Das Training mit Daten einer einzelnen Sprache erzielte in den meisten Fällen Ergebnisse, die mit dem mehrsprachigen Training vergleichbar waren, wobei das mehrsprachige Training leicht überlegen war.

Analyse und Erkenntnisse

Die SHAP-Analyse enthüllte mehrere Schlüsselfaktoren für die Schwierigkeit im KVL-Datensatz:

Produktionsfrequenz: Das konsistenteste hochwirksame Feature über alle L1s hinweg, was mit dem Fokus der Aufgabe auf die schriftliche Produktion übereinstimmt.
Rechtschreibschwierigkeit: Das wichtigste Feature für deutsche Lernende und das zweitwichtigste für spanische Lernende. Es war für chinesische Lernende weniger kritisch, wahrscheinlich aufgrund des Fehlens orthografischer Interferenz durch chinesische Schriftzeichen.
Lexikalische Mehrdeutigkeit: Hohe Auswirkung, was darauf hindeutet, dass Testitems oft auf weniger gebräuchlichen Wortbedeutungen oder Homonymen basieren, was Lernende verwirrt.
Testitem-Konstruktion („Trickiness"): Die Analyse der „Trickiness" und lokaler SHAP-Erklärungen zeigte, dass Schwierigkeitswerte oft durch die spezifische Konstruktion des Testitems inflated werden (z. B. L1-Kontexte, die ein anderes englisches Wort nahelegen, oder mehrdeutige Hinweise) und nicht durch die inhärente Schwierigkeit des Wortes.

Bedeutung und Behauptungen

Der Beitrag beansprucht folgende Beiträge:

Methodische Neuheit: Er führt eine neuartige Technik zum Fine-Tuning von LLMs und MLMs zur Vorhersage kontinuierlicher Werte unter Verwendung von Cross-Entropy-Verlust mit Soft Targets ein und zeigt, dass dieser Ansatz für diese spezifische Aufgabe Standard-Diskretisierung oder Regressionskopf-Methoden übertrifft.
State-of-the-Art-Leistung: Die vorgeschlagenen Modelle erzielten die besten Ergebnisse in der BEA 2026 Shared Task, übertrafen vorherige Baselines und zeigten, dass LLMs Vokabelschwierigkeiten effektiv modellieren können, wenn sie mit der geeigneten Verlustfunktion trainiert werden.
Interpretierbarkeit: Das erklärbare Modell liefert empirische Belege dafür, dass Rechtschreibschwierigkeit und Testitem-Konstruktion (jenseits der reinen produktiven Schwierigkeit des Wortes) signifikante Faktoren im KVL-Datensatz sind. Dies legt nahe, dass die Schwierigkeitswerte des Datensatzes die spezifischen Einschränkungen des Testformats (produktive Rechtschreibung) ebenso widerspiegeln könnten wie die lexikalische Komplexität selbst.
Limitationen: Die Autoren vermerken bescheiden, dass die Soft-Target-Methode nur an diesem spezifischen Datensatz getestet wurde und ihre Anwendbarkeit auf andere Aufgaben oder verrauschtere Daten noch nicht untersucht ist. Sie erkennen zudem an, dass die „Trickiness"-Erkenntnisse ohne Zugang zu individuellen Lernenantworten, die nicht öffentlich sind, nicht empirisch validiert werden können.