💬 NLP

Entropy of Ukrainian

Dieser Beitrag stellt die erste Studie vor, die die Entropie der ukrainischen Sprache schätzt, indem er Claude Shannons Experiment zur Zeichenprädiktion aus dem Jahr 1951 mit 184 Freiwilligen repliziert, wodurch eine Obergrenze von etwa 1,201 Bits pro Zeichen ermittelt und dieses Ergebnis mit aktuellen Large Language Models verglichen wird.

Ursprüngliche Autoren: Anton Lavreniuk, Mykyta Mudryi, Markiian Chaklosh

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anton Lavreniuk, Mykyta Mudryi, Markiian Chaklosh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen mit einem Freund das Spiel „Errate den nächsten Buchstaben". Sie zeigen ihm einen Satz, der mitten drin abgeschnitten ist, wie zum Beispiel: „Die Katze saß auf dem..."

Ihr Freund muss den nächsten Buchstaben erraten.

Wenn er „m" (für Matte) rät, liegt er richtig. Das war einfach.
Wenn er „z" rät, liegt er falsch. Er muss erneut raten.
Wenn er „p" (für Kissen) rät, liegt er richtig.

Dieses Spiel misst etwas, das Entropie genannt wird. In der Welt der Sprache geht es bei Entropie nicht um Wärme oder Unordnung; es ist ein Maß für Überraschung.

Hohe Entropie: Der nächste Buchstabe ist eine totale Überraschung. Sie müssen viele Male raten, bevor Sie richtig liegen. Die Sprache wirkt chaotisch und unvorhersehbar.
Niedrige Entropie: Der nächste Buchstabe ist offensichtlich. Sie erraten ihn sofort. Die Sprache wirkt vorhersehbar und repetitiv.

Das Experiment: Ukrainisch erraten

Seit Jahrzehnten spielen Wissenschaftler dieses Ratespiel mit dem Englischen. 1951 bat ein Mann namens Claude Shannon Menschen, den nächsten Buchstaben in englischen Sätzen zu erraten. Er stellte fest, dass Englisch ziemlich vorhersehbar ist; man benötigt im Durchschnitt nur etwa 1,2 Versuche, um den nächsten Buchstaben richtig zu erraten.

Aber bis jetzt hatte noch niemand dieses Spiel mit Ukrainisch gespielt.

Drei Forscher aus der Ukraine (Anton, Mykyta und Markiian) beschlossen, dieses Experiment erstmals durchzuführen. So haben sie es getan, in einfachen Worten übersetzt:

1. Die Spieler (Die Freiwilligen)

Anstatt professionelle Arbeitskräfte zu engagieren, baten sie normale Menschen in sozialen Medien (hauptsächlich auf Telegram), mitzuspielen.

Das Setup: Sie gaben den Freiwilligen Sätze aus Nachrichtenartikeln.
Der Twist: Um das Interesse der Leute zu wecken, begannen sie nicht ganz am Anfang des Satzes. Sie zeigten die ersten 70 Zeichen (etwa die Länge eines kurzen Satzes) und fragten: „Was kommt als Nächstes?"
Das Spiel: Der Freiwillige tippt einen Buchstaben ein. Wenn er falsch ist, wird er rot markiert, und er versucht es erneut. Wenn er richtig ist, geht es zum nächsten Buchstaben weiter.
Das Ziel: Sie wollten herausfinden, wie viele „falsche Versuche" nötig waren, bevor die Leute den richtigen Buchstaben erraten.

2. Die Ergebnisse: Wie vorhersehbar ist Ukrainisch?

Nachdem sie Daten von 184 Freiwilligen gesammelt hatten, die über 17.000 Versuche unternahmen, werteten die Forscher die Zahlen aus.

Die Punktzahl: Sie stellten fest, dass das „Überraschungsniveau" (Entropie) des Ukrainischen ungefähr 1,201 Bits pro Zeichen beträgt.
Was bedeutet das? Es bedeutet, dass das Ukrainische in Bezug auf die Vorhersehbarkeit dem Englischen extrem ähnlich ist. Genau wie beim Englischen ist der nächste Buchstabe im Ukrainischen, wenn man die vorherigen Buchstaben kennt, meist ziemlich offensichtlich.
Redundanz: Da die Sprache so vorhersehbar ist, sind etwa 76 % der Buchstaben in einem ukrainischen Satz „redundant". Man könnte tatsächlich einen riesigen Teil des Textes entfernen, und ein Muttersprachler könnte die fehlenden Teile trotzdem perfekt erraten.

3. Das „Betrugs"-Problem

Die Forscher mussten vorsichtig sein. Da es sich um ein Online-Spiel handelte, könnten einige Personen:

Den vollständigen Satz online nachgeschlagen haben.
Zufällig geraten und Glück gehabt haben.
Das Interesse verloren und mitten im Spiel aufgehört haben.

Um dies zu beheben, agierten sie wie ein strenger Schiedsrichter. Sie verwarfen die Ergebnisse derjenigen, die schlecht spielten (die vielleicht nicht wirklich versuchten) und derjenigen, die zu perfekt spielten (die vielleicht betrogen hatten). Selbst nachdem sie sehr streng waren und viele Daten aussortierten, blieb das Ergebnis bei etwa 1,20.

4. Der KI-Vergleich: Menschen vs. Roboter

Die Forscher baten auch moderne KI-Modelle (Large Language Models), dasselbe Spiel zu spielen.

Der KI-Vorteil: Die KI-Modelle waren viel besser als die Menschen. Einige der besten KI-Modelle konnten den nächsten Buchstaben mit einer Punktzahl von ungefähr 0,7 erraten.
Der Haken: Die Forscher warnen davor, dass die KI auf eine andere Art „betrügen" könnte. Da die KI mit riesigen Mengen an Nachrichtendaten trainiert wurde (ähnlich den im Spiel verwendeten Sätzen), könnte sie die spezifischen Sätze auswendig gelernt haben, anstatt die Sprache wirklich zu verstehen. Es ist wie ein Schüler, der den Lösungsschlüssel auswendig gelernt hat, statt die Mathematik zu lernen.
Die Schlussfolgerung: Die KI ist sehr gut, aber da sie so nah an der „perfekten" Punktzahl liegt, ist es schwer zu sagen, ob sie das Ukrainische wirklich versteht oder nur an die spezifischen verwendeten Nachrichtenartikel überangepasst ist.

Die große Erkenntnis

Dieser Artikel ist das erste Mal, dass wir eine solide Zahl dafür haben, wie vorhersehbar Ukrainisch ist.

Ukrainisch ist nicht chaotisch. Es ist hochgradig strukturiert und vorhersehbar, genau wie Englisch.
Menschen sind gut darin. Normale Menschen können den nächsten Buchstaben mit etwa 1,2 Versuchen erraten.
KI ist besser, aber vielleicht zu gut. KI-Modelle können noch schneller raten, aber wir müssen vorsichtig sein, „Auswendiglernen" nicht mit „Intelligenz" zu verwechseln.

Die Forscher geben zu, dass ihre Studie nicht perfekt war (sie hatten nicht genug Spieler, und die Sätze stammten alle aus Nachrichtenartikeln), aber sie bietet uns einen viel besseren Ausgangspunkt als zuvor. Sie haben sogar ihren Code und ihre Daten geteilt, damit andere versuchen können, das Spiel in der Zukunft zu verbessern.

1. Problemstellung

Das Paper adressiert den Mangel an empirischen Daten bezüglich der Entropie (Unvorhersehbarkeit und Informationsdichte) der ukrainischen Sprache. Während Claude Shannons Experiment von 1951 eine Methodik zur Messung der Sprachentropie durch menschliche Vorhersage etablierte und nachfolgende Studien dies für Englisch und Hebräisch quantifizierten, gab es bisher keine solche Studie für das Ukrainische.

Bestehende Schätzungen für das Ukrainische stützten sich auf statistische N-Gramm-Modelle (Babenko und Sushko, 2012), die eine Entropie von 1,25–1,40 Bits pro Zeichen (bpc) für $N=9$ ergaben. N-Gramm-Modelle leiden jedoch unter Datenknappheit, wenn die Kontextlänge zunimmt, und können langfristige Abhängigkeiten, die in natürlichen Sprachen inhärent sind, nicht erfassen. Die Autoren zielen darauf ab, Shannons menschliches Ratesexperiment zu replizieren, um eine genauere, kontextunabhängige Obergrenze für die ukrainische Entropie zu liefern.

2. Methodik

Die Studie repliziert Shannons Experiment unter Verwendung einer plattformbasierten Online-Umgebung mit Freiwilligen und passt die Methodik von Ren et al. (2019) (die Englisch untersuchten) an.

Experimentelles Design:
- Teilnehmer: 184 Freiwillige, rekrutiert über Telegram und Mundpropaganda.
- Aufgabe: Den Teilnehmern wurden Sätze aus ukrainischen Nachrichtenartikeln (Ukrainska Pravda) präsentiert. Die ersten 70 Zeichen wurden enthüllt, und die Teilnehmer mussten das nächste Zeichen sequenziell erraten, bis das richtige eingegeben wurde.
- Einschränkungen: Um die Beteiligung aufrechtzuerhalten, begann das Experiment an Position 70 und nicht bei 0. Sätze wurden so gefiltert, dass sie zwischen 120 und 200 Zeichen lang waren.
- Datenerhebung: 323 Benutzer registrierten sich; 184 starteten Sitzungen. Die Studie sammelte 17.023 korrekte Ratsversuche (Beobachtungen) aus 501 abgeschlossenen und 192 unvollendeten Sitzungen.
Entropieberechnung:
- Die wahre Entropie $H$ ist durch $H_{lower} \le H \le H_{upper}$ begrenzt.
- Obergrenze ( $H_{upper}$ ): Berechnet basierend auf der Verteilung der Anzahl der Ratsversuche, die erforderlich waren, um das richtige Zeichen zu finden.
- Untergrenze ( $H_{lower}$ ): Berechnet basierend auf der „am wenigsten überraschenden" Verteilung (unter der Annahme, dass ein Zeichen, das beim $i$ -ten Versuch erraten wird, eine Wahrscheinlichkeit von $1/i$ hat).
- Formel: $H_{upper} = -\sum_{i=1}^{K} q_i \log_2 q_i$ , wobei $q_i$ der Anteil der Zeichen ist, die beim $i$ -ten Versuch korrekt erraten wurden.
Datenverarbeitung und Filterung:
- Ausreißerentfernung: Eine binomiale Analyse wurde verwendet, um „verdächtige" Sitzungen (4,3 %) zu entfernen, bei denen die Leistung statistisch unwahrscheinlich war (wahrscheinlich aufgrund von Betrug oder dem Nachschlagen von Antworten im Internet).
- Beschneiden: Um den „Freiwilligeneffekt" (geringere Beteiligung als bei bezahlten Arbeitern) zu mildern, haben die Autoren aggressiv die unteren 65 % der Leistungssitzungen beschneidet. Dies wurde gewählt, um die Breite des Konfidenzintervalls zu minimieren und gleichzeitig natürliche Varianz beizubehalten.
- Zusammenführung: Daten von Position 70 bis 110 wurden zusammengeführt, um die finale Entropie zu berechnen, da ein Kontext jenseits von 70 Zeichen abnehmende Renditen für die Rategenauigkeit bot.

3. Hauptbeiträge

Erste menschlich basierte Entropiemessung für das Ukrainische: Dies ist die erste Studie, die Shannons Ratesexperiment auf die ukrainische Sprache anwendet.
Verfeinerte Obergrenze: Die Studie etabliert eine neue Obergrenze von 1,201 bpc für das Ukrainische, die niedriger ist als frühere N-Gramm-Schätzungen (1,25–1,40 bpc), was darauf hindeutet, dass längere Kontexte die Unvorhersehbarkeit erheblich reduzieren.
LLM-Benchmarking: Die Autoren verglichen die menschliche Leistung mit State-of-the-Art-Modellen für große Sprachmodelle (LLMs) am selben Korpus und lieferten eine Basislinie für die Modell-Effizienz im Vergleich zur menschlichen Intuition.
Open Source: Der Code, die Daten und die experimentelle Schnittstelle wurden veröffentlicht, um zukünftige Forschung zu erleichtern.

4. Hauptergebnisse

Menschliche Leistung

Obergrenze: 1,201 bpc (95 %-Konfidenzintervall: [1,10; 1,19]).
Untergrenze: 0,5987 bpc.
Redundanz: Die Sprache weist eine Redundanz von ungefähr 76,4 % auf.
Vergleich mit Englisch: Die Entropie des Ukrainischen (1,201 bpc) ist bemerkenswert ähnlich der des Englischen (1,22 bpc), obwohl das Ukrainische ein größeres Alphabet hat (33 Buchstaben + Leerzeichen vs. 26 + Leerzeichen). Die Autoren vermuten, dass weniger häufige Buchstaben im Ukrainischen die Gesamtentropie nicht signifikant erhöhen.

Leistung großer Sprachmodelle (LLMs)

Die Autoren testeten mehrere vortrainierte Modelle (Gemma-3, Llama-3.1, Qwen, Mistral und das ukrainenspezifische Lapa-Modell) am selben Datensatz.

Beste Performer: Gemma-3 (27B) erreichte 0,717 bpc, und Lapa (12B) erreichte 0,734 bpc.
Vergleich: LLMs übertreffen Menschen signifikant (niedrigerer BPC ist besser).
Überanpassungsbedenken: Obwohl sich LLMs der menschlichen Untergrenze (0,599 bpc) annähern, stellen die Autoren fest, dass dies auf eine Überanpassung an das spezifische Nachrichtenkorporum hindeuten könnte, anstatt die wahre Entropie der gesamten Sprache zu erfassen. Die Lücke zwischen der menschlichen Obergrenze (1,201) und den LLM-Ergebnissen legt nahe, dass die wahre Entropie irgendwo dazwischen liegt.

5. Bedeutung und Einschränkungen

Bedeutung:

Informationsdichte: Bestätigt, dass das Ukrainische eine ähnliche Informationsdichte wie das Englische hat, und validiert sprachübergreifende Kompressions- und Modellierungsannahmen.
Modellbewertung: Bietet eine rigorose menschliche Basislinie für die Bewertung ukrainischer NLP-Modelle. Die Tatsache, dass Top-LLMs sich menschlichen Untergrenzen annähern, deutet darauf hin, dass sie hochwirksam bei der Modellierung ukrainischer Syntax und Semantik sind, obwohl eine mögliche Überanpassung untersucht werden muss.
Methodische Einsicht: Unterstreicht die Herausforderungen von Experimenten mit Freiwilligen (Beteiligung, Betrug) und die Notwendigkeit aggressiver Datenbereinigung, um zuverlässige Entropieschätzungen zu erhalten.

Einschränkungen:

Stichprobengröße: Der Datensatz (17.000 Beobachtungen) ist kleiner als vergleichbare englische Studien (Ren et al. hatten ~172.000), was zu breiteren Konfidenzintervallen führt.
Kontextfenster: Das Experiment begann an Position 70, was die Berechnung einer Entropiekurve ab Position 0 verhindert und eine Extrapolation auf einen unendlichen Kontext erschwert.
Datensatz-Bias: Das Korpus bestand nur aus 5 Nachrichtenartikeln, die möglicherweise keine informelle Sprache, regionale Dialekte oder kreative Schreibweisen repräsentieren, was die wahre Entropie der gesamten Sprache möglicherweise unterschätzt.
Freiwilligen-Bias: Unbezahlte Freiwillige waren weniger engagiert als bezahlte Arbeiter, was die Entropieschätzung möglicherweise aufgebläht hat (die Sprache erscheint unvorhersehbarer, als sie ist).

Fazit

Das Paper quantifiziert die Entropie des Ukrainischen erfolgreich auf ungefähr 1,201 bpc, verfeinert frühere Schätzungen und zeigt, dass das Ukrainische und das Englische ähnliche Informationsdichten teilen. Während moderne LLMs Menschen bei Vorhersageaufgaben übertreffen, unterstreicht die Studie die Notwendigkeit größerer, vielfältigerer Datensätze und besserer Kontrollen, um zwischen echter Sprachmodellierung und Überanpassung an spezifische Domänen zu unterscheiden.