💬 NLP

Entropy of Ukrainian

Cet article présente la première étude visant à estimer l'entropie de la langue ukrainienne en reproduisant l'expérience de prédiction de caractères de Claude Shannon de 1951 avec 184 volontaires, aboutissant à une borne supérieure d'environ 1,201 bit par caractère et en comparant ce résultat aux modèles de langage actuels de grande taille.

Auteurs originaux : Anton Lavreniuk, Mykyta Mudryi, Markiian Chaklosh

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anton Lavreniuk, Mykyta Mudryi, Markiian Chaklosh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu de « Devinez la lettre suivante » avec un ami. Vous lui montrez une phrase coupée en son milieu, comme : « Le chat était assis sur le... »

Votre ami doit deviner la lettre suivante.

S'il devine « m » (pour tapis), il a raison. C'était facile.
S'il devine « z », il a tort. Il doit recommencer.
S'il devine « p » (pour oreiller), il a raison.

Ce jeu mesure quelque chose appelé Entropie. Dans le monde du langage, l'entropie ne concerne pas la chaleur ni le désordre ; c'est une mesure de la surprise.

Entropie élevée : La lettre suivante est une surprise totale. Vous devez faire de nombreux essais avant de trouver la bonne. Le langage semble chaotique et imprévisible.
Entropie faible : La lettre suivante est évidente. Vous la devinez immédiatement. Le langage semble prévisible et répétitif.

L'expérience : Deviner l'ukrainien

Pendant des décennies, les scientifiques ont joué à ce jeu de devinettes avec l'anglais. En 1951, un homme nommé Claude Shannon a demandé à des gens de deviner la lettre suivante dans des phrases anglaises. Il a constaté que l'anglais est assez prévisible ; il faut en moyenne environ 1,2 essai pour trouver la bonne lettre suivante.

Mais personne n'avait jamais joué à ce jeu avec l'ukrainien jusqu'à présent.

Trois chercheurs d'Ukraine (Anton, Mykyta et Markiian) ont décidé de mener cette expérience pour la première fois. Voici comment ils l'ont fait, traduit en termes simples :

1. Les joueurs (les bénévoles)

Au lieu d'embaucher des travailleurs professionnels, ils ont demandé à des gens ordinaires sur les réseaux sociaux (principalement sur Telegram) de jouer.

Le dispositif : Ils ont fourni aux bénévoles des phrases tirées d'articles de presse.
La particularité : Pour maintenir l'intérêt des participants, ils n'ont pas commencé au tout début de la phrase. Ils ont affiché les 70 premiers caractères (environ la longueur d'une courte phrase) et ont demandé : « Qu'est-ce qui vient ensuite ? »
Le jeu : Le bénévole tape une lettre. Si elle est fausse, elle devient rouge et il réessaie. Si elle est juste, il passe à la lettre suivante.
L'objectif : Ils voulaient voir combien de « mauvaises devinettes » il fallait avant que les gens trouvent la bonne lettre.

2. Les résultats : À quel point l'ukrainien est-il prévisible ?

Après avoir collecté des données auprès de 184 bénévoles ayant fait plus de 17 000 devinettes, les chercheurs ont analysé les chiffres.

Le score : Ils ont constaté que le « niveau de surprise » (entropie) de l'ukrainien est d'environ 1,201 bit par caractère.
Que signifie cela ? Cela signifie que l'ukrainien est extrêmement similaire à l'anglais en termes de prévisibilité. Tout comme en anglais, si vous connaissez les lettres précédentes, la lettre suivante en ukrainien est généralement assez évidente.
Redondance : Parce que la langue est si prévisible, environ 76 % des lettres d'une phrase ukrainienne sont « redondantes ». Vous pourriez en fait supprimer une grande partie du texte, et un locuteur natif pourrait toujours deviner parfaitement les parties manquantes.

3. Le problème de la « triche »

Les chercheurs devaient faire preuve de prudence. Puisqu'il s'agissait d'un jeu en ligne, certaines personnes auraient pu :

Chercher la phrase complète en ligne.
Deviner au hasard et avoir de la chance.
Perdre intérêt et arrêter de jouer en cours de route.

Pour corriger cela, ils ont agi comme un arbitre strict. Ils ont écarté les résultats des personnes qui ont mal joué (ceux qui n'auraient peut-être pas essayé) et ceux qui ont joué trop parfaitement (ceux qui auraient pu tricher). Même après avoir été très stricts et supprimé beaucoup de données, le résultat est resté autour de 1,20.

4. La comparaison avec l'IA : Humains contre robots

Les chercheurs ont également demandé à des modèles d'IA modernes (Grands Modèles de Langage) de jouer au même jeu.

L'avantage de l'IA : Les modèles d'IA étaient bien meilleurs que les humains. Certains des meilleurs modèles d'IA pouvaient deviner la lettre suivante avec un score d'environ 0,7.
Le hic : Les chercheurs mettent en garde contre le fait que l'IA pourrait « tricher » différemment. Parce que l'IA a été entraînée sur d'énormes quantités de données d'actualités (similaires aux phrases utilisées dans le jeu), elle pourrait avoir mémorisé les phrases spécifiques plutôt que de vraiment comprendre la langue. C'est comme un élève qui a mémorisé la clé des réponses au lieu d'apprendre les mathématiques.
La conclusion : L'IA est très bonne, mais parce qu'elle est si proche du score « parfait », il est difficile de dire si elle comprend vraiment l'ukrainien ou si elle fait simplement du surapprentissage par rapport aux articles d'actualités spécifiques utilisés.

La grande conclusion

Cet article est la première fois que nous avons un chiffre solide sur la prévisibilité de l'ukrainien.

L'ukrainien n'est pas chaotique. Il est hautement structuré et prévisible, tout comme l'anglais.
Les humains sont bons dans ce domaine. Des gens ordinaires peuvent deviner la lettre suivante avec environ 1,2 essais.
L'IA est meilleure, mais peut-être trop bonne. Les modèles d'IA peuvent deviner encore plus vite, mais nous devons faire attention à ne pas confondre « mémorisation » et « intelligence ».

Les chercheurs admettent que leur étude n'était pas parfaite (ils n'avaient pas assez de joueurs et les phrases provenaient toutes d'articles de presse), mais cela nous offre un point de départ bien meilleur que celui que nous avions auparavant. Ils ont même partagé leur code et leurs données afin que d'autres puissent essayer d'améliorer le jeu à l'avenir.

1. Énoncé du problème

L'article traite du manque de données empiriques concernant l'entropie (imprévisibilité et densité d'information) de la langue ukrainienne. Alors que l'expérience de Claude Shannon en 1951 a établi une méthodologie pour mesurer l'entropie linguistique via la prédiction humaine, et que des études ultérieures ont quantifié cela pour l'anglais et l'hébreu, aucune étude de ce type n'avait été menée pour l'ukrainien.

Les estimations existantes pour l'ukrainien reposaient sur des modèles statistiques N-grammes (Babenko et Sushko, 2012), qui ont produit une entropie de 1,25 à 1,40 bits par caractère (bpc) pour $N=9$ . Cependant, les modèles N-grammes souffrent de la parcimonie des données à mesure que la longueur du contexte augmente et ne peuvent pas capturer les dépendances à long terme inhérentes au langage naturel. Les auteurs visent à reproduire l'expérience de devinettes humaines de Shannon afin de fournir une borne supérieure plus précise et indépendante du contexte de l'entropie ukrainienne.

2. Méthodologie

L'étude reproduit l'expérience de Shannon en utilisant une plateforme en ligne basée sur le volontariat, en adaptant la méthodologie de Ren et al. (2019) (qui ont étudié l'anglais).

Conception expérimentale :
- Participants : 184 volontaires recrutés via Telegram et le bouche-à-oreille.
- Tâche : Les participants ont été confrontés à des phrases tirées d'articles de presse ukrainiens (Ukrainska Pravda). Les 70 premiers caractères étaient révélés, et les participants devaient deviner le caractère suivant séquentiellement jusqu'à ce que le bon soit saisi.
- Contraintes : Pour maintenir l'engagement, l'expérience a commencé à la position 70 plutôt qu'à 0. Les phrases ont été filtrées pour avoir une longueur comprise entre 120 et 200 caractères.
- Collecte de données : 323 utilisateurs se sont inscrits ; 184 ont lancé des sessions. L'étude a recueilli 17 023 devinettes correctes (observations) provenant de 501 sessions complétées et de 192 sessions incomplètes.
Calcul de l'entropie :
- La véritable entropie $H$ est bornée par $H_{inf} \le H \le H_{sup}$ .
- Borne supérieure ( $H_{sup}$ ) : Calculée sur la base de la distribution du nombre de devinettes nécessaires pour trouver le bon caractère.
- Borne inférieure ( $H_{inf}$ ) : Calculée sur la base de la distribution « la moins surprenante » (en supposant qu'un caractère deviné au $i$ -ème essai a une probabilité de $1/i$ ).
- Formule : $H_{sup} = -\sum_{i=1}^{K} q_i \log_2 q_i$ , où $q_i$ est la fraction de caractères devinés correctement au $i$ -ème essai.
Traitement et filtrage des données :
- Suppression des valeurs aberrantes : Une analyse binomiale a été utilisée pour éliminer les sessions « suspectes » (4,3 %) où la performance était statistiquement improbable (probablement due à la triche ou à la consultation de réponses en ligne).
- Élagage : Pour atténuer l'« effet volontaire » (engagement inférieur à celui des travailleurs rémunérés), les auteurs ont agressivement élagué les 65 % inférieurs des sessions de performance. Ce choix a été fait pour minimiser la largeur de l'intervalle de confiance tout en conservant la variance naturelle.
- Regroupement : Les données des positions 70 à 110 ont été regroupées pour calculer l'entropie finale, car le contexte au-delà de 70 caractères offrait des rendements décroissants pour la précision des devinettes.

3. Contributions clés

Première mesure d'entropie basée sur l'humain pour l'ukrainien : Il s'agit de la première étude appliquant l'expérience de devinettes de Shannon à la langue ukrainienne.
Borne supérieure affinée : L'étude établit une nouvelle borne supérieure de 1,201 bpc pour l'ukrainien, inférieure aux estimations précédentes par N-grammes (1,25–1,40 bpc), indiquant que des contextes plus longs réduisent considérablement l'imprévisibilité.
Étalonnage des LLM : Les auteurs ont comparé la performance humaine à celle de modèles de langage de grande taille (LLM) de pointe sur le même corpus, fournissant une référence pour l'efficacité des modèles par rapport à l'intuition humaine.
Open Source : Le code, les données et l'interface expérimentale sont publiés pour faciliter les recherches futures.

4. Résultats clés

Performance humaine

Borne supérieure : 1,201 bpc (Intervalle de confiance à 95 % : [1,10 ; 1,19]).
Borne inférieure : 0,5987 bpc.
Redondance : La langue présente une redondance d'environ 76,4 %.
Comparaison avec l'anglais : L'entropie de l'ukrainien (1,201 bpc) est remarquablement similaire à celle de l'anglais (1,22 bpc), malgré le fait que l'ukrainien possède un alphabet plus grand (33 lettres + espace contre 26 + espace). Les auteurs suggèrent que les lettres moins fréquentes en ukrainien n'augmentent pas significativement l'entropie globale.

Performance des modèles de langage de grande taille (LLM)

Les auteurs ont testé plusieurs modèles préentraînés (Gemma-3, Llama-3.1, Qwen, Mistral et le modèle spécifique à l'ukrainien Lapa) sur le même jeu de données.

Meilleurs performeurs : Gemma-3 (27B) a atteint 0,717 bpc, et Lapa (12B) a atteint 0,734 bpc.
Comparaison : Les LLM surpassent nettement les humains (un BPC plus bas est meilleur).
Inquiétude de surapprentissage : Bien que les LLM s'approchent de la borne inférieure humaine (0,599 bpc), les auteurs notent que cela pourrait indiquer un surapprentissage au corpus d'actualités spécifique plutôt qu'une capture de la véritable entropie de l'ensemble de la langue. L'écart entre la borne supérieure humaine (1,201) et les résultats des LLM suggère que la véritable entropie se situe quelque part entre les deux.

5. Importance et limites

Importance :

Densité d'information : Confirme que l'ukrainien possède une densité d'information similaire à celle de l'anglais, validant les hypothèses de compression et de modélisation interlinguistiques.
Évaluation des modèles : Fournit une référence humaine rigoureuse pour l'évaluation des modèles de TALN ukrainiens. Le fait que les meilleurs LLM s'approchent des bornes inférieures humaines suggère qu'ils sont très efficaces pour modéliser la syntaxe et la sémantique ukrainiennes, bien qu'un surapprentissage potentiel doive être investigué.
Insight méthodologique : Met en lumière les défis des expériences basées sur le volontariat (engagement, triche) et la nécessité d'un élagage agressif des données pour obtenir des estimations d'entropie fiables.

Limites :

Taille de l'échantillon : Le jeu de données (17k observations) est plus petit que les études comparables en anglais (Ren et al. en avaient ~172k), ce qui conduit à des intervalles de confiance plus larges.
Fenêtre de contexte : L'expérience a commencé à la position 70, empêchant le calcul d'une courbe d'entropie depuis la position 0 et rendant l'extrapolation vers un contexte infini difficile.
Biais du jeu de données : Le corpus ne comprenait que 5 articles de presse, qui peuvent ne pas représenter le langage informel, les dialectes régionaux ou l'écriture créative, sous-estimant potentiellement la véritable entropie de la langue dans son ensemble.
Biais des volontaires : Les volontaires non rémunérés étaient moins engagés que les travailleurs rémunérés, ce qui pourrait avoir gonflé l'estimation de l'entropie (rendant la langue apparemment plus imprévisible qu'elle ne l'est).

Conclusion

L'article quantifie avec succès l'entropie de l'ukrainien à environ 1,201 bpc, affinant les estimations précédentes et démontrant que l'ukrainien et l'anglais partagent des densités d'information similaires. Bien que les LLM modernes surpassent les humains dans les tâches de prédiction, l'étude souligne la nécessité de jeux de données plus vastes et plus diversifiés, ainsi que de meilleurs contrôles pour distinguer la véritable modélisation linguistique du surapprentissage à des domaines spécifiques.