Zipf's Law of Abbreviation in a Logographic Script: Coding-Theoretic Bounds on Chinese Character Stroke Counts

Le langage est un système de compromis. D'un côté, il y a le besoin d'être compris clairement ; de l'autre, le désir humain de parler et d'écrire rapidement. Depuis plus de soixante-dix ans, les linguistes observent un modèle constant dans la manière dont les langues résolvent ce problème : les mots que nous utilisons le plus souvent ont tendance à être les plus courts. C'est ce qu'on appelle la loi de l'abréviation. Cela se manifeste dans les sons parlés, dans la longueur des mots écrits et même dans les appels des animaux. L'idée est simple : si vous dites un mot un million de fois par jour, il est rentable de le rendre court. Si vous ne le dites qu'une fois par an, peu importe qu'il soit long. Mais une question plus profonde a récemment émergé. Nous savons que les langues suivent cette règle, mais à quel point s'approchent-elles de la limite absolue d'efficacité ? À quel point un langage pourrait-il être plus court s'il était parfaitement conçu, et quelle part de ce potentiel reste inutilisée ?

Jusqu'à présent, cette question a été étudiée principalement dans les langues alphabétiques comme l'anglais ou l'espagnol, où le coût d'un mot est mesuré par le nombre de lettres qu'il contient. Une nouvelle étude apporte cette investigation à un type de système d'écriture complètement différent : le chinois. En chinois, l'unité de base n'est pas une lettre mais un caractère, et le coût d'écriture d'un caractère est mesuré par le nombre de traits de pinceau ou de stylo nécessaires pour le tracer. Comme les caractères chinois sont construits à partir d'un ensemble fixe de cinq types de traits de base, les chercheurs peuvent calculer la limite théorique d'efficacité avec une précision impossible pour les écritures alphabétiques. En analysant le nombre de traits de chaque caractère du répertoire standard par rapport à leur fréquence d'utilisation réelle, l'étude révèle que l'écriture chinoise est remarquablement efficace, mais qu'elle s'arrête avant la perfection pour une raison structurelle très spécifique.

Les chercheurs ont commencé par rassembler une quantité massive de données. Ils ont pris une base de données contenant chacun des ordres de traits des 20 902 caractères chinois standards et l'ont associée à deux vastes collections de textes réels. Une collection contenait près de 260 millions de caractères issus de livres et de journaux édités, tandis que l'autre détenait plus de 190 millions de caractères provenant de publications sur les réseaux sociaux. Ils ont compté les traits pour chaque caractère et calculé le nombre moyen de traits nécessaires pour écrire le texte que les gens lisent réellement. Les résultats ont confirmé le modèle attendu : les caractères les plus fréquents sont effectivement les plus simples à écrire. Le caractère moyen dans tout le dictionnaire nécessite environ 12,7 traits pour être écrit, mais le caractère moyen que vous rencontrez en lisant un texte normal n'en nécessite qu'environ 7,2. Les cent caractères les plus fréquents, qui constituent près de 40 % de tout texte écrit, comptent en moyenne seulement six traits chacun.

Pour comprendre à quel point ce système est réellement efficace, l'équipe a comparé le texte du monde réel à deux extrêmes théoriques. Le premier était un arrangement aléatoire, où les mots les plus courants étaient assignés aux caractères les plus longs et les plus complexes par pur hasard. Le second était un arrangement parfait, où les mots les plus fréquents se voyaient assigner les caractères les plus courts possibles, et les mots les plus rares les plus longs. Le système d'écriture chinois réel se situait quelque part entre les deux. Il était bien meilleur qu'un arrangement aléatoire, mais il n'était pas parfait. L'étude a calculé un score d'optimalité, qui mesure la proximité du système avec cet arrangement parfait. Pour le chinois simplifié, le score était de 0,668, ce qui signifie que le système est aux deux tiers du chemin vers l'optimum théorique. Ce chiffre est frappant de similitude avec les scores trouvés pour la longueur des mots dans des dizaines d'autres langues utilisant des alphabets et des syllabaires, suggérant qu'il existe une limite universelle à la compression de tout système de communication tout en restant utile.

Cependant, l'étude est allée plus loin que la simple mesure de l'efficacité. Parce que le système d'écriture chinois utilise un ensemble fermé de cinq types de traits, les chercheurs ont pu calculer la limite mathématique absolue de ce qui est possible. Ils ont déterminé que si le système était un code parfaitement efficace, le caractère moyen dans un texte courant ne nécessiterait qu'environ 4,34 traits. Le fait que la moyenne réelle soit de 7,22 traits signifie que le système utilise environ 1,66 fois plus de traits que le minimum absolu. Dans une langue alphabétique typique, un tel écart pourrait être balayé comme une simple inefficacité ou un manque de planification. Mais les chercheurs ont découvert que cet écart n'est pas une erreur ; c'est une caractéristique.

La raison pour laquelle le système ne peut être davantage compressé réside dans la manière dont les caractères sont construits. Si le chinois était un code unidimensionnel parfait, comme une chaîne de lettres où l'ordre seul définit le mot, alors chaque caractère aurait une séquence de traits unique. Mais en chinois, de nombreux caractères différents partagent exactement la même séquence de traits. Par exemple, les traits pour « personne », « entrer » et « huit » sont identiques en séquence ; ils ne sont distingués que par l'arrangement spatial de ces traits sur la page. De même, les caractères pour « érudit » et « terre » utilisent les mêmes traits dans le même ordre mais diffèrent par la longueur d'une ligne horizontale. Parce que la séquence de traits n'est pas unique, le système ne peut être compressé jusqu'à la limite mathématique sans perdre la capacité de distinguer les mots. Les « traits supplémentaires » qui semblent redondants sont en réalité nécessaires pour créer une structure bidimensionnelle qui permet de réutiliser des composants visuels. Cet arrangement spatial rend le système d'écriture transparent ; un lecteur qui connaît le caractère pour « eau » peut souvent deviner le sens d'autres caractères qui contiennent ce même composant, même s'il ne les a jamais vus auparavant.

L'étude a également examiné un événement historique majeur pour voir si le système pouvait être amélioré. Au milieu du XXe siècle, la Chine a entrepris une réforme de simplification qui a modifié la forme de milliers de caractères, réduisant souvent le nombre de traits. Les chercheurs ont traité cette réforme comme une expérience contrôlée. Ils ont constaté que la réforme a réussi à augmenter l'efficacité du système d'écriture, faisant passer le score d'optimalité de 0,555 à 0,668. Crucialement, la réforme a ciblé les caractères les plus fréquents, les raccourcissant d'une moyenne de deux traits, tout en laissant les caractères rares et complexes largement intacts. C'est exactement ce que ferait un système de codage parfait : économiser le plus d'effort sur les formes utilisées le plus souvent. Le fait que la réforme ait permis d'atteindre cette amélioration suggère que l'écart restant entre le système actuel et la limite théorique est réel et exploitable, mais cela montre aussi que la vaste majorité de la compression s'était déjà produite naturellement au fil des siècles, bien avant toute réforme officielle.

Enfin, l'article conclut que le système d'écriture chinois ne cherche pas à atteindre la perfection, mais qu'il résout un problème différent. Il sacrifie une partie de la compression pour gagner en clarté et en structure. L'« inefficacité » consistant à utiliser plus de traits que le minimum mathématique est le prix payé pour un système où le sens est construit à partir de parties reconnaissables disposées dans l'espace. L'étude confirme que si la loi de l'abréviation est vérifiée, la limite de compression ne dépend pas seulement du comptage des traits ou des lettres. Elle est déterminée par l'architecture même de l'écriture. Le fait que le chinois, avec sa logique visuelle unique, se situe dans la même plage d'efficacité que les langues alphabétiques suggère que tous les systèmes de communication humaine équilibrent les mêmes pressions fondamentales : l'élan vers la brièveté et le besoin de clarté.