Zipf's Law of Abbreviation in a Logographic Script: Coding-Theoretic Bounds on Chinese Character Stroke Counts

El lenguaje es un sistema de compensaciones. Por un lado, existe la necesidad de ser comprendido con claridad; por el otro, el deseo humano de hablar y escribir con rapidez. Durante más de setenta años, los lingüistas han observado un patrón constante en cómo las lenguas resuelven este problema: las palabras que usamos con más frecuencia tienden a ser las más cortas. Esto se conoce como la ley de la abreviación. Aparece en los sonidos hablados, en la longitud de las palabras escritas e incluso en las llamadas de los animales. La idea es simple: si dices una palabra un millón de veces al día, conviene que sea corta. Si la dices solo una vez al año, no importa si es larga. Pero recientemente ha surgido una pregunta más profunda. Sabemos que las lenguas siguen esta regla, pero ¿qué tan cerca están del límite absoluto de eficiencia? ¿Qué tan corta podría ser una lengua si estuviera perfectamente diseñada y cuánto de ese potencial queda sin utilizar?

Hasta ahora, esta pregunta se ha estudiado principalmente en lenguas alfabéticas como el inglés o el español, donde el coste de una palabra se mide por el número de letras que contiene. Un nuevo estudio lleva esta investigación a un tipo de escritura completamente diferente: el chino. En chino, la unidad básica no es una letra, sino un carácter, y el coste de escribir un carácter se mide por el número de trazos de pincel o pluma necesarios para dibujarlo. Debido a que los caracteres chinos se construyen a partir de un conjunto fijo de cinco tipos de trazos básicos, los investigadores pueden calcular el límite teórico de eficiencia con una precisión que es imposible para las escrituras alfabéticas. Al analizar el recuento de trazos de cada carácter del conjunto estándar frente a la frecuencia con la que se utilizan realmente, el estudio revela que la escritura china es notablemente eficiente, pero se queda corta de la perfección por una razón estructural muy específica.

Los investigadores comenzaron reuniendo una cantidad masiva de datos. Tomaron una base de datos que contenía cada uno de los órdenes de trazos de los 20.902 caracteres chinos estándar y lo cotejaron con dos enormes colecciones de textos del mundo real. Una colección contenía casi 260 millones de caracteres de libros y periódicos editados, mientras que la otra poseía más de 190 millones de caracteres de publicaciones en redes sociales. Contaron los trazos de cada carácter y calcularon el número promedio de trazos necesarios para escribir el texto que la gente lee habitualmente. Los resultados confirmaron el patrón esperado: los caracteres más comunes son, de hecho, los más sencillos de escribir. El carácter promedio en todo el diccionario requiere unos 12,7 trazos para escribirse, pero el carácter promedio que encuentras al leer un texto normal requiere solo unos 7,2 trazos. Los cien caracteres más frecuentes, que constituyen casi el 40 por ciento de todo el texto escrito, promedian apenas seis trazos cada uno.

Para entender qué tan eficiente es este sistema, el equipo comparó el texto del mundo real con dos extremos teóricos. El primero fue una disposición aleatoria, donde las palabras más comunes se asignaron los caracteres más largos y complejos por puro azar. El segundo fue una disposición perfecta, donde las palabras más comunes recibieron los caracteres más cortos posibles, y las palabras más raras recibieron los más largos. El sistema de escritura chino real se situó en algún punto intermedio. Era mucho mejor que el azar, pero no era perfecto. El estudio calculó una puntuación de optimalidad, que mide qué tan cerca está el sistema de esa disposición perfecta. Para el chino simplificado, la puntuación fue de 0,668, lo que significa que el sistema está aproximadamente a dos tercios del camino hacia el mejor escenario teórico. Esta cifra es sorprendentemente similar a las puntuaciones encontradas para la longitud de las palabras en docenas de otras lenguas que utilizan alfabetos y silabarios, lo que sugiere que existe un límite universal para la capacidad de compresión de cualquier sistema de comunicación mientras siga siendo útil.

Sin embargo, el estudio fue más allá de la simple medición de la eficiencia. Debido a que el sistema de escritura chino utiliza un conjunto cerrado de cinco tipos de trazos, los investigadores pudieron calcular el límite matemático absoluto de lo que es posible. Determinaron que, si el sistema fuera un código perfectamente eficiente, el carácter promedio en un texto continuo requeriría solo unos 4,34 trazos. El hecho de que el promedio real sea de 7,22 trazos significa que el sistema está utilizando aproximadamente 1,66 veces más trazos de lo que exige el mínimo absoluto. En una lengua alfabética típica, tal brecha podría descartarse como una simple ineficiencia o falta de planificación. Pero los investigadores descubrieron que esta brecha no es un error; es una característica.

La razón por la cual el sistema no puede comprimirse más reside en cómo se construyen los caracteres. Si el chino fuera un código unidimensional perfecto, como una cadena de letras donde solo el orden define la palabra, entonces cada carácter tendría una secuencia única de trazos. Pero en chino, muchos caracteres diferentes comparten exactamente la misma secuencia de trazos. Por ejemplo, los trazos de "persona", "entrar" y "ocho" son idénticos en secuencia; se distinguen únicamente por la disposición espacial de esos trazos en la página. Del mismo modo, los caracteres para "erudito" y "tierra" utilizan los mismos trazos en el mismo orden, pero difieren en la longitud de una línea horizontal. Debido a que la secuencia de trazos no es única, el sistema no puede comprimirse al límite matemático sin perder la capacidad de distinguir las palabras. Los trazos "extra" que parecen redundantes son en realidad necesarios para crear una estructura bidimensional que permite la reutilización de componentes visuales. Esta disposición espacial hace que el sistema de escritura sea transparente; un lector que conoce el carácter de "agua" a menudo puede adivinar el significado de otros caracteres que contienen ese mismo componente, incluso si nunca los ha visto antes.

El estudio también examinó un evento histórico importante para ver si el sistema podía mejorar. A mediados del siglo XX, China llevó a cabo una reforma de simplificación que cambió la forma de miles de caracteres, reduciendo a menudo el número de trazos. Los investigadores trataron esta reforma como un experimento controlado. Encontraron que la reforma aumentó con éxito la eficiencia del sistema de escritura, elevando la puntuación de optimalidad de 0,555 a 0,668. Crucialmente, la reforma se centró en los caracteres más frecuentes, acortándolos en un promedio de dos trazos, mientras que dejó los caracteres raros y complejos prácticamente intactos. Esto es exactamente lo que haría un sistema de codificación perfecto: ahorrar el mayor esfuerzo en las formas que se utilizan con más frecuencia. El hecho de que la reforma lograra esta mejora sugiere que la brecha restante entre el sistema actual y el límite teórico es real y accionable, pero también muestra que la gran mayoría de la compresión ya había ocurrido de forma natural a lo largo de siglos de uso, mucho antes de cualquier reforma oficial.

En última instancia, el artículo concluye que el sistema de escritura chino no está fallando en alcanzar la perfección; está resolviendo un problema diferente. Sacrifica algo de compresión para ganar claridad y estructura. La "ineficiencia" de utilizar más trazos de lo que dicta el mínimo matemático es el precio pagado por un sistema donde el significado se construye a partir de partes reconocibles dispuestas en el espacio. El estudio confirma que, si bien la ley de la abreviación se cumple, el límite de la compresión no es solo una cuestión de contar trazos o letras. Está determinado por la arquitectura misma de la escritura. El hecho de que el chino, con su lógica visual única, se sitúe en el mismo rango de eficiencia que las lenguas alfabéticas sugiere que todos los sistemas de comunicación humana equilibran las mismas presiones fundamentales: el impulso de ser breve y la necesidad de ser claro.