Zipf's Law of Abbreviation in a Logographic Script: Coding-Theoretic Bounds on Chinese Character Stroke Counts

A linguagem é um sistema de compensações. De um lado, há a necessidade de ser compreendido claramente; do outro, o desejo humano de falar e escrever rapidamente. Por mais de setenta anos, os linguistas observaram um padrão consistente em como as línguas resolveem este problema: as palavras que usamos com mais frequência tendem a ser as mais curtas. Isso é conhecido como a lei da abreviação. Isso aparece nos sons falados, na extensão das palavras escritas e até nos chamados dos animais. A ideia é simples: se você diz uma palavra um milhão de vezes por dia, vale a pena torná-la curta. Se você a diz apenas uma vez por ano, não importa se ela é longa. Mas uma questão mais profunda surgiu recentemente. Sabemos que as línguas seguem esta regra, mas quão próximas elas chegam do limite absoluto de eficiência? O quanto uma língua poderia ser mais curta se fosse perfeitamente desenhada, e quanto desse potencial potencial permanece não utilizado?

Até agora, esta questão foi estudada principalmente em línguas alfabéticas como o inglês ou o espanhol, onde o custo de uma palavra é medido pelo número de letras que ela contém. Um novo estudo traz esta investigação para um tipo completamente diferente de sistema de escrita: o chinês. No chinês, a unidade básica não é uma letra, mas um caractere, e o custo de escrever um caract combinação de traços é medido pelo número de traços de pincel ou caneta necessários para desenhá-lo. Como os caracteres chineses são construídos a partir de um conjunto fixo de cinco tipos básicos de traços, os pesquisadores podem calcular o limite teórico de eficiência com uma precisão que é impossível para as escritas alfabéticas. Ao analisar a contagem de traços de cada caractere no conjunto padrão contra a frequência com que são realmente usados, o estudo revela que a escrita chinesa é notavelmente eficiente, mas interrompe-se antes da perfeição por uma razão estrutural muito específica.

Os pesquisadores começaram reunindo uma quantidade massiva de dados. Eles pegaram um banco de dados contendo cada ordem de traço de todos os 20.902 caracteres chineses padrão e o combinaram com duas enormes coleções de textos do mundo real. Uma coleção continha quase 260 milhões de caracteres de livros e jornais editados, enquanto a outra detinha mais de 190 milhões de caracteres de postagens em redes sociais. Eles contaram os traços para cada caractere e calcularam o número médio de traços necessários para escrever o texto que as pessoas realmente leem. Os resultados confirmaram o padrão esperado: os caracteres mais comuns são, de fato, os mais simples de escrever. O caractere médio em todo o dicionário requer cerca de 12,7 traços para ser escrito, mas o caractere médio que você encontra ao ler um texto normal requer apenas cerca de 7,2 traços. Os cem caracteres mais frequentes, que compõem quase 40 por cento de todo o texto escrito, têm uma média de apenas seis traços cada.

Para entender o quão eficiente este sistema realmente é, a equipe comparou o texto do mundo real com dois extremos teóricos. O primeiro foi um arranjo aleatório, onde as palavras mais comuns foram atribuídas aos caracteres mais longos e complexos por puro acaso. O segundo foi um arranjo perfeito, onde as palavras mais comuns receberam os caracteres mais curtos possíveis, e as palavras mais raras receberam os mais longos. O sistema de escrita chinês real situou-se em algum lugar entre os dois. Foi muito melhor do que o aleatório, mas não foi perfeito. O estudo calculou uma pontuação de otimalidade, que mede o quão próximo o sistema está desse arranjo perfeito. Para o chinês simplificado, a pontuação foi de 0,668, o que significa que o sistema está a cerca de dois terços do caminho para o melhor teórico. Este número é surpreendentemente semelhante às pontuações encontradas para o comprimento das palavras em dezenas de outras línguas usando alfabetos e silabários, sugerindo que existe um limite universal para o quanto qualquer sistema de comunicação pode ser comprimido enquanto permanece útil.

No entanto, o estudo foi além de apenas medir a eficiência. Como o sistema de escrita chinês utiliza um conjunto fechado de cinco tipos de traços, os pesquisadores puderam calcular o limite matemático absoluto do que é possível. Eles determinaram que, se o sistema fosse um código perfeitamente eficiente, o caractere médio em um texto corrido exigiria apenas cerca de 4,34 traços. O fato de o caractere médio real ser de 7,22 traços significa que o sistema está usando cerca de 1,66 vezes mais traços do que o mínimo absoluto. Em uma língua alfabética típica, tal lacuna poderia ser descartada como simples ineficiência ou falta de planejamento. Mas os pesquisadores descobriram que esta lacuna não é um erro; é uma característica.

A razão pela qual o sistema não pode ser mais comprimido reside em como os caracteres são construídos. Se o chinês fosse um código unidimensional perfeito, como uma sequência de letras onde apenas a ordem define a palavra, então cada caractere teria uma sequência única de traços. Mas no chinês, muitos caracteres diferentes compartilham exatamente a mesma sequência de traços. Por exemplo, os traços para "pessoa", "entrar" e "oito" são idênticos em sequência; eles são distinguidos apenas pelo arranjo espacial desses traços na página. Da mesma forma, os caracteres para "estudioso" e "terra" usam os mesmos traços na mesma ordem, mas diferem no comprimento de uma linha horizontal. Como a sequência de traços não é única, o sistema não pode ser comprimido ao limite matemático sem perder a capacidade de distinguir as palavras. Os traços "extras" que parecem redundantes são, na verdade, necessários para criar uma estrutura bidimensional que permite que componentes visuais sejam reutilizados. Este arranjo espacial torna o sistema de escrita transparente; um leitor que conhece o caractere para "água" pode frequentemente adivinhar o significado de outros caracteres que contêm esse mesmo componente, mesmo que nunca os tenha visto antes.

O estudo também examinou um grande evento histórico para ver se o sistema poderia ser melhorado. Em meados do século XX, a China passou por uma reforma de simplificação que alterou a forma de milhares de caracteres, muitas vezes reduzindo o número de traços. Os pesquisadores trataram esta reforma como um experimento controlado. Eles descobriram que a reforma aumentou com sucesso a eficiência do sistema de escrita, elevando a pontuação de otimalidade de 0,555 para 0,668. Crucialmente, a reforma visou os caracteres mais frequentes, encurtando-os em uma média de dois traços, enquanto deixou os caracteres raros e complexos praticamente intocados. Isto é exatamente o que um sistema de codificação perfeito faria: economizar o máximo esforço nas formas usadas com mais frequência. O fato de a reforma ter alcançado esta melhoria sugere que a lacuna restante entre o sistema atual e o limite teórico é real e passível de ação, mas também mostra que a vasta maioria da compressão já havia ocorrido naturalmente ao longo de séculos de uso, muito antes de qualquer reforma oficial.

Em última análise, o artigo conclui que o sistema de escrita chinês não está falhando em atingir a perfeição; ele está resolvendo um problema diferente. Ele sacrifica parte da compressão para ganhar clareza e estrutura. A "ineficiência" de usar mais traços do que o mínimo matemático é o preço pago por um sistema onde o significado é construído a partir de partes reconhecíveis dispostas no espaço. O estudo confirma que, embora a lei da abreviação se mantenha verdadeira, o limite de compressão não é apenas uma questão de contar traços ou letras. É determinado pela arquitetura do próprio script. O fato de o chinês, com sua lógica visual única, situar-se na mesma faixa de eficiência que as línguas alfabéticas sugere que todos os sistemas de comunicação humana estão equilibrando as mesmas pressões fundamentais: o impulso de ser curto e a necessidade de ser claro.