Zipf's Law of Abbreviation in a Logographic Script: Coding-Theoretic Bounds on Chinese Character Stroke Counts

Il linguaggio è un sistema di compromessi. Da un lato, c'è la necessità di essere compresi chiaramente; dall'altro, il desiderio umano di parlare e scrivere velocemente. Per oltre settant'anni, i linguisti hanno osservato un modello costante nel modo in cui le lingue risolvono questo problema: le parole che usiamo più spesso tendono a essere le più brevi. Questo è noto come la legge dell'abbreviazione. Si manifesta nei suoni parlati, nella lunghezza delle parole scritte e persino nelle chiamate degli animali. L'idea è semplice: se dici una parola un milione di volte al giorno, conviene renderla breve. Se la dici solo una volta all'anno, non importa se è lunga. Ma una domanda più profonda è emersa recentemente. Sappiamo che le lingue seguono questa regola, ma quanto si avvicinano al limite assoluto di efficienza? Quanto potrebbe essere breve una lingua se fosse progettata perfettamente, e quanto di quel potenziale rimane inutilizzato?

Fino ad ora, questa domanda è stata studiata soprattutto in lingue alfabetiche come l'inglese o lo spagnolo, dove il costo di una parola è misurato dal numero di lettere che contiene. Un nuovo studio porta questa investigazione in un tipo di sistema di scrittura completamente diverso: il cinese. In cinese, l'unità di base non è una lettera ma un carattere, e il costo di scrivere un carattere è misurato dal numero di tratti di pennello o penna necessari per disegnarlo. Poiché i caratteri cinesi sono costruiti da un insieme fisso di cinque tipi di tratti di base, i ricercatori possono calcolare il limite teorico di efficienza con una precisione impossibile per gli script alfabetici. Analizzando il conteggio dei tratti di ogni carattere rispetto alla frequenza con cui vengono effettivamente utilizzati, lo studio rivela che la scrittura cinese è straordinariamente efficiente, ma si ferma prima della perfezione per una ragione strutturale molto specifica.

I ricercatori hanno iniziato raccogliendo una enorme quantità di dati. Hanno preso un database contenente l'ordine di ogni singolo tratto per i 20.902 caratteri cinesi standard e lo hanno accoppiato con due enormi collezioni di testi del mondo reale. Una collezione conteneva quasi 260 milioni di caratteri provenienti da libri e giornali editati, mentre l'altra conteneva oltre 190 milioni di caratteri da post sui social media. Hanno contato i tratti per ogni carattere e calcolato il numero medio di tratti necessari per scrivere il testo che le persone leggono effettivamente. I risultati hanno confermato il modello atteso: i caratteri più comuni sono infatti i più semplici da scrivere. Il carattere medio nell'intero dizionario richiede circa 12,7 tratti per essere scritto, ma il carattere medio che si incontra leggendo un testo normale richiede solo circa 7,2 tratti. I cento caratteri più frequenti, che costituiscono quasi il 40 percento di tutto il testo scritto, hanno una media di appena sei tratti ciascuno.

Per capire quanto sia efficiente questo sistema, il team ha confrontato il testo del mondo reale con due estremi teorici. Il primo era una disposizione casuale, in cui le parole più comuni venivano assegnate ai caratteri più lunghi e complessi per puro caso. Il secondo era una disposizione perfetta, in cui le parole più comuni venivano assegnate ai caratteri più brevi possibili, e le parole più rare a quelli più lunghi. Il sistema di scrittura cinese reale si collocava in qualche punto tra i due. Era molto migliore del caso, ma non era perfetto. Lo studio ha calcolato un punteggio di ottimalità, che misura quanto il sistema sia vicino a quella disposizione perfetta. Per il cinese semplificato, il punteggio era 0,668, il che significa che il sistema è circa per due terzi verso il meglio teorico. Questa cifra è sorprendentemente simile ai punteggi trovati per la lunghezza delle parole in decine di altre lingue che utilizzano alfabeti e sillabari, suggerendo che esiste un limite universale a quanto qualsiasi sistema di comunicazione può essere compresso rimanendo utile.

Tuttavia, lo studio è andato oltre la semplice misurazione dell'efficienza. Poiché il sistema di scrittura cinese utilizza un insieme chiuso di cinque tipi di tratti, i ricercatori hanno potuto calcolare il limite matematico assoluto di ciò che è possibile. Hanno determinato che, se il sistema fosse un codice perfettamente efficiente, il carattere medio in un testo continuo richiederebbe solo circa 4,34 tratti. Il fatto che la media reale sia di 7,22 tratti significa che il sistema sta utilizzando circa 1,66 volte più tratti rispetto al minimo assoluto. In una tipica lingua alfabetica, un divario del genere potrebbe essere liquidato come semplice inefficienza o mancanza di pianificazione. Ma i ricercatori hanno scoperto che questo divario non è un errore; è una caratteristica.

La ragione per cui il sistema non può essere ulteriormente compresso risiede nel modo in cui i caratteri sono costruiti. Se il cinese fosse un codice perfettamente monodimensionale, come una stringa di lettere dove l'ordine stesso definisce la parola, allora ogni carattere avrebbe una sequenza unica di tratti. Ma in cinese, molti caratteri diversi condividono esattamente la stessa sequenza di tratti. Ad esempio, i tratti per "persona", "entrare" ed "otto" sono identici nella sequenza; sono distinti solo dalla disposizione spaziale di quei tratti sulla pagina. Allo stesso modo, i caratteri per "studente" e "terra" utilizzano gli stessi tratti nello stesso ordine ma differiscono per la lunghezza di una linea orizzontale. Poiché la sequenza di tratti non è univoca, il sistema non può essere compresso al limite matematico senza perdere la capacità di distinguere le parole. I tratti "extra" che sembrano ridondanti sono in realtà necessari per creare una struttura bidimensionale che permetta il riutilizzo dei componenti visivi. Questa disposizione spaziale rende il sistema di scrittura trasparente; un lettore che conosce il carattere per "acqua" può spesso indovinare il significato di altri caratteri che contengono quel medesimo componente, anche se non li ha mai visti prima.

Lo studio ha anche esaminato un importante evento storico per vedere se il sistema potesse essere migliorato. Nella metà del ventesimo secolo, la Cina ha subito una riforma della semplificazione che ha cambiato la forma di migliaia di caratteri, riducendo spesso il numero di tratti. I ricercatori hanno trattato questa riforma come un esperimento controllato. Hanno scoperto che la riforma ha aumentato con successo l'efficienza del sistema di scrittura, portando il punteggio di ottimalità da 0,555 a 0,668. Fondamentalmente, la riforma ha preso di mira i caratteri più frequenti, accorciandoli di una media di due tratti, lasciando invece sostanzialmente intatti i caratteri rari e complessi. Questo è esattamente ciò che farebbe un sistema di codifica perfetto: risparmiare il massimo sforio sulle forme utilizzate più spesso. Il fatto che la riforma abbia ottenuto questo miglioramento suggerisce che il divario rimanente tra l'attuale sistema e il limite teorico è reale e azionabile, ma mostra anche che la stragrande maggioranza della compressione era già avvenuta naturalmente nel corso di secoli di utilizzo, molto prima di qualsiasi riforma ufficiale.

In definitiva, l'articolo conclude che il sistema di scrittura cinese non sta fallendo nel raggiungere la perfezione; sta risolvendo un problema diverso. Sacrifica un po' di compressione per guadagnare chiarezza e struttura. L'"inefficienza" di utilizzare più tratti del minimo matematico è il prezzo pagato per un sistema in cui il significato è costruito da parti riconoscibili disposte nello spazio. Lo studio conferma che, sebbene la legge dell'abbreviazione sia valida, il limite della compressione non è solo una questione di conteggio di tratti o lettere. È determinato dall'architettura dello script stesso. Il fatto che il cinese, con la sua logica visiva unica, si collochi nello stesso intervallo di efficienza delle lingue alfabetiche suggerisce che tutti i sistemi di comunicazione umana bilanciano le stesse pressioni fondamentali: la spinta a essere brevi e la necessità di essere chiari.