Entropy of Ukrainian

1. Enunciato del Problema

Il paper affronta la mancanza di dati empirici riguardanti l'entropia (imprevedibilità e densità informativa) della lingua ucraina. Sebbene l'esperimento del 1951 di Claude Shannon abbia stabilito una metodologia per misurare l'entropia linguistica tramite la previsione umana, e studi successivi abbiano quantificato questo valore per l'inglese e l'ebraico, non era stata condotta alcuna indagine simile per l'ucraino.

Le stime esistenti per l'ucraino si basavano su modelli statistici N-gram (Babenko e Sushko, 2012), che producevano un'entropia di 1,25–1,40 bit per carattere (bpc) per $N=9$. Tuttavia, i modelli N-gram soffrono di scarsità di dati all'aumentare della lunghezza del contesto e non riescono a catturare le dipendenze a lungo raggio intrinseche nel linguaggio naturale. Gli autori mirano a replicare l'esperimento di previsione umana di Shannon per fornire un limite superiore più accurato e indipendente dal contesto sull'entropia ucraina.

2. Metodologia

Lo studio replica l'esperimento di Shannon utilizzando una piattaforma online basata su volontari, adattando la metodologia di Ren et al. (2019) (che ha studiato l'inglese).

• Design Sperimentale:

  • Partecipanti: 184 volontari reclutati tramite Telegram e passaparola.
  • Compito: Ai partecipanti sono state presentate frasi tratte da articoli di notizie ucraini (Ukrainska Pravda). I primi 70 caratteri erano rivelati, e i partecipanti dovevano indovinare il carattere successivo in sequenza fino all'inserimento di quello corretto.
  • Vincoli: Per mantenere l'engagement, l'esperimento iniziava alla posizione 70 invece che alla 0. Le frasi sono state filtrate per avere una lunghezza compresa tra 120 e 200 caratteri.
  • Raccolta Dati: 323 utenti registrati; 184 hanno avviato le sessioni. Lo studio ha raccolto 17.023 indovinelli corretti (osservazioni) da 501 sessioni completate e 192 sessioni incomplete.

• Calcolo dell'Entropia:

  • La vera entropia $H$ è delimitata da $H_{lower} \le H \le H_{upper}$.
  • Limite Superiore ($H_{upper}$): Calcolato sulla base della distribuzione del numero di tentativi necessari per trovare il carattere corretto.
  • Limite Inferiore ($H_{lower}$): Calcolato sulla base della distribuzione "meno sorprendente" (ipotizzando che un carattere indovinato al $i$-esimo tentativo abbia probabilità $1/i$).
  • Formula: $H_{upper} = -\sum_{i=1}^{K} q_i \log_2 q_i$, dove $q_i$ è la frazione di caratteri indovinati correttamente al $i$-esimo tentativo.

• Elaborazione e Filtraggio dei Dati:

  • Rimozione degli Outlier: È stata utilizzata un'analisi binomiale per rimuovere le sessioni "sospette" (4,3%) in cui le prestazioni erano statisticamente improbabili (probabilmente dovute a imbrogli o alla ricerca di risposte online).
  • Ritaglio (Trimming): Per mitigare l'"effetto volontario" (minore engagement rispetto ai lavoratori retribuiti), gli autori hanno aggressivamente tagliato il 65% inferiore delle sessioni per prestazioni. Questa scelta è stata fatta per minimizzare la larghezza dell'intervallo di confidenza mantenendo la varianza naturale.
  • Pool: I dati dalle posizioni 70 a 110 sono stati raggruppati per calcolare l'entropia finale, poiché il contesto oltre i 70 caratteri offriva rendimenti decrescenti per l'accuratezza degli indovinelli.

3. Contributi Chiave

1. Prima Misurazione dell'Entropia Basata su Umani per l'Ucraino: Questo è il primo studio ad applicare l'esperimento di previsione di Shannon alla lingua ucraina.
2. Limite Superiore Raffinato: Lo studio stabilisce un nuovo limite superiore di 1,201 bpc per l'ucraino, inferiore alle precedenti stime N-gram (1,25–1,40 bpc), indicando che contesti più lunghi riducono significativamente l'imprevedibilità.
3. Benchmarking degli LLM: Gli autori hanno confrontato le prestazioni umane con quelle dei modelli di linguaggio su larga scala (LLM) all'avanguardia sullo stesso corpus, fornendo una linea di base per l'efficienza del modello rispetto all'intuizione umana.
4. Open Source: Il codice, i dati e l'interfaccia sperimentale sono pubblicati per facilitare ricerche future.

4. Risultati Chiave

Prestazioni Umane

• Limite Superiore: 1,201 bpc (Intervallo di Confidenza al 95%: [1,10, 1,19]).
• Limite Inferiore: 0,5987 bpc.
• Ridondanza: La lingua mostra una ridondanza di circa 76,4%.
• Confronto con l'Inglese: L'entropia dell'ucraino (1,201 bpc) è notevolmente simile a quella dell'inglese (1,22 bpc), nonostante l'ucraino abbia un alfabeto più grande (33 lettere + spazio contro 26 + spazio). Gli autori suggeriscono che le lettere meno frequenti in ucraino non aumentano significativamente l'entropia complessiva.

Prestazioni dei Modelli di Linguaggio su Larga Scala (LLM)

Gli autori hanno testato diversi modelli pre-addestrati (Gemma-3, Llama-3.1, Qwen, Mistral e il modello specifico per l'ucraino Lapa) sullo stesso dataset.

• Migliori Prestazioni: Gemma-3 (27B) ha raggiunto 0,717 bpc, e Lapa (12B) ha raggiunto 0,734 bpc.
• Confronto: Gli LLM superano significativamente gli umani (un BPC più basso è migliore).
• Preoccupazione di Overfitting: Sebbene gli LLM si avvicinino al limite inferiore umano (0,599 bpc), gli autori notano che ciò potrebbe indicare un overfitting sul corpus specifico di notizie piuttosto che la cattura della vera entropia dell'intera lingua. Il divario tra il limite superiore umano (1,201) e i risultati degli LLM suggerisce che la vera entropia si trova da qualche parte nel mezzo.

5. Significato e Limitazioni

Significato:

• Densità Informativa: Conferma che l'ucraino ha una densità informativa simile all'inglese, validando le ipotesi di compressione e modellazione cross-linguistica.
• Valutazione del Modello: Fornisce una rigorosa linea di base umana per la valutazione dei modelli NLP ucraini. Il fatto che i principali LLM si stiano avvicinando ai limiti inferiori umani suggerisce che sono altamente efficaci nel modellare la sintassi e la semantica ucraina, sebbene un potenziale overfitting debba essere investigato.
• Insight Metodologico: Evidenzia le sfide degli esperimenti basati su volontari (engagement, imbrogli) e la necessità di un'aggressiva pulizia dei dati per ottenere stime affidabili dell'entropia.

Limitazioni:

• Dimensione del Campione: Il dataset (17k osservazioni) è più piccolo degli studi comparabili sull'inglese (Ren et al. ne avevano ~172k), portando a intervalli di confidenza più ampi.
• Finestra di Contesto: L'esperimento iniziava alla posizione 70, impedendo il calcolo di una curva di entropia dalla posizione 0 e rendendo difficile l'estrapolazione a un contesto infinito.
• Bias del Dataset: Il corpus era composto da soli 5 articoli di notizie, che potrebbero non rappresentare il linguaggio informale, i dialetti regionali o la scrittura creativa, sottostimando potenzialmente la vera entropia dell'intera lingua.
• Bias del Volontario: I volontari non retribuiti erano meno impegnati rispetto ai lavoratori retribuiti, potenzialmente gonfiando la stima dell'entropia (rendendo la lingua apparentemente più imprevedibile di quanto non sia).

Conclusione

Il paper quantifica con successo l'entropia dell'ucraino a circa 1,201 bpc, affinando le stime precedenti e dimostrando che l'ucraino e l'inglese condividono densità informative simili. Sebbene i moderni LLM superino gli umani nei compiti di previsione, lo studio sottolinea la necessità di dataset più ampi e diversificati e di migliori controlli per distinguere tra la vera modellazione linguistica e l'overfitting su domini specifici.