On the Proper Treatment of Units in Surprisal Theory

1. Enunciazione del Problema

La teoria della sorpresa (surprisal) postula che lo sforzo di elaborazione cognitiva umana sia determinato dal log-probabilità negativa (sorpresa) di un'unità linguistica imminente dato il suo contesto. Tuttavia, nelle ricerche empiriche attuali esiste un divario metodologico critico:

• La Discrepanza: Gli stimoli sperimentali sono tipicamente segmentati in unità motivate linguisticamente (es. parole, morfemi), ma i moderni modelli linguistici preaddestrati (LM) operano su alfabeti di token fissi (es. Byte-Pair Encoding) che non si allineano con queste unità linguistiche.
• La Conseguenza: I ricercatori fanno attualmente affidamento su euristiche ad hoc e post-hoc per mappare i token del modello alle unità linguistiche. Queste procedure spesso confondono due scelte di modellazione distinte:
  1. Inventario delle Unità ($U$): La definizione dell'unità linguistica (es. parola, carattere, frase).
  2. Regioni di Interesse (ROI): Gli intervalli specifici su cui vengono valutate le previsioni (es. aggregare le sorprese a livello di parola in metriche a livello di frase).
• Il Difetto negli Approcci Esistenti: I recenti tentativi di formalizzare questa mappatura (es. Oh & Schuler, 2024; Pimentel & Meister, 2024) assumono che i confini delle unità possano essere determinati da una partizione fissa dell'alfabeto dei simboli (es. lo spazio bianco segna sempre un confine). Gli autori sostengono che ciò sia linguisticamente inadeguato (es. una virgola è un confine in "end, he" ma interna in "1,000") e matematicamente incoerente quando si tratta di tokenizzazione dipendente dal contesto.

2. Metodologia

Gli autori propongono un quadro formale unificato per disaccoppiare le definizioni delle unità dalla tokenizzazione, trattando la tokenizzazione come un dettaglio implementativo piuttosto che come un primitivo scientifico.

A. Quadro Formale

• Separazione delle Responsabilità: Il paper distingue tra l'Alfabeto dei Simboli ($\Sigma$) (i token/caratteri nativi dell'LM) e l'Inventario delle Unità ($U$) (le unità linguistiche scelte dal ricercatore).
• Parser delle Unità ($\rho$): Una mappa stocastica $\rho: \Sigma^* \to U^*$ che converte stringhe di simboli in stringhe di unità. Gli autori assumono che $\rho$ sia deterministico per scopi pratici.
• Probabilità Pushforward: Per derivare una distribuzione di probabilità sulle unità ($p_U$) da un modello a livello di simboli ($p_\Sigma$), utilizzano l'operazione di pushforward:
  $$p_U(u) = \sum_{\sigma \in \rho^{-1}(u)} p_\Sigma(\sigma)$$
  Questo somma le probabilità di tutte le stringhe di simboli che mappano su una specifica unità $u$.

B. Modelli Linguistici Trasdotti

Per gestire la sfida computazionale della somma su potenzialmente infinite stringhe di simboli, gli autori introducono i Trasduttori a Stato Finito (FST):

• Inventari di Unità Regolari: Assumono che $U$ sia un sottoinsieme "regolare" di stringhe su un alfabeto finito $\Xi$.
• Il Trasduttore ($f$): Un trasduttore finito $f = h \circ \rho$ mappa le stringhe di simboli $\Sigma^*$ in stringhe su un alfabeto finito $\Delta = \Xi \cup \{SEP\}$, dove $SEP$ è un simbolo separatore.
• Algoritmo: Componendo l'LM con il trasduttore, è possibile calcolare efficientemente la distribuzione pushforward utilizzando approssimazioni di ricerca a fascio (Snæbjarnarson et al., 2026). Ciò consente il calcolo della sorpresa per inventari di unità arbitrari senza riaddestrare l'LM.

C. Design Sperimentale

• Dataset: Il Multilingual Eye-movement Corpus (MECO), specificamente la parte inglese (46 lettori, 12 estratti da Wikipedia).
• Inventari di Unità Testati:
  1. Token: Token nativi GPT-2.
  2. Caratteri: Caratteri individuali.
  3. Parole Acontessuali: Parole divise da delimiteri fissi (spazio bianco), testando sia l'attribuzione dello spazio bianco iniziale che finale.
  4. Parole Contestuali: Parole divise utilizzando le regole Penn Treebank (PTB) (es. gestione della punteggiatura come "1,000" vs "end, he").
• Analisi:
  • Baseline: Modelli Additivi Generalizzati Misti (GAMM) log-normali che prevedono i tempi di lettura utilizzando lunghezza dell'unità, sorpresa unigramma ed effetti di sovrapposizione (spillover).
  • Obiettivo: La baseline più la sorpresa contestuale.
  • Metrica: Miglioramento nella log-verosimiglianza su dati tenuti fuori ($\Delta llh$) tramite validazione incrociata leave-one-out.

3. Contributi Chiave

1. Disaccoppiamento Teorico: Il paper separa formalmente la scelta delle unità dalla scelta della tokenizzazione, sostenendo che la selezione delle unità dovrebbe essere una decisione di modellazione primaria guidata dalla domanda scientifica, non un sottoprodotto dell'architettura dell'LM.
2. Formalismo Generalizzato: Forniscono un quadro "bring your own units" (porta le tue unità) utilizzando trasduttori, permettendo ai ricercatori di definire inventari di unità arbitrari e sensibili al contesto (es. tokenizzazione stile PTB) e calcolare la sorpresa direttamente dagli LM preaddestrati.
3. Critica alle Euristiche Attuali: Dimostrano che gli approcci a partizione fissa (trattare lo spazio bianco come marcatore di confine universale) falliscono nel catturare la realtà linguistica (es. attaccamento della punteggiatura) e introducono incoerenze matematiche riguardo all'identità delle unità.
4. Toolkit Pratico: Gli autori rilasciano codice e trasduttori per convertire modelli a livello di token in modelli a livello di carattere o a livello di parola sensibili al contesto.

4. Risultati

Gli autori hanno valutato il potere predittivo della sorpresa sui quattro inventari di unità su tre misure di tempo di lettura: Prima Fissazione (FF), Durata dello Sguardo (GD) e Tempo Totale di Lettura (TRT).

• Inventari Simili a Parole: La sorpresa ha migliorato significativamente la previsione dei tempi di lettura per la Durata dello Sguardo e il Tempo Totale di Lettura in tutti gli inventari simili a parole (Token, Acontessuali, Contestuali).
• Prima Fissazione: La sorpresa è stata significativa per Token, Parole Contestuali e Acontessuali (finale), ma non per Acontessuali (iniziale). Ciò suggerisce che l'attribuzione dello spazio bianco iniziale (comune nel BPE) potrebbe non allinearsi con l'elaborazione cognitiva precoce.
• Livello Carattere: La sorpresa a livello di carattere non ha mostrato alcun miglioramento significativo nella previsione dei tempi di lettura. Gli autori attribuiscono ciò al fatto che i singoli caratteri sono raramente fissati individualmente; l'unità cognitiva di elaborazione è più grande di un singolo carattere.
• Contestuali vs Acontessuali: Gli inventari di parole contestuali (gestendo correttamente la punteggiatura) hanno generalmente performato tanto bene quanto o leggermente meglio di quelli acontessuali, in particolare per casi di punteggiatura complessa, validando la necessità di una segmentazione sensibile al contesto.
• Non Comparabilità dei Punteggi Assoluti: Lo studio evidenzia che le log-verosimiglianze assolute e i valori $\Delta llh$ non possono essere confrontati direttamente tra diversi inventari di unità perché gli inventari inducono diverse granularità di osservazione e predittori di base (es. lunghezza dell'unità).

5. Significato

• Rigoroso Metodologico: Il paper stabilisce che trattare la tokenizzazione come un vincolo fisso limita la validità delle conclusioni psicolinguistiche. I ricercatori devono definire esplicitamente il loro inventario di unità.
• Riproducibilità e Flessibilità: Fornendo un quadro basato su trasduttori, gli autori permettono alla comunità di testare ipotesi su specifiche unità linguistiche (morfemi, frasi, unità discorsive) senza il costo proibitivo di riaddestrare gli LM da zero.
• Adeguatezza Linguistica: I risultati supportano la visione che la segmentazione sensibile al contesto (come PTB) è superiore alla semplice divisione basata su delimiteri per modellare il comportamento di lettura umano, in particolare riguardo alla punteggiatura.
• Direzioni Future: Il quadro è estendibile ad altre variabili dipendenti (segnali neurali, sorpresa in contesto lossy) e ad altre lingue, purché possano essere costruiti trasduttori appropriati.

In sintesi, il paper sostiene che la tokenizzazione è un dettaglio implementativo, mentre la selezione delle unità è una scelta scientifica. Disaccoppiando i due tramite trasduttori, i ricercatori possono garantire che le loro metriche di sorpresa riflettano accuratamente le unità linguistiche che intendono studiare.