The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models

Sintesi Tecnica: L'archiviazione Olistica delle Frasi Verbo+Up nei Modelli Linguistici basati su Testo e Audio

Problema
Un dibattito centrale in linguistica riguarda il compromesso tra computazione (applicare regole astratte per generare rappresentazioni nuove) e archiviazione (recuperare rappresentazioni olistiche dalla memoria). Sebbene l'elaborazione del linguaggio umano utilizzi chiaramente entrambi, i fattori che determinano quando una forma viene archiviata rispetto a quando viene computata rimangono scarsamente compresi. Le teorie basate sull'uso suggeriscono che le unità multi-parola ad alta frequenza e alta prevedibilità siano archiviate in modo olistico, un fenomeno evidenziato nella psicolinguistica umana (ad esempio, la rilevazione più lenta delle particelle nei verbi frasali ad alta frequenza). Tuttavia, non è chiaro se i Large Language Models (LLM) e i modelli di Automatic Speech Recognition (ASR) sviluppino rappresentazioni olistiche analoghe. Nello specifico, questi modelli si affidano alla memorizzazione per le frasi frequenti, e questo meccanismo di archiviazione emerge attraverso diverse modalità (testo vs audio) e scale di modello?

Metodologia
Lo studio indaga le rappresentazioni interne in tre modelli basati su testo e un modello basato su audio per testare l'archiviazione olistica delle frasi Verbo+up (V+up).

1. Modelli Esaminati:
   • Modelli LLM basati su testo: Tre modelli autoregressivi addestrati sul corpus BabyLM v3 (150M di token, comparabile all'esposizione umana) con 125M, 350M e 1.3B di parametri, più un modello più grande da 7B di parametri (OLMo-3 7B) addestrato su Dolma v1.7.
   • Modello basato su audio: Whisper-small, un modello ASR encoder-decoder addestrato su audio parlato.
2. Design Sperimentale:
   • Approccio Classificatore: Classificatori di regressione logistica sono stati addestrati per distinguere l'embedding del token up quando appare come preposizione isolata da altri token nella stessa frase.
   • Testing: Questi classificatori sono stati applicati alle frasi V+up (es. pick up) variando in frequenza (conteggio grezzo nel corpus) e prevedibilità (log-odds di up che segue un verbo specifico).
   • Metrica: Il punteggio logit del classificatore indica la somiglianza con la rappresentazione del token up isolato. Un punteggio logit inferiore implica che la rappresentazione di up all'interno della frase è divergente dalla forma isolata, suggerendo un'archiviazione olistica.
   • Esperimenti:
     • Esperimento 1: Testato up come preposizione solo.
     • Esperimento 2: Testato up come unità sub-word (inclusi casi incorporati in parole come update) per escludere che il bleaching semantico sia l'unica causa della divergenza.
     • Esperimento 3: Applicato la stessa metodologia a Whisper-small utilizzando segmenti audio parlati, estraendo le rappresentazioni sia dall'encoder che dal decoder.
   • Analisi: Regressioni a effetti misti bayesiani e Modelli Additivi Generalizzati (GAM) sono stati utilizzati per analizzare i punteggi logit attraverso frequenza, prevedibilità e strati nascosti (hidden layers).

Contributi Chiave

• Modelli Open-Source: Gli autori hanno addestrato e rilasciato tre modelli autoregressivi sul corpus BabyLM v3, con checkpoint ogni 20M di token, per facilitare la ricerca sull'apprendimento del linguaggio su scala umana.
• Evidenza Cross-Modale: Lo studio stabilisce che l'archiviazione olistica delle frasi emerge sia nei modelli LLM basati sul testo che nei modelli ASR, dimostrando che le rappresentazioni guidate da frequenza e prevedibilità sorgono attraverso le modalità.
• Scala e Capacità: La ricerca distingue gli effetti della dimensione del modello, mostrando che mentre gli effetti di frequenza sono robusti in tutte le dimensioni, la sensibilità alla prevedibilità si rafforza con la scala, suggerendo che catturare le statistiche di co-occorrenza oltre la semplice frequenza grezza richiede una maggiore capacità rappresentativa.

Risultati

• Archiviazione Olistica: Tutti i modelli hanno mostrato evidenza di archiviazione olistica. Le frasi V+up ad alta frequenza e alta prevedibilità hanno prodotto punteggi logit del classificatore significativamente inferiori, indicando che la rappresentazione di up in questi contesti diverge dal token isolato.
• Frequenza vs Prevedibilità:
  • Frequenza: Sono stati osservati effetti negativi forti e consistenti in tutti i modelli e dimensioni.
  • Prevedibilità: Gli effetti erano più deboli nei modelli più piccoli (BabyLMs) ma sono diventati progressivamente più forti e negativi nei modelli più grandi (OLMo-3 7B). Ciò suggerisce che la sensibilità alla prevedibilità richiede una maggiore capacità del modello.
• Dinamiche di Strato (Layer Dynamics): Nei modelli più grandi, la divergenza nelle rappresentazioni (archiviazione olistica) appariva negli strati nascosti iniziali. Nei modelli più piccoli, questo effetto emergeva solo negli strati successivi.
• Modalità Audio: Whisper-small ha esibito schemi simili sia nell'encoder che nel decoder. Le frasi ad alta frequenza e alta prevedibilità mostravano punteggi logit inferiori, rispecchiando i risultati dei modelli basati sul testo. Il comportamento dell'encoder suggerisce che esso astrae la variabilità acustica per formare rappresentazioni simili a quelle dei modelli basati sul testo.
• Robustezza Sub-word: L'Esperimento 2 ha confermato che questi effetti persistono anche quando up è trattato come un'unità sub-word, escludendo il bleaching semantico come unica spiegazione della divergenza.

Significato e Rivendicazioni
Il paper sostiene che questi risultati supportano le teorie dell'uso del linguaggio, le quali postulano che l'archiviazione olistica sia un fenomeno granulare guidato da frequenza e prevedibilità piuttosto che una distinzione binaria tra elementi archiviati e regole computate.

• Apprendimento su Scala Umana: L'emergere dell'archiviazione olistica in modelli addestrati su quantità di dati comparabili all'esposizione umana (BabyLMs) suggerisce che tale archiviazione è una conseguenza naturale dell'apprendimento da pattern distribuzionali, non il risultato di una memorizzazione su scala massiccia.
• Continuum di Rappresentazione: I risultati per strato suggeriscono che l'archiviazione olistica sia meglio compresa come uno spettro. Le rappresentazioni possono rimanere compositive negli strati inferiori e diventare progressivamente olistiche negli strati superiori, con i modelli più grandi che esibiscono questa divergenza prima.
• Utilità dei Transformer: Lo studio posiziona le architetture transformer come framework produttivi per investigare la meccanica dei pattern di archiviazione di tipo umano, offrendo un livello di dettaglio meccanicistico (rappresentazioni interne) che i soli dati comportamentali non possono fornire.

Gli autori mantengono la modestia riguardo ai limiti, notando che lo studio è limitato all'inglese e alla costruzione V+up, e che sono necessari futuri lavori per esaminare l'emergere dell'archiviazione come funzione della dinamica di addestramento piuttosto che solo dei checkpoint finali.