Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models

1. Il Problema di Ricerca

Il lavoro si inserisce nel paradigma BabyLM, che valuta la competenza linguistica dei modelli di linguaggio addestrati su dati su scala infantile (circa 10-100 milioni di parole). Sebbene questi modelli siano stati testati su sintassi e comprensione del linguaggio naturale (NLU), manca una valutazione sulla pragmatica referenziale: come i modelli usano le parole per identificare oggetti nel mondo.

Il focus specifico è sulla Mutual Exclusivity (ME), un bias cognitivo osservato nei bambini (Markman & Wachtel, 1988) secondo cui una parola nuova viene mappata su un oggetto sconosciuto piuttosto che su uno già etichettato.

• Domanda centrale: La ME può emergere esclusivamente dall'apprendimento distribuzionale su testi di Child-Directed Speech (CDS, linguaggio diretto ai bambini), senza alcun ancoraggio visivo o referenziale (modelli text-only)?
• Ipotesi di lavoro: La maggior parte dei modelli computazionali che mostrano ME possiede un "set di referenti" (immagini, oggetti simbolici). Questo studio verifica se le sole statistiche testuali sono sufficienti a indurre questo comportamento.

2. Metodologia

Lo studio combina un'analisi esplorativa (pilot) e un esperimento confermativo pre-registrato.

Dati e Modelli

• Corpus: AO-CHILDES, un corpus di circa 4 milioni di token di linguaggio diretto ai bambini in inglese americano.
• Architettura:
  • Pilot: BabyBERTa (Masked Language Model) e un modello autoregressivo (GPT-2) di piccole dimensioni.
  • Esperimento Confermativo: 45 modelli autoregressivi basati su GPT-2, addestrati da zero su AO-CHILDES.
  • Griglia di Addestramento: 3 dimensioni (Small: 2.9M, Medium: 8.9M, Large: 33.5M parametri) × 3 durate (5, 10, 20 epoche) × 5 semi casuali = 45 modelli totali.

Protocollo di Valutazione (ME Battery)

L'operazionalizzazione della ME è definita come soppressione referenziale: in un contesto con due referenti, se un oggetto familiare viene ri-etichettato, la probabilità di prevedere quel nome dovrebbe diminuire (ME) o aumentare (priming di ripetizione).

1. Track Familiar-Familiar (H1): Si presenta un contesto con due oggetti familiari (es. "c'è un cane e un gatto"). Poi si ri-etichetta uno ("quello è un cane"). La ME prevede che la probabilità di "cane" diminuisca rispetto alla baseline. L'opposto indica Anti-ME (priming di ripetizione).
2. Diagnostica di Dipendenza dal Contesto (H2): Per distinguere la vera ME da artefatti di similarità negli embedding, si testano token nonce (parole fittizie) in diverse condizioni (solo contesto nonce, contesto con nome familiare, nessun contesto). Se l'effetto ME è guidato dalla similarità degli embedding e non dalla disambiguazione pragmatica, le condizioni senza contesto familiare dovrebbero mostrare un segnale "ME" più forte.
3. Track Dose-Risposta (H3): Si varia il numero di ripetizioni (0, 1, 2, 3) per verificare se il vantaggio di priming aumenta monotonicamente con le ripetizioni.

3. Risultati Chiave

A. Assenza di Mutual Exclusivity (Anti-ME Dominante)

• Risultato H1: In tutte le 9 celle della griglia (tutte le combinazioni di dimensione ed epoca), i modelli mostrano un comportamento Anti-ME (priming di ripetizione).
  • Il tasso di Anti-ME varia dall'85% al 100% degli item.
  • Etichettare un oggetto familiare aumenta la probabilità di prevedere nuovamente quel nome, non la diminuisce.
  • Questo effetto è statisticamente significativo in tutte le celle ($p < 2.4 \times 10^{-13}$).

B. Attenuazione ma Non Inversione

• Esiste una correlazione negativa tra la qualità del modello (misurata dalla Perplexity, PPL) e l'intensità del priming ($\rho = -0.533$).
• I modelli più grandi e meglio addestrati mostrano un priming più debole, ma la direzione non cambia mai: il priming si attenua verso un asintoto non nullo, ma non diventa mai soppressione (ME).
• L'estrapolazione suggerisce che servirebbe una Perplexity irrealisticamente bassa (circa 5.7) per raggiungere zero, un regime che indicherebbe memorizzazione del corpus piuttosto che generalizzazione.

C. La Diagnostica di Dipendenza dal Contesto (H2)

• I risultati confermano che il segnale apparente di ME con token nonce è guidato dalla similarità degli embedding, non dalla disambiguazione pragmatica.
• La condizione nonce_only (senza nomi familiari) produce un segnale "ME" più forte della condizione full_context (con nomi familiari). Questo dimostra che l'introduzione di un nome familiare sopprime i token della regione degli embedding dei nonce a causa del vantaggio di frequenza, non per logica referenziale.

D. Risposta alla Dose (H3)

• Il priming aumenta con il numero di ripetizioni in 8 su 9 celle.
• Nei modelli migliori (Large, 20 epoche), la monotonia stretta si indebolisce leggermente, riflettendo una migliore modellazione del discorso (i caregiver non ripetono all'infinito), ma la tendenza positiva rimane.

4. Contributi Principali

1. Prima valutazione sistematica della ME: Dimostrazione che i modelli linguistici text-only addestrati su dati infantili non sviluppano Mutual Exclusivity, indipendentemente dalla scala (parametri e dati).
2. Distinzione Meccanicistica: Identificazione che l'apprendimento distribuzionale su CDS favorisce il tracking referenziale basato sulla ripetizione (priming) piuttosto che l'esclusività lessicale.
3. Nuova Diagnostica Metodologica: Introduzione di un test di "dipendenza dal contesto" per smascherare artefatti di similarità negli embedding che mimano la competenza pragmatica nei modelli linguistici.
4. Evidenza Empirica per la Cognizione Grounded: Supporto all'ipotesi che la ME richieda un ancoraggio referenziale (oggetti visivi o rappresentazioni simboliche distinte) e non possa emergere solo dalla statistica testuale.

5. Significato e Implicazioni

• Limiti dell'Apprendimento Distribuzionale: Il paper suggerisce che le statistiche del linguaggio diretto ai bambini (CDS) contengono un segnale forte di ripetizione (es. "guarda la palla, vedi la palla?") che sovrascrive qualsiasi potenziale segnale di esclusività. Senza un set di referenti esplicito, il modello non può imparare a disambiguare basandosi sull'esclusività.
• Grounded Cognition: I risultati allineano i modelli AI alla letteratura sulla cognizione radicata (grounded cognition): la ME emerge solo quando il sistema ha accesso a referenti (immagini/oggetti), come dimostrato in studi precedenti su modelli vision-language.
• Implicazioni per BabyLM: La valutazione della competenza linguistica infantile non può limitarsi al solo testo. Per fenomeni referenziali complessi come la ME, sono necessari approcci multimodali che includano l'ancoraggio visivo o simbolico.
• Riflessione sulla Scala: Anche aumentando la scala dei parametri o la quantità di dati (entro limiti ragionevoli), non si osserva una transizione di fase verso la ME. Il comportamento sembra essere una proprietà stabile dell'apprendimento su dati testuali CDS.

In sintesi, il paper conclude che la Mutual Exclusivity non è una proprietà emergente dell'apprendimento statistico del linguaggio, ma dipende criticamente dalla struttura dell'input e dalla presenza di un grounding referenziale.