Emergence of a phonological bias in ChatGPT

Titolo: Emergenza di un pregiudizio fonologico in ChatGPT

1. Il Problema e il Contesto

Il documento esplora se i moderni modelli linguistici di grandi dimensioni (LLM), in particolare ChatGPT di OpenAI, mostrino le stesse distorsioni di elaborazione fonologica osservate negli esseri umani.
Nella cognizione umana, è ben documentato un "pregiudizio per le consonanti" (consonant bias): sia nei bambini che negli adulti, l'accesso lessicale e l'identificazione delle parole si basano prevalentemente sulle consonanti piuttosto che sulle vocali. Le consonanti sono considerate più informative per la disambiguazione lessicale, mentre le vocali forniscono spesso informazioni indexicali (come il tono o l'identità del parlante).
La domanda di ricerca centrale è: ChatGPT, pur essendo addestrato su dati statistici e non attraverso l'acquisizione biologica del linguaggio, sviluppa spontaneamente questo stesso pregiudizio fonologico?

2. Metodologia

Lo studio ha utilizzato un approccio sperimentale basato su prompt per testare la capacità del modello di riconoscere la similarità tra parole.

• Design Sperimentale:

  • Sono stati selezionati 100 parole target in inglese e 100 parole target in spagnolo.
  • Le parole target variavano per lunghezza (2, 3 e 4 sillabe), struttura sillabica (CV, CVC, CCV, VC) e categoria sintattica (sostantivi, verbi, aggettivi).
  • Per ogni parola target, sono stati generati due "non-parole" (pseudoparole):
    1. Una con una modifica di una consonante (mantenendo intatta la struttura vocalica).
    2. Una con una modifica di una vocale (mantenendo intatta la struttura consonantica).
  • Le modifiche avvenivano nella stessa sillaba per entrambe le non-parole di un dato trial, per controllare le variabili posizionali.

• Procedura:

  • Inglese: Il prompt utilizzato è stato: "If you have to choose, which of these two non-words is more similar to [target word], [non-word 1] or [non-word 2]?"
  • Spagnolo: Il prompt è stato tradotto: "Si tienes que elegir, cual de estas dos no-palabras se parece más a [target word], [non-word 1] o [non-word 2]?"
  • ChatGPT è stato interrogato 100 volte per lingua, senza fornire feedback dopo ogni risposta, per evitare l'apprendimento contestuale durante la sessione. L'ordine di presentazione delle opzioni è stato bilanciato.

3. Risultati Chiave

L'analisi dei dati ha rivelato una forte tendenza del modello a privilegiare le consonanti, replicando il comportamento umano.

• Lingua Inglese:

  • ChatGPT ha scelto la non-parola che manteneva la tier consonantica (C tier) intatta in 76 casi su 100.
  • Ha scelto la non-parola con la tier vocalica (V tier) intatta solo nel 24% dei casi.
  • Il test statistico (Wilcoxon signed rank test) ha mostrato una significatività elevata ($Z=1212, p<0.005$).

• Lingua Spagnola:

  • Il modello ha mostrato una preferenza simile, scegliendo la conservazione della tier consonantica nel 74% dei casi.
  • La tier vocalica è stata scelta solo nel 26% dei casi ($Z=1313, p<0.005$).

• Robustezza:

  • Il pregiudizio è stato indipendente dalla lunghezza della parola, dalla struttura sillabica, dalla posizione della modifica o dalla categoria sintattica.
  • Il risultato si è mantenuto costante nonostante le differenze fonologiche tra inglese (17 vocali, 24 consonanti) e spagnolo (5 vocali, 20 consonanti), suggerendo che il bias non è semplicemente una risposta alla distribuzione statistica specifica di una lingua, ma una proprietà emergente del modello.

4. Contributi Principali

1. Dimostrazione di un Bias Emergente: Il lavoro dimostra che un pregiudizio cognitivo complesso, tipicamente associato all'acquisizione biologica del linguaggio umano, emerge spontaneamente in un sistema di intelligenza artificiale privo di meccanismi biologici o di "innatismo" linguistico pre-programmato.
2. Parallelismo AI-Umano: Stabilisce un parallelo significativo tra l'elaborazione del linguaggio umano e quella degli LLM, suggerendo che entrambi i sistemi, sebbene con meccanismi di apprendimento diversi (acquisizione infantile vs. addestramento su grandi dataset), convergono verso strategie di elaborazione simili per l'identificazione lessicale.
3. Indipendenza dal Linguaggio: Il fatto che il bias si manifesti sia in inglese che in spagnolo indica che non è un artefatto legato a una specifica distribuzione di fonemi, ma una proprietà generale dell'elaborazione linguistica statistica su larga scala.

5. Significato e Implicazioni

• Natura dell'Intelligenza Artificiale: Il risultato suggerisce che la capacità di focalizzarsi sulle consonanti per disambiguare i token lessicali è una soluzione ottimale che emerge naturalmente quando un sistema statistico analizza le dipendenze in grandi quantità di dati linguistici naturali. Le consonanti, essendo più informative per la distinzione tra parole, vengono "imparate" dal modello come caratteristiche prioritarie.
• Teoria dell'Acquisizione del Linguaggio: Il fatto che ChatGPT mostri questo bias senza l'esperienza infantile o la "divisione del lavoro" cognitiva proposta per i neonati (dove le consonanti servono al lessico e le vocali all'indexicalità) offre nuove prospettive sulle condizioni necessarie affinché emergano complessità linguistiche in diversi sistemi cognitivi.
• Limiti e Prospettive: Sebbene il modello non sia stato progettato con questo bias, la sua emergenza solleva questioni su quanto gli LLM possano realmente "comprendere" la struttura del linguaggio o se stiano semplicemente ottimizzando statistiche che riflettono, in modo sorprendente, i meccanismi cognitivi umani.

In conclusione, lo studio di Toro fornisce evidenze empiriche che i modelli linguistici avanzati non solo imitano la produzione del linguaggio umano, ma ne replicano anche le distorsioni percettive profonde, indicando una convergenza funzionale tra intelligenza artificiale e cognizione umana nell'elaborazione fonologica.