Modelling Language using Large Language Models

Questo articolo sostiene che i grandi modelli linguistici possono fungere da modelli scientifici validi delle lingue pubbliche come entità sociali, difendendo tale posizione contro le critiche e proponendo un'interpretazione del modello basata sui recenti progressi nella comprensione del loro funzionamento interno.

L'essenziale

Ecco una spiegazione semplice e creativa del paper di Jumbly Grindrod, pensata per chiunque, anche senza un background tecnico.

Il Titolo: I Robot che Parlano sono come dei "Globo-Terrari" Linguistici

Immagina di voler studiare come funziona un giardino.
Per secoli, i linguisti (gli studiosi del linguaggio) hanno guardato solo la mente delle persone. Si sono chiesti: "Come funziona il cervello umano quando parla? Quali sono i fili elettrici nascosti nella nostra testa che ci permettono di formare frasi?" Hanno chiamato questo l'I-language (linguaggio interno).

Ma Jumbly Grindrod, l'autore di questo articolo, dice: "Aspetta un attimo! C'è un altro modo per guardare il giardino. Non dobbiamo guardare solo la pianta dentro il vaso (la mente), ma anche il giardino stesso come entità esterna, sociale, fatta di fiori, sentieri e regole che tutti i visitatori usano. Chiamiamo questo E-language (linguaggio esterno)."

Ecco dove entrano in gioco i LLM (i grandi modelli linguistici, come ChatGPT).

1. Il Grande Equivoco: Teoria o Modello?

Molti pensano che i robot linguistici siano "teorie" complete. Immagina che un LLM sia un professore che ti spiega perché la grammatica funziona.
L'autore dice: "No, non sono professori. Sono dei 'globo-terrari' (o modellini)."

• La Teoria: È come un manuale di istruzioni che ti spiega perché le piante crescono.
• Il Modello: È un piccolo giardino in un vaso di vetro. Non ti spiega la biologia della pianta, ma ti permette di osservare come le piante crescono, come reagiscono alla luce e come si muovono, senza dover scavare nella terra.

L'articolo sostiene che i LLM sono questi globo-terrari del linguaggio. Non ci dicono come funziona il cervello umano (quello è un altro lavoro), ma ci permettono di studiare il linguaggio come una cosa viva che esiste nella società, fatta di regole condivise da tutti.

2. Perché i Critici hanno Paura (e perché si sbagliano)

I critici (come il famoso Noam Chomsky) dicono: "Questi robot sono stupidi! Sono stati addestrati su miliardi di testi, non hanno un cervello, non capiscono nulla. Sono solo specchi che riflettono quello che hanno letto."

L'autore risponde con un'analogia geniale:
Immagina di voler studiare il clima.

• Se costruisci un modello climatico che guarda solo i dati di ieri, non è utile.
• Ma se costruisci un modello che, guardando milioni di dati passati, impara a prevedere il tempo e a capire le correnti d'aria, allora quel modello è prezioso!

I LLM non stanno solo "memorizzando" i testi (come un pappagallo che ripete a memoria). Sono stati addestrati in modo che, se provano a memorizzare tutto a memoria, falliscono (come quando un modello si "inceppa" su dati nuovi). Invece, devono imparare le regole (le correnti d'aria del linguaggio) per poter prevedere la parola successiva.
Quindi, anche se non hanno un cervello umano, hanno imparato le regole sociali che governano il linguaggio.

3. Come trasformare il "Robot" in uno "Strumento Scientifico"

Qui entra in gioco la parte più tecnica, ma spieghiamola con un esempio: La Mappa della Metropolitana.

Un LLM è un mostro complesso, un "scatolone nero" pieno di miliardi di ingranaggi che non capiamo. Come possiamo usarlo come modello scientifico?
L'autore dice: Dobbiamo creare una "Chiave di Lettura" (o Construal).

• Il problema: Il LLM è come una mappa della metropolitana disegnata da un alieno. Vedi linee e colori, ma non sai cosa significano.
• La soluzione: Gli scienziati stanno sviluppando tecniche (chiamate Explainable AI o AI spiegabile) per guardare dentro il robot e dire: "Ehi, questa parte del cervello del robot si accende quando vede una domanda? Questa parte si accende quando vede un verbo?".

Man mano che impariamo a leggere questa "mappa", possiamo dire: "Ok, questo modello non è solo un generatore di testo, è una rappresentazione fedele di come la società usa le parole".

4. L'Obiezione Finale: "Ma è solo un riassunto dei suoi libri!"

C'è chi dice: "Sì, ma il LLM è solo un riassunto compresso dei libri su cui è stato addestrato. È come un file JPEG: comprime un'immagine, ma non è l'immagine reale."

L'autore risponde: No, è diverso.
Un file JPEG è una copia statica. Se guardi un JPEG, vedi solo quello che c'è scritto.
Un LLM è come un chef che ha assaggiato milioni di piatti.
Se gli dai un ingrediente nuovo, non ti riproduce un piatto che ha già mangiato. Ti crea un nuovo piatto basandosi sulle regole della cucina che ha imparato.
Il LLM non memorizza i testi; impara le convenzioni (le regole non scritte) di come le persone parlano. Se il linguaggio cambia, il modello (se aggiornato) può catturare quel cambiamento.

In Sintesi: Cosa ci dice questo articolo?

1. Cambiare prospettiva: Smettiamo di chiedere ai robot "Come pensano gli umani?". Invece, chiediamoci "Cosa ci dicono questi robot su come il linguaggio funziona nella società?".
2. Sono Modelli, non Profeti: I LLM sono come dei simulatori di volo per il linguaggio. Non sono l'aereo reale (il cervello umano), ma sono strumenti scientifici incredibili per testare ipotesi su come funziona il "volo" (il linguaggio pubblico).
3. Il Futuro: Non dobbiamo avere paura che siano "scatole nere". Stiamo già imparando a guardare dentro di loro, a capire quali "ingranaggi" corrispondono a quali regole grammaticali o sociali.

La morale della favola:
I grandi modelli linguistici non sono la fine della linguistica, ma l'inizio di una nuova avventura. Sono come dei laboratori virtuali dove possiamo studiare il linguaggio come una forza sociale, esterna e viva, senza dover necessariamente aprire la scatola cranica di ogni parlante. E questo è un regalo enorme per la scienza.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Modelling Language using Large Language Models" di Jumbly Grindrod, strutturato secondo le richieste.

Titolo: Modelling Language using Large Language Models

Autore: Jumbly Grindrod (University of Reading)
Contesto: Accettato per pubblicazione su Philosophical Studies.

---

1. Il Problema: Il Dibattito sul Ruolo Linguistico degli LLM

Il paper affronta la divisione disciplinare riguardo alla capacità dei Modelli Linguistici su Grande Scala (LLM) di informare l'indagine linguistica.

• Posizione Negativa: Autori come Chomsky, Roberts, Watumull e Dupre sostengono che gli LLM non possano fornire insight linguistici. Le loro argomentazioni si basano sul fatto che:
  • Gli LLM sono addestrati su dati massicci in modo diverso dall'apprendimento umano (mancanza di "povertà dello stimolo" e assenza di una Grammatica Universale innata).
  • Gli LLM catturano la performance (uso statistico del linguaggio) piuttosto che la competenza (facoltà cognitiva interna o I-language).
  • Sono visti come semplici chatbot o modelli di dati di addestramento, privi di potere esplicativo teorico.
• Posizione Positiva: Autori come Baroni e Piantadosi sostengono che gli LLM possano essere visti come teorie linguistiche, poiché catturano strutture non banali e predicono il comportamento linguistico umano.
• Il Gap Identificato: L'autore nota che la visione positiva tende a trattare gli LLM come teorie della competenza cognitiva (I-language), mentre le critiche (specialmente quelle di Chomsky) smontano efficacemente questa idea. Il paper propone una terza via: trattare gli LLM non come teorie della mente, ma come modelli scientifici di lingue esterne (E-languages).

2. Metodologia e Quadro Teorico

L'autore utilizza un approccio filosofico-scientifico basato sulla filosofia della scienza e sulla linguistica, articolato in tre fasi principali:

1. Pluralismo Ontologico del Linguaggio:

   • Si rifiuta l'idea che la linguistica debba studiare esclusivamente la facoltà linguistica interna (I-language).
   • Si adotta una posizione pluralista (ispirata a Santana e Stainton) che riconosce tre oggetti di studio legittimi: oggetti mentali (competenza), oggetti astratti e oggetti sociali (E-language).
   • L'E-language è definita come un insieme di convenzioni linguistiche esterne, sociali e pubbliche, adottate da una comunità.

2. Distinzione tra Teoria e Modello (Weisberg 2007, 2013):

   • L'autore distingue tra "teoria" (spesso intesa come spiegazione diretta dei meccanismi cognitivi) e "modello" (una struttura che funge da proxy per un fenomeno reale).
   • Si introduce il concetto di "construal" (interpretazione/costruzione del modello), che comprende:
     • Assignment: Quali parti del modello rappresentano quali parti del fenomeno target.
     • Scope: Cosa del fenomeno target è catturato e cosa è ignorato.
     • Fidelity Criteria: Criteri di fedeltà dinamica (output) e rappresentazionale (struttura interna).

3. Analisi Tecnica degli LLM e XAI:

   • Si esamina come gli LLM (basati su architetture Transformer) apprendono pattern statistici da corpora enormi.
   • Si utilizzano tecniche di Explainable AI (XAI) e probing classifiers per dimostrare che le rappresentazioni interne degli LLM (embedding, attention heads) catturano effettivamente relazioni linguistiche (sintattiche, semantiche) e non solo sequenze superficiali.

3. Contributi Chiave

Il paper avanza due tesi fondamentali:

1. Gli LLM forniscono insight sulle E-languages:

   • Poiché le convenzioni linguistiche (E-languages) esistono a livello di gruppo e dipendono dall'uso effettivo, gli LLM, addestrati su enormi corpora di uso linguistico, sono strumenti ideali per tracciare queste convenzioni.
   • Gli LLM catturano le regolarità che emergono dall'interazione sociale, indipendentemente dai meccanismi cognitivi individuali.

2. Gli LLM sono Modelli Scientifici, non Teorie:

   • Gli LLM non sono teorie della competenza linguistica (non spiegano come il cervello umano impara), ma sono modelli scientifici delle lingue pubbliche.
   • Servono come proxy per l'E-language. Il loro valore non risiede nell'essere una teoria completa, ma nel fornire una struttura che permette di investigare le proprietà delle lingue esterne.
   • La costruzione di un "construal" per gli LLM è un progetto esplorativo in corso: l'opacità del modello non è un ostacolo insormontabile, ma richiede l'uso di tecniche XAI per ridurre l'incertezza del collegamento (link uncertainty) tra il modello e il fenomeno target.

4. Risultati e Argomentazioni Tecniche

• Rifutamento dell'obiezione "Modello del Corpus":
  • L'autore confuta l'idea che gli LLM siano semplici modelli del loro corpus di addestramento (o "compressioni" dei dati, come suggerito da Chiang).
  • Motivazione: Le tecniche di machine learning (split training/validation, regolarizzazione, weight decay) sono progettate specificamente per evitare l'overfitting (memorizzazione dei dati). Gli LLM devono generalizzare i pattern per funzionare su dati non visti (validation set).
  • Evidenza: Il successo degli LLM su benchmark linguistici complessi (come GLUE e SuperGLUE, che testano grammaticalità, inferenza, risoluzione anaforica) dimostra che hanno interiorizzato le regole sottostanti e le convenzioni della lingua, non solo le sequenze di addestramento.
• Validazione tramite XAI:
  • Studi citati (es. Manning et al., 2020) mostrano che le dipendenze sintattiche possono essere estratte linearmente dagli embedding contestualizzati.
  • I probing classifiers rivelano che specifici "attention heads" nei Transformer sono sensibili a categorie grammaticali (POS) e relazioni sintattiche. Questo supporta l'idea che la struttura interna del modello rappresenti le convenzioni linguistiche (assegnazione nel construal).

5. Significato e Implicazioni

• Nuova Branchia di Indagine Linguistica: Il paper apre una nuova direzione di ricerca che non compete con la linguistica cognitiva (studio della mente), ma la integra studiando la lingua come entità sociale ed esterna.
• Ridefinizione del Ruolo degli LLM: Gli LLM non devono essere giudicati sulla loro capacità di replicare la biologia umana, ma sulla loro efficacia come strumenti di modellazione per le regolarità delle lingue pubbliche.
• Metodologia Iterativa: La definizione di come gli LLM modellino le lingue (il construal) è un processo continuo. Man mano che le tecniche di interpretabilità (XAI) migliorano e le architetture evolvono, la nostra comprensione di come e quanto fedelmente gli LLM rappresentino le E-languages si affinerà.
• Ottimismo Scientifico: L'autore conclude che, reinterpretando il lavoro esistente nella linguistica computazionale attraverso la lente della modellazione scientifica, gli LLM offrono un potenziale enorme per scoprire regolarità linguistiche che altrimenti sarebbero difficili da catturare.

In sintesi, Grindrod trasforma il dibattito da "gli LLM pensano come noi?" a "gli LLM sono buoni modelli delle lingue che usiamo?", offrendo un quadro filosofico solido per utilizzare questi strumenti come proxy scientifici per le lingue pubbliche.