Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks

Immagina di cercare di costruire un traduttore universale per la mente umana, non solo per le parole, ma per le regole profonde e invisibili che rendono possibili le frasi. Questo è il mondo dell'ingegneria grammaticale. Pensa a te stesso come a un architetto che non si limita a disegnare una casa, ma scrive il codice effettivo che dice a un robot come costruirla, mattone dopo mattone, assicurandosi che il tetto non cada. Per fare questo, i linguisti utilizzano mappe speciali chiamate treebank. Se una frase è un edificio, un treebank è il progetto che mostra esattamente come ogni parola si connette alle altre, catturando chi ha fatto cosa a chi. Ma ecco la parte difficile: quando provi a costruire questi progetti per due lingue molto diverse tra loro — come una che scorre come un fiume e un'altra che salta come una rana — hai bisogno di un piano maestro che mantenga la struttura centrale identica pur lasciando che i dettagli superficiali differiscano. Questa è la sfida della grammatica parallela: assicurarsi che l'"anima" della frase sia identica tra le lingue, anche se i "vestiti" che indossa sono totalmente diversi.

Ora, entra in scena il nuovo arrivato: i Large Language Models (LLM). Questi sono i chatbot IA super intelligenti che hanno letto quasi tutto su Internet. Sono bravissimi a indovinare la parola successiva in una frase, ma possono davvero comprendere le profonde regole architettoniche della grammatica? Possono aiutare gli architetti umani a costruire questi progetti più velocemente, o sono solo sofisticati indovinatori che potrebbero accidentalmente costruire una casa con una porta nel soffitto? Questo articolo pone esattamente questa domanda, utilizzando due lingue molto distinte: il cantonese (una lingua della Cina meridionale con pochissime desinenze verbali) e l'irlandese (una lingua celtica con molte desinenze e un ordine delle parole diverso). I ricercatori volevano vedere se un'IA potesse tradurre tra queste due lingue e disegnare i corretti progetti grammaticali, agendo come un assistente utile per gli esperti umani.

L'Esperimento: L'IA come Apprendista di Grammatica

I ricercatori hanno organizzato una prova su strada con un modello di IA specifico (gpt-oss-120b di OpenAI) e gli hanno dato una serie di 50 frasi. Queste frasi erano come un "esame della patente" per la grammatica, coprendo tutto, dalle affermazioni semplici alle frasi complesse con clausole relative e strutture verbali intricate. Hanno chiesto all'IA di svolgere due compiti principali:

1. Tradurre: Trasformare una frase dal cantonese all'irlandese, o viceversa.
2. Disegnare il Progetto: Creare una mappa grammaticale formale (chiamata f-structure) che mostri le relazioni profonde tra le parole, ignorando l'ordine superficiale.

Ci hanno provato in modi diversi: chiedendo all'IA in inglese, chiedendole nella lingua di destinazione e chiedendole di fare sia la traduzione che il disegno contemporaneamente.

I Risultati: Un Mix di Brillantezza e Confusione

I risultati sono stati un po' come guardare un apprendista talentuoso ma confuso. L'IA ha dimostrato di poter talvolta vedere il quadro generale, ma spesso inciampa nei dettagli.

I Problemi di Traduzione
Quando si trattava di tradurre, l'IA ha faticato enormemente. Era come uno studente che conosce il vocabolario ma continua a confondere i dialetti.

• L'Equivoco del "Mandarino": Quando le veniva chiesto di parlare cantonese, l'IA scivolava spesso nel mandarino. Ad esempio, usava la parola hǎo bàng (fantastico) invece della corretta parola cantonese hóu lèk. È come chiedere a qualcuno di parlare con un accento scozzese e lui che accidentalmente usa lo slang americano.
• Le Parole "Inventate": Quando traduceva in irlandese, l'IA non commetteva solo errori; inventava parole. La parola per "trattore" (tarracóir) veniva talvolta trasformata in "telone", "ladro", "coniglio" o persino "bandito". Sembrava che stesse indovinando in base a come la parola suonava o al contesto in cui si trovava, piuttosto che conoscerne l'effettivo significato.
• Il Tasso di Successo: I numeri sono severi. Quando le veniva chiesto di tradurre dall'irlandese al cantonese, solo circa il 22% - 24% delle traduzioni erano accurate nel significato e naturali nella forma. Dal cantonese all'irlandese, la percentuale era ancora più bassa, con solo il 6% - 8% delle traduzioni che raggiungeva l'obiettivo. Interessante notare che cambiare la lingua delle istruzioni (il "prompt") non ha aiutato affatto; l'IA si è comportata allo stesso modo scarso sia che le venisse chiesto in inglese sia nella lingua di destinazione.

Il Disegno del Progetto
Quando si trattava di disegnare i progetti grammaticali (le f-structure), l'IA è stata leggermente più brava, ma ha ancora molta strada da fare.

• L'Inglese era Facile: Sulle frasi in inglese, l'IA ci riusciva correttamente (valutata come "Eccellente" o "Buona") circa il 46% delle volte.
• Il Cantonese era Accettabile: Per il cantonese, è riuscita in un'analisi strutturale corretta circa il 34% delle volte.
• L'Irlandese era Difficile: Per l'irlandese, il tasso di successo è sceso solo al 20%. I ricercatori sospettano che ciò sia dovuto al fatto che l'irlandese ha desinenze più complesse e un ordine delle parole diverso (Verbo-Soggetto-Oggetto) con cui l'IA non era così familiare.
• La Sfida del Progetto "Condiviso": Il compito più difficile è stato chiedere all'IA di trovare la struttura profonda condivisa tra il cantonese e l'irlandese. In questo caso, l'IA è fallita quasi sempre, con il 44% dei tentativi dal cantonese all'irlandese e il 38% dall'irlandese al cantonese valutati come "Cattivi". Ha faticato ad astrarre le regole comuni ignorando le differenze superficiali.

Cosa l'IA ha Sbagliato (e Cosa ha Azzeccato)

L'IA non è stata del tutto inutile. È riuscita a catturare le relazioni base del tipo "chi ha fatto cosa" in circa il 70% dei casi, anche se i dettagli erano disordinati. A volte suggeriva modi alternativi interessanti di guardare una frase, che potevano stimolare un'idea per un linguista umano.

Tuttavia, gli errori sono stati rivelatori.

• Stereotipi: L'IA assumeva che "agricoltori" e "autisti" fossero sempre maschi, assegnando loro tag di genere maschile anche se né il cantonese né l'irlandese richiedono il genere grammaticale per queste parole. Si basava sulla propria "conoscenza del mondo" piuttosto che sulle regole della lingua.
• Concetti Confusi: Spesso confondeva diversi tipi di strutture frasali, trattando una clausola relativa (come "l'auto che ho comprato") come se fosse un oggetto diretto, mostrando di non comprendere appieno le differenze teoriche.
• Allucinazioni: L'IA inventava parole e significati, come tradurre "immerso nel fiume" con "si è annegato nel fiume", cambiando completamente la storia.

Il Punto Fondamentale

L'articolo conclude che, sebbene questi modelli di IA siano strumenti potenti, non sono pronti a sostituire gli esperti umani nella costruzione di grammatiche complesse. Possono offrire una "bozza grezza" o un suggerimento, ma non ci si può fidare di loro per quanto riguarda i dettagli. L'IA è come uno studente molto veloce e molto sicuro di sé che ha letto molti libri, ma non ha ancora praticato abbastanza l'arte per costruire una casa robusta.

I ricercatori sottolineano che l'esperienza umana è ancora essenziale. Gli output dell'IA devono essere controllati e verificati con cura da persone che comprendano davvero le lingue. Lo studio suggerisce che finché i modelli di IA non saranno addestrati su dati molto più specifici e di alta qualità per queste lingue "meno rappresentate", rimarranno più una curiosità che un partner affidabile nel serio lavoro dell'ingegneria grammaticale. Il sogno di un costruttore di grammatica completamente automatizzato è ancora lontano, ma questo esperimento ha aiutato a mappare esattamente dove l'attuale tecnologia inciampa nei propri lacci delle scarpe.