From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

Immagina di cercare di leggere una biblioteca di libri antichi scritti in tre diverse lingue medievali: Occitano Medievale, Catalano Medievale e Francese Medievale. Queste non sono semplici versioni antiche di lingue moderne; sono come cugini selvaggi e indomiti. L'ortografia cambia da pagina a pagina (a volte "fuoco" è scritto come fuoc, a volte come foc), la grammatica è complessa e ci sono pochissimi dizionari o insegnanti disponibili per aiutarti a comprenderle.

L'obiettivo di questo articolo è insegnare ai computer come etichettare ogni parola in questi libri con il suo "ruolo" (come sostantivo, verbo o aggettivo). Questo processo è chiamato etichettatura grammaticale (POS tagging). È il primo passo essenziale prima che un computer possa davvero comprendere la storia, tradurla o analizzarne la storia.

I ricercatori si sono chiesti: I moderni "super-intelligenti" AI (Modelli Linguistici di Grande Dimensione o LLM) possono fare un lavoro migliore in questo rispetto ai vecchi strumenti tradizionali che abbiamo utilizzato?

Ecco la spiegazione del loro esperimento, illustrata attraverso semplici analogie:

1. I Concorrenti

Lo studio ha organizzato una gara tra due tipi di "etichettatori":

• La Vecchia Guardia (Etichettatori Tradizionali): Immagina questi come bibliotecari che seguono le regole. Hanno un manuale di regole rigoroso basato sulle lingue moderne. Cercano di indovinare il ruolo di una parola guardandone la forma e confrontandola con modelli noti. Sono veloci ed economici, ma si confondono facilmente quando l'ortografia è strana o la parola è rara.
• I Nuovi Sfidanti (LLM): Questi sono come poliglotti geniali che hanno letto quasi tutto ciò che è mai stato scritto. Non seguono solo le regole; comprendono il contesto. Possono guardare una frase e "sentire" cosa potrebbe essere una parola, anche se l'ortografia è strana.

2. I Metodi di Addestramento (Come hanno insegnato all'AI)

I ricercatori non hanno lasciato che l'AI indovinasse semplicemente; hanno provato diversi modi per insegnarle:

• Zero-Shot (La "Lettura a Freddo"): Hanno dato all'AI un prompt dicendo: "Sei un esperto. Ecco una parola, dimmi il suo ruolo", senza mostrarle alcun esempio. È come chiedere a un turista di tradurre un menu senza dargli un frasario.
• Few-Shot (La "Scheda Trucco"): Hanno dato all'AI una piccola lista di esempi prima (ad esempio: "Questa parola è un sostantivo, questa è un verbo"). È come consegnare al turista alcune frasi chiave prima che inizi.
• Fine-Tuning (L'"Apprendistato"): Hanno preso l'AI e l'hanno addestrata specificamente sui testi medievali. È come assumere il turista come stagista per un mese per studiare solo questi libri specifici.
• Trasferimento Cross-Linguistico (La "Riunione della Famiglia Linguistica"): Questa è la parte più interessante. Hanno addestrato l'AI su un mix di lingue. Ad esempio, l'hanno addestrata su Catalano e Occitano insieme, poi l'hanno testata sull'Occitano. È come insegnare a qualcuno lo spagnolo e l'italiano, per poi vedere se riesce a capire meglio il portoghese perché le lingue sono correlate.

3. I Risultati: Chi ha vinto?

I risultati sono stati chiari, ma con alcune svolte interessanti:

• L'AI Vince: In quasi tutti i casi, la moderna AI (LLM) ha battuto i vecchi strumenti basati su regole. I "poliglotti geniali" hanno gestito le ortografie disordinate e strane molto meglio dei "bibliotecari che seguono le regole".
• L'Addestramento Conta: L'AI ha ottenuto i migliori risultati quando è stata effettivamente addestrata sui dati (Fine-tuning) piuttosto che limitarsi a indovinare.
• L'Equilibrio "Porridge d'Oro" del Mix di Lingue:
  • Per il dataset più piccolo e difficile (Occitano Medievale): L'AI ha imparato meglio quando ha studiato tutte e tre le lingue insieme (Trilingue). Era come lo studente che aveva bisogno di sentire tutti i dialetti correlati per finalmente capire quello difficile.
  • Per il testo medico (Francese Medievale): L'AI ha ottenuto i migliori risultati quando è stata accoppiata solo con il Catalano (Bilingue). Aggiungere la terza lingua l'ha resa in realtà leggermente peggiore. È come uno studente che impara il francese; a volte aggiungere una terza lingua (come lo spagnolo) aiuta, ma a volte concentrarsi solo sul parente più stretto (italiano/catalano) è più efficace per un compito specifico e piccolo.

4. Il "Perché" della Vittoria

I ricercatori hanno scoperto che l'AI era particolarmente brava a capire parole che hanno significato e contesto, come aggettivi, avverbi e pronomi. I vecchi strumenti faticavano con questi perché si basano su regole rigide. L'AI, invece, poteva guardare l'intera frase e dire: "Ah, questa parola descrive il sostantivo, quindi deve essere un aggettivo", anche se l'ortografia era strana.

5. Il Rovescio della Medaglia (Limitazioni)

L'articolo è onesto su ciò che non ha fatto:

• Costo: I "poliglotti geniali" (i grandi modelli AI) sono costosi da eseguire e richiedono computer potenti. I vecchi strumenti sono gratuiti e veloci.
• Dimensione dei Dati: I dataset erano molto diversi per dimensione (uno aveva 2.000 parole, un altro 59.000). I ricercatori non hanno potuto separare perfettamente se l'AI ha ottenuto buoni risultati a causa della lingua o semplicemente perché aveva più dati da cui imparare.
• Specificità: Hanno testato solo queste tre lingue. Non sappiamo ancora se questo funziona per altre lingue antiche non correlate alle lingue romanze.

La Conclusione

Questo articolo dimostra che per leggere testi medievali antichi e disordinati, l'AI moderna è un potente nuovo strumento. Non sostituisce semplicemente i vecchi metodi; li migliora significativamente, specialmente quando la si insegna mescolando lingue correlate. Tuttavia, non esiste una strategia "taglia unica". A volte è necessario mescolare tutte le lingue insieme, e a volte è necessario concentrarsi solo su due, a seconda del testo specifico che si sta cercando di leggere.

Per gli storici e gli umanisti digitali, questo significa che ora possiamo costruire strumenti migliori per organizzare e comprendere automaticamente migliaia di anni di letteratura che in precedenza erano troppo disordinati per essere gestiti dai computer.