Using Morphological Lexicons for Weakly Supervised Subword Vocabulary Learning and Bias-Aware Evaluation

Nel mondo dell'intelligenza artificiale moderna, i computer non leggono le parole come fanno gli esseri umani. Vedono il testo come una lunga stringa di caratteri e, per comprenderlo, devono scomporre quella stringa in pezzi più piccoli e gestibili. Questi pezzi sono chiamati sottoparole. Immaginate un computer che cerca di capire la parola "unhappiness". Potrebbe dividerla in "un", "happi" e "ness", o forse trattare "unhappiness" come un unico blocco. Il modo in cui un computer decide dove tagliare queste parole è chiamato tokenizzazione. Per anni, il metodo standard è stato quello di lasciare che il computer imparasse questi tagli da solo, osservando quanto spesso determinate combinazioni di lettere appaiono in enormi quantità di testo. Questo approccio statistico è efficiente, ma ha un punto cieco: spesso taglia proprio attraverso le parti significative di una parola, dividendo tra un prefisso e una radice, o tra una radice e un suffisso, semplicemente perché quei tagli sono comuni nei dati. Ciò rende la comprensione del linguaggio da parte del computer meno trasparente e talvolta meno accurata, specialmente quando si tratta di parole complesse.

Un team di ricercatori della Tongji University di Shanghai ha esplorato una strada diversa. Si sono chiesti se un computer potesse imparare a tagliare le parole in punti linguisticamente più sensati se fosse stato guidato da un dizionario di parti delle parole. Invece di affidarsi esclusivamente alla statistica pura, hanno introdotto un sistema che utilizza un lessico morfologico — un database specializzato che elenca prefissi, radici e suffissi per migliaoli di parole inglesi — come guida durante il processo di apprendimento. I ricercatori non hanno costretto il computer a seguire il dizionario perfettamente, né hanno richiesto che etichettassero manualmente ogni singola parola nei loro dati di addestramento. Invece, hanno trattato il dizionario come un segnale debole, un sottile suggerimento che dice: "Se stai per tagliare una parola qui, e questo taglio corrisponde a un prefisso o un suffisso noto, potresti voler considerare l'idea di non farlo". Hanno testato questa idea su tre diversi tipi di tokenizer informatici, ovvero gli strumenti che eseguono il taglio. I risultati hanno dimostrato che questa semplice guida ha aiutato i computer ad allineare i propri tagli con i reali mattoni costitutivi delle parole molto meglio di quanto facessero da soli.

Lo studio si è concentrato su tre metodi specifici che i computer usano per imparare come scomporre le parole. Il primo, noto come Byte Pair Encoding, è un metodo molto popolare che inizia unendo le coppie di lettere più frequenti. Il secondo è uno stile di addestramento simile a quello che alimenta molti grandi modelli linguistici, che analizza quanto bene le combinazioni di lettere si incastrino tra loro in base alla loro associazione. Il terzo è un metodo probabilistico che calcola la probabilità di diverse segmentazioni di parole. I ricercatori hanno preso un grande database chiamato MorphoLex, che contiene analisi di circa 70.000 parole inglesi, e lo hanno trasformato in tre liste semplici: una per i prefissi, una per le radici o basi, e una per i suffissi. Durante la fase di addestramento, quando il computer cercava di decidere quali combinazioni di lettere mantenere nel proprio vocabolario, il sistema controllava queste liste. Se un potenziale taglio corrispondeva a un prefisso, una radice o un suffisso noto, il computer assegnava a quell'opzione un piccolo incremento nel suo ranking. Ciò significava che le unità linguisticamente significative avevano una probabilità leggermente maggiore di essere scelte, ma il computer era comunque libero di seguire i pattern statistici del testo se i dati erano abbastanza forti.

I risultati di questo esperimento sono stati chiari e coerenti in tutti e tre i metodi. Quando i ricercatori hanno misurato quanto bene i tagli del computer corrispondessero ai reali confini morfologici delle parole, le versioni guidate hanno ottenuto prestazioni migliori rispetto alle versioni standard. Il miglioramento è stato più drammatico per il metodo Byte Pair Encoding, che ha visto la sua precisione nell'identificare i corretti confini delle parole aumentare di cinque punti percentuali. Anche il metodo probabilistico ha registrato un guadagno significativo di oltre tre punti percentuali. Il terzo metodo, quello basato sull'associazione, ha mostrato un miglioramento più piccolo ma comunque positivo di poco più di un punto percentuale. Questi guadagni non sono stati un colpo di fortuna della configurazione dei test. I ricercatori hanno progettato la loro valutazione con cura per garantire che i risultati non fossero dovuti semplicemente al fatto che il computer avesse memorizzato le parole specifiche su cui veniva testato. Hanno creato due diversi set di test: uno che includeva ogni possibile prefisso e suffisso dal loro manuale, e un altro che non lo includeva. Hanno anche diviso il loro dizionario in due parti, usandone una per insegnare al computer e un'altra completamente separata per testarlo. Anche quando il computer veniva testato su parole che non aveva mai visto nel dizionario, i miglioramenti rimanevano validi, suggerendo che il sistema avesse realmente imparato un modo migliore per segmentare le parole.

Uno dei risultati più interessanti è stato il modo in cui i diversi metodi informatici hanno reagito alla stessa guida. Il metodo che si basava puramente sulla frequenza ha cambiato il proprio vocabolario maggiormente, sostituendo molti dei suoi tagli standard con i nuovi tagli guidati dalla linguistica, e questo ha portato al maggiore miglioramento dell'accuratezza. Il metodo probabilistico ha cambiato meno il proprio vocabolario, ma ha comunque ottenuto una forte spinta nelle prestazioni. Il metodo basato sull'associazione, che aveva già una sua logica interna su come le parole si incastrano tra loro, ha cambiato il proprio vocabolario in modo più drastico ma ha visto il guadagno di accuratezza minore. Ciò suggerisce che il valore della guida del dizionario dipenda da come il computer stava originariamente cercando di imparare. Per un computer che impara solo contando, il dizionario fornisce una struttura cruciale che gli mancava. Per un computer che cerca già pattern di associazione, il dizionario offre una correzione utile ma meno trasformativa.

I ricercatori hanno anche esaminato quanto bene il sistema gestisse le parole semplici rispetto a quelle complesse. Per il metodo basato sulla frequenza, il miglioramento è stato esattamente lo stesso sia che la parola avesse una parte o tre parti. Per il metodo probabilistico, il miglioramento è stato visto soprattutto nelle parole semplici, mentre le parole complesse erano già gestite bene dal metodo standard. Questa analisi dettagliata mostra che il beneficio dell'uso di un lessico morfologico non è uniforme; esso interagisce con il modo specifico in cui il computer sta imparando. Lo studio conclude che queste risorse linguistiche possono servire a un duplice scopo. Possono agire come una guida leggera per aiutare i computer a imparare meglio le strutture del vocabolario senza la necessità di dati etichettati manualmente e costosi. Allo stesso tempo, forniscono un modo per valutare questi sistemi in modo più equo, assicurando che i miglioramenti siano reali e non semplici artefatti derivanti dall'uso degli stessi dati sia per l'insegnamento che per il test. Il lavoro dimostra che anche un semplice, discreto suggerimento da un dizionario può aiutare l'intelligenza artificiale a comprendere con maggiore chiarezza i mattoni fondamentali del linguaggio umano.