Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
Questo studio esplorativo confronta un classificatore simbolico basato su regole e un Large Language Model sull'analisi morfologica del sanscrito utilizzando dati della Bhagavad Gita, riscontrando che entrambi gli approcci mantengono una stabilità di compatibilità sotto lo scrambling dell'ordine delle parole, con l'LLM che raggiunge un'accuratezza leggermente superiore (86,43%) rispetto al sistema simbolico (81,43%).
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Il linguaggio è spesso considerato come un flusso di parole che scorre in un ordine specifico, dove la posizione di una parola ne determina il significato. In molte lingue, cambiare l'ordine delle parole cambia interamente la frase. Tuttavia, il sanscrito, un'antica lingua dell'India, opera in modo diverso. È costruito su un sistema di desinenze attaccate alle parole, molto simili a dei tag che indicano chi sta facendo cosa a chi, indipendentemente da dove la parola si trovi nella frase. Questa flessibilità permette ai parlanti di riorganizzare le parole per enfasi o effetto poetico senza perdere la logica grammaticale. Per secoli, gli studiosi si sono affidati a rigide regole scritte per decodificare queste desinenze, un metodo noto come logica basata su regole. Oggi, è emerso un nuovo tipo di strumento: i grandi modelli linguistici. Questi sono sistemi informatici addestrati su enormi quantità di testo che prevedono la parola successiva o il significato di una parola basandosi su schemi appresi, piuttosto che seguire un insieme fisero di istruzioni. La domanda che i ricercatori si sono posti è come questi due approcci molto diversi gestiscano la sfida unica del sanscrito quando l'ordine delle parole viene rimescolato.
Uno studio recente ha cercato di testare questo aspetto mettendo contrapposto un tradizionale programma informatico basato su regole a un moderno sistema di intelligenza artificiale. I ricercatori hanno utilizzato una collezione di cento versi della Bhagavad Gita, un testo sacro induista. Hanno preso le parole di questi versi e hanno creato due versioni del testo per ogni verso. Nella prima versione, le parole apparivano nel loro ordine naturale e originale. Nella seconda versione, le stesse parole erano state mescolate, o rimescolate, in modo che la sequenza fosse completamente diversa, sebbene la collezione di parole rimanesse esattamente la stessa. L'obiettivo era vedere se i sistemi informatici potessero ancora identificare correttamente il ruolo grammaticale di ogni parola — come se una parola fosse il soggetto, l'oggetto o un verbo — quando il contesto della sua posizione veniva rimosso.
Lo studio si è concentrato su un compito specifico: esaminare singole parole che erano già state separate dalle frasi e chiedere ai sistemi di etichettarle. I ricercatori hanno utilizzato un programma Python che seguiva regole esplicite e passo dopo passo per controllare le desinenze delle parole. Se una parola terminava in un certo modo, il programma le assegnava un'etichetta basata su un elenco predefinito di possibilità. Questo sistema non guarda le parole circostanti o la struttura della frase; guarda solo la parola stessa. Dall'altra parte, i ricercatori hanno utilizzato file di predizione generati da Gemini, un grande modello linguistico. Questi file contenevano le ipotesi del modello riguardo alle etichette grammaticali delle stesse parole, basate su prompt che chiedevano di concentrarsi sulle desinenze delle parole piuttosto che sulla traduzione o sul contesto.
Quando i ricercatori hanno confrontato i risultati, hanno trovato qualcosa di sorprendente. Il programma basato su regole ha performato esattamente allo stesso modo sia con l'ordine naturale che con l'ordine rimescolato. Questo era previsto, poiché il programma era progettato per ignorare completamente l'ordine delle parole; esso controllava semplicemente la parola ricevuta rispetto alla sua lista di regole. Tuttavia, anche il grande modello linguistico ha mostrato una notevole stabilità. Anche quando le parole erano rimescolate, le predizioni del modello per le etichette grammaticali non cambiavano in modo significativo. Su 280 parole specifiche controllate rispetto a una guida di riferimento, il modello ha identificato correttamente la categoria grammaticale nell'86,43% dei casi, sia quando le parole erano nell'ordine originale che quando erano rimescolate. Il sistema basato su regole era leggermente meno accurato, ottenendo l'81,43% di correttezza, ma era ugualmente costante tra le due versioni del testo.
I ricercatori sono stati attenti a sottolineare che questa stabilità non significa che il grande modello linguistico stia ignorando l'ordine delle parole o che abbia appreso le regole della grammatica sanscrita nello stesso modo di uno studioso umano. Lo studio non ha dimostrato che il modello lavori senza contesto, né ha dimostrato che possa gestire un insieme di parole completamente nuovo che non aveva mai visto prima. I risultati hanno solo mostrato che, per questo specifico set di parole, l'output del modello rimaneva costante anche quando l'input veniva rimescolato. È possibile che il modello abbia riconosciuto le parole dai suoi dati di addestramento o che i prompt specifici utilizzati abbiano scoraggiato l'uso del contesto. Lo studio ha anche evidenziato che la guida di riferimento utilizzata per controllare le risposte non era perfetta; conteneva alcune ambiguità e non era stata revisionata da più esperti, il che significa che i punteggi sono una misura di compatibilità con la guida fornita piuttosto che una verità assoluta.
Ciò che questa ricerca rivela in ultima analisi è un'istantanea di come questi due diversi tipi di tecnologia si comportano sotto un test specifico. Il sistema basato su regole si è comportato esattamente come previsto dal suo design, rimanendo invariato perché è stato costruito per essere cieco all'ordine delle parole. Anche il grande modello linguistico, che è spesso considerato dipendente fortemente dalla sequenza delle parole per comprendere il significato, ha prodotto gli stessi risultati quando la sequenza è stata interrotta. Ciò suggerisce che, per questo compito particolare, le predizioni del modello fossero robuste rispetto al rimescolamento dell'input. Tuttavia, l'autore avverte che questo non significa che il modello abbia padroneggiato il sanscrito o che si comporterà in questo modo in tutte le situazioni. Lo studio funge da registrazione chiara di ciò che è accaduto con questi file specifici e questi prompt specifici, mostrando che in questo confronto registrato, l'ordine delle parole non ha cambiato il risultato. Lascia aperta la questione se questa stabilità si applichi a frasi più complesse, a modelli diversi o a testi che non facevano parte dei dati di addestramento, indicando la necessità di ulteriori test con standard più rigorosi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.