Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

Nel vasto panorama dell'informatica moderna, un campo noto come elaborazione del linguaggio naturale si sforza di insegnare alle macchine come leggere, comprendere e organizzare il parlato umano. Per decenni, questo lavoro si è concentrato pesantemente su lingue come l'inglese, dove le regole grammaticali sono relativamente semplici e gli strumenti digitali sono abbondanti. Tuttavia, il mondo è pieno di lingue che si comportano in modo molto diverso. Alcune, come il singalese e il tamil, parlati ampiamente in Sri Lanka, sono agglutinanti, il che significa che costruiscono parole complesse concatenando molti piccoli pezzi di significato, rendendo difficile per i programmi informatici standard riconoscere che due parole dall'aspetto diverso condividano in realtà la stessa radice. Inoltre, in molte parti del mondo, le persone non parlano in una sola lingua alla volta; le mescolano liberamente all'interno di una singola frase, un fenomeno noto come code-mixing. Quando queste complessità linguistiche incontrano la realtà disordinata dei documenti ufficiali del governo, che spesso arrivano sotto forma di documenti digitali scarsamente formattati, il risultato è una montagna di testo che i software standard semplicemente non riescono a scalare. Comprendere ciò che viene detto in questi registri è cruciale, poiché essi detengono le chiavi delle priorità politiche, delle difficoltà economiche e delle preoccupazioni sociali di una nazione, eppure sono rimasti in gran parte bloccati, preclusi a un'analisi sistematica.

Un team di ricercatori dell'Università di Moratuwa, in Sri Lanka, ha costruito un nuovo modo per sbloccare questo tesoro di informazioni. Hanno rivolto la loro attenzione agli Hansards, i verbali ufficiali del Parlamento dello Sri Lanka, che contengono migliaia di discorsi pronunciati in singalese, tamil e inglese, spesso mescolati tra loro all'interno di un unico intervento. Questi documenti sono notoriamente difficili da elaborare perché esistono come PDF scansionati con layout a due colonne confondenti e una formattazione incoerente che interrompe i software di lettura tradizionali. Per risolvere questo problema, i ricercatori hanno prima impiegato uno strumento di intelligenza artificiale potente, capace di leggere questi documenti disordinati ed estrarre le parole effettivamente pronunciate, ignorando il rumore visivo della pagina. Hanno poi inserito questo testo pulito in un sistema progettato per comprendere il significato delle parole attraverso diverse lingue, piuttosto che limitarsi a contare quanto spesso esse appaiano. Mappando i discorsi in uno spazio digitale dove le idee simili siedono vicine, indipendentemente dalla lingua utilizzata, sono stati in grado di raggruppare migliaia di singoli discorsi in temi coerenti.

Il risultato di questo sforzo è una mappa chiara della conversazione politica della nazione in quasi un decennio, dal 2017 al 2026. I ricercatori hanno analizzato 19.553 discorsi e li hanno organizzati con successo in 30 macro-argomenti, che spaziano dalla sicurezza energetica alle crisi economiche, fino alla sicurezza nazionale e alla sanità. Ciò che rende significativo questo traguardo è che il computer lo ha fatto senza che gli venisse detto cosa cercare; ha scoperto i temi da solo. Il sistema ha rilevato che i discorsi sull'economia sono aumentati drasticamente durante la crisi finanziaria del 2022 e il successivo periodo di disordini civili, mentre le discussioni sulla sicurezza nazionale sono aumentate bruscamente dopo gli attacchi di Pasqua del 2019. Fondamentalmente, il modello ha trattato le tre lingue come un unico flusso unificato di conversazione. Un discorso in tamil su una specifica questione politica è stato raggruppato insieme a un discorso in singalese sulla stessa questione, dimostrando che il significato sottostante contava più della lingua usata per esprimerlo.

I ricercatori hanno anche testato se i metodi più vecchi e tradizionali di analisi del testo potessero gestire questo compito. Hanno scoperto che gli approcci standard, che si basano sul conteggio delle combinazioni di parole, fallivano completamente. Questi metodi più datati non potevano colmare il divario tra le diverse lingue o gestire le complesse strutture delle parole in singalese e tamil, risultando in gruppi frammentati e privi di senso. Al contrario, il nuovo approccio, che utilizza il deep learning per comprendere il contesto, ha identificato con successo la struttura dei dibattiti. Il team ha anche esplorato un metodo ibrido che combinava la comprensione profonda del significato con l'attenzione a parole chiave specifiche per vedere se potesse rendere i gruppi ancora più nitidi. Sebbene questo metodo abbia reso più chiari i confini tra i temi, ha anche comportato l'esclusione di alcuni discorsi dai gruppi, suggerendo un compromesso tra precisione e copertura.

In definitiva, questo lavoro dimostra che è possibile dare un senso a un complesso discorso politico multilingue senza l'intervento umano. Trattando le diverse lingue dello Sri Lanka come un unico, ricco dataset, i ricercatori sono stati in grado di rivelare come l'attenzione della nazione si sposti in risposta agli eventi del mondo reale. Le scoperte mostrano che i temi discussi in parlamento non sono casuali; essi salgono e scendono in risposta diretta alle sfide del paese, dalla gestione del debito pubblico alla cura dei malati. Questo nuovo quadro fornisce una solida base per studi futuri, permettendo ai ricercatori e al pubblico di tracciare l'evoluzione delle priorità politiche con una chiarezza precedentemente impossibile, trasformando un archivio caotico di discorsi in una storia strutturata del viaggio di una nazione.