Machine Learning versus Deep Learning for Public Financial Report Classification and Popularity Prediction: A Feasibility Study on Ghana's Controller and Accountant-General's Department
Questo studio di fattibilità valuta le prestazioni dei modelli di apprendimento automatico classico e di apprendimento profondo sui rapporti finanziari del Dipartimento del Controllore e del Contabile Generale del Ghana, rivelando che, sebbene l'XGBoost perfezionato abbia ottenuto una classificazione delle categorie perfetta, lo studio di ablazione successivo ha dimostrato che le caratteristiche delle parole chiave hanno gonfiato significativamente questi risultati, sottolineando la critica necessità di una rigorosa validazione delle caratteristiche prima di implementare tali strumenti nei contesti del settore pubblico.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I governi di tutto il mondo stanno pubblicando sempre più i propri registri finanziari online. Questo cambiamento mira a portare trasparenza, permettendo a cittadini e revisori di vedere come vengono spese le risorse pubbliche senza dover visitare un ufficio fisico. Tuttavia, man mano che questi archivi digitali crescono, diventano difficili da gestire. Un singolo dipartimento governativo potrebbe pubblicare centinaia di documenti in pochi anni, che vanno dai rendiconti del bilancio annuale alle circolari sugli stipendi. Smistare questi file manualmente è lento e soggetto a errori, mentre capire quali rapporti desiderano realmente leggere è ancora più difficile. Per risolvere questo problema, le agenzie si rivolgono ai computer affinché eseguano l'ordinamento e le previsioni per loro. È qui che entra in gioco l'apprendimento automatico (machine learning). Si tratta di programmi informatici che imparano a riconoscere schemi nei dati, come le parole in il titolo di un documento, per prendere decisioni come "questo è un rapporto sullo stipendio" o "questo rapporto verrà scaricato spesso". Ma c'è un ostacolo: questi programmi di solito hanno bisogno di migliaia di esempi per imparare bene. Quando un dipartimento governativo possiede solo poche centinaia di documenti, non è chiaro se questi strumenti intelligenti possano effettivamente funzionare, o se stiano solo tirando a indovinare basandosi su scorciatoie fortunate.
In Ghana, il Controller and Accountant-General's Department detiene una vasta collezione di rapporti finanziari pubblici. Due ricercatori, Emmanuel Osei-Dwomoh e Gabriel Osei Forkuo, hanno deciso di testare se degli strumenti automatizzati potessero organizzare questa specifica collezione e prevederne la popolarità. Hanno raccolto 131 rapporti ufficiali pubblicati tra il 2019 e il 2024. Questi documenti includevano di tutto, dalle edizioni del piano dei conti ai materiali sugli standard contabili internazionali. I ricercatori si sono posti l'obiettivo di costruire due diversi tipi di modelli informatici per svolgere il lavoro. Il primo tipo si basava sul machine learning "classico", in cui un analista umano crea attentamente un elenco di indizi specifici, come contare quante volte appare la parola "bilancio" o notare la lunghezza del file. Il secondo tipo utilizzava il "deep learning", un approccio più complesso in cui il computer legge il testo grezzo dei titoli e delle descrizioni carattere per carattere, cercando di trovare schemi da solo senza l'aiuto umano. Hanno testato questi modelli su tre compiti specifici: smistare i rapporti nella categoria corretta, indovinare se un rapporto sarebbe stato scaricato più della media e prevedere il numero esatto di download.
I risultati sono stati sorprendenti e hanno rivelato una trappola nascosta nel modo in cui questi sistemi apprendono. Quando i ricercatori hanno eseguito i test per la prima volta, il modello di machine learning classico sembrava perfetto. Aveva classificato correttamente ogni singolo rapporto del gruppo di test nella sua categoria giusta, ottenendo un punteggio impeccabile. Anche il modello di deep learning si è comportato molto bene in questo compito. Tuttavia, i ricercatori sospettavano che questo punteggio perfetto non fosse dovuto al fatto che i computer avessero realmente compreso il contenuto dei rapporti. Notarono che gli indizi forniti al modello classico includevano parole chiave specifiche che erano quasi identiche ai nomi delle categorie. Ad esempio, se un rapporto era intitolato "Circolare Stipendi 2024", al modello veniva dato un segnale che diceva "la parola payroll (stipendi) è presente". Poiché la categoria era "Payroll", il modello stava essenzialmente ricevendo la risposta prima ancora di iniziare.
Per dimostrare questo, i ricercatori hanno rimosso quegli indizi basati sulle parole chiave e hanno ripetuto il test. Il punteggio perfetto è svanito. L'accuratezza del modello è scesa significativamente, assestandosi su un livello che era comunque piuttosto buono ma tutt'altro che perfetto. Ciò ha confermato che il successo iniziale era dovuto in gran parte a una scorciatoia: i rapporti contenevano spesso i propri nomi di categoria nei titoli. Anche i modelli di deep learning, che leggono direttamente il testo, hanno trovato questa scorciatoia e hanno ottenuto punteggi elevati simili, provando che il testo grezzo conteneva la risposta, non necessariamente una comprensione profonda della struttura del documento. Quando i ricercatori hanno esaminato gli altri compiti, il quadro è cambiato. Prevedere quali rapporti sarebbero stati popolari era molto più difficile. I modelli classici si sono comportati ragionevolmente bene, identificando correttamente i rapporti popolari circa tre quarti delle volte, mentre i modelli di deep learning hanno faticato di più. Anche i modelli di deep learning hanno mostato un comportamento strano: quando i ricercatori hanno cercato di "affinarli" (fine-tuning) fornendo loro più tempo di addestramento, le loro prestazioni sono in realtà peggiorate. Ciò suggerisce che, con una collezione così piccola di documenti, i complessi modelli di deep learning fossero troppo sensibili e iniziassero a memorizzare i dati di addestramento invece di apprendere regole generali.
Lo studio conclude che, per archivi governativi piccoli come questo, gli strumenti di machine learning classici e semplici sono un punto di partenza migliore rispetto ai sistemi di deep learning più complessi. Questi strumenti più semplici sono più facili da comprendere e meno propensi a rompersi quando i dati sono limitati. Tuttavia, i ricercatori avvertono che chiunque utilizzi tali strumenti deve fare attenzione a non affidarsi alle scorciatoie. Se un modello è addestrato a riconoscere una categoria perché la parola "Payroll" appare nel titolo, potrebbe fallire completamente quando un nuovo rapporto utilizza una terminologia diversa. La lezione più onesta derivante dal lavoro è che, sebbene i computer possano aiutare a organizzare questi registri finanziari, non sono ancora magici. Funzionano meglio quando i dati sono chiari e gli indizi sono genuini, ma su dataset piccoli e imperfetti, i loro punteggi impressionanti possono talvolta nascondere una mancanza di vera comprensione. I ricercatori suggeriscono che, prima che qualsiasi portale governativo implementi un tale sistema, esso debba essere testato rigorosamente per garantire che stia imparando le cose giuste, e non stia semplicemente copiando le etichette.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.