Machine Learning versus Deep Learning for Public Financial Report Classification and Popularity Prediction: A Feasibility Study on Ghana's Controller and Accountant-General's Department
Deze haalbaarheidsstudie evalueert de prestaties van klassieke machine learning- en deep learning-modellen op de financiële rapporten van de Controller and Accountant-General's Department van Ghana, waarbij wordt onthuld dat hoewel een gefinetuned XGBoost-model een perfecte categorisatie bereikte, de daaropvolgende ablatie-studie aantoonde dat trefwoordkenmerken deze resultaten aanzienlijk hebben opgeblazen, wat het kritieke belang onderstreept van rigoureuze kenmerkvalidatie voordat dergelijke instrumenten in publieke sectoren worden ingezet.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Overheden wereldwijd plaatsen hun financiële gegevens steeds vaker online. Deze verschuiving is bedoeld om transparantie te brengen, waardoor burgers en controleurs kunnen zien hoe publiek geld wordt uitgegeven zonder een fysiek kantoor te hoeven bezoeken. Echter, naarmate deze digitale archieven groeien, worden ze moeilijk te beheren. Een enkele overheidsafdeling kan in enkele jaren honderden documenten publiceren, variërend van jaarlijkse begrotingsverklaringen tot loonrondma circulars. Het handmatig sorteren van deze bestanden is traag en foutgevoelig, terwijl uitzoeken welke rapporten mensen daadwerkelijk willen lezen nog moeilijker is. Om dit op te lossen, kijken instanties naar computers om het sorteren en voorspellen voor hen te doen. Dit is waar machine learning in beeld komt. Dit zijn computerprogramma's die leren patronen in gegevens te herkennen, zoals de woorden in een documenttitel, om beslissingen te nemen zoals "dit is een loonrapport" of "dit rapport zal vaak gedownload worden." Maar er is een addertje onder het gras: deze programma's hebben meestal duizenden voorbeelden nodig om goed te leren. Wanneer een overheidsafdeling slechts een paar honderd documenten heeft, is het onduidelijk of deze slimme instrumenten daadwerkelijk kunnen werken, of dat ze simpelweg gokken op basis van gelukkige sluiproutes.
In Ghana houdt de Controller and Accountant-General's Department een enorme collectie publieke financiële rapporten bij. Twee onderzoekers, Emmanuel Osei-Dwomoh en Gabriel Osei Forkuo, besloten te testen of geautomatiseerde tools deze specifieke collectie konden organiseren en de populariteit ervan konden voorspellen. Ze verzamelden 131 officiële rapporten die tussen 2019 en 2024 zijn gepubliceerd. Deze documenten bevatten alles van edities van de rekeningenlijst tot materialen over internationale verslaggevingsstandaarden. De onderzoekers zetten zich uiteen om twee verschillende soorten computermodellen te bouwen om het werk te verrichten. Het eerste type leunde op "klassieke" machine learning, waarbij een menselijke analist zorgvuldig een lijst van specifieke aanwijzingen maakt, zoals het tellen hoe vaak het woord "budget" voorkomt of het noteren van de lengte van het bestand. Het tweede type gebruikte "deep learning", een complexere aanpak waarbij de computer de ruwe tekst van de titels en beschrijvingen karakter voor karakter leest, in een poging zelf patronen te vinden zonder menselijke hulp. Ze testten deze modellen op drie specifieke taken: het sorteren van de rapporten in de juiste categorie, het raden of een rapport vaker dan het gemiddelde gedownload zou worden, en het voorspellen van het exacte aantal downloads.
De resultaten waren verrassend en onthulden een verborgen valstrik in hoe deze systemen leren. Toen de onderzoekers de tests voor het eerst uitvoerden, leek het klassieke machine learning-model perfect. Het sorteerde elke enkele rapport in de testgroep correct in de juiste categorie, waarmee het een vlekkeloze score behaalde. Het deep learning-model presteerde ook erg goed op deze taak. De onderzoekers vermoedden echter dat deze perfecte score niet kwam doordat de computers de inhoud van de rapporten echt begrepen. Ze merkten op dat de aanwijzingen die ze aan het klassieke model hadden gegeven, specifieke trefwoorden bevatten die bijna identiek waren aan de categorienamen. Bijvoorbeeld, als een rapport de titel "2024 Payroll Circular" had, kreeg het model een vlag mee die zei: "het woord payroll is aanwezig." Aangezien de categorie "Payroll" was, werd het model in feans het antwoord verteld voordat het überhaupt begon.
Om dit te bewijzen, verwijderden de onderzoekers die specifieke trefwoord-aanwijzingen en voerden de test opnieuw uit. De perfecte score verdween. De nauwkeurigheid van het model daalde aanzienlijk, maar bleef op een niveau dat nog steeds behoorlijk goed was, maar verre van perfect. Dit bevestigde dat het aanvankelijke succes grotendeels te danken was aan een sluiproute: de rapporten bevatten vaak hun eigen categorienamen in hun titels. De deep learning-modellen, die de tekst direct lazen, vonden deze sluiproute ook en behaalden vergelijkbare hoge scores, wat bewees dat de ruwe tekst zelf het antwoord bevatte, en niet noodzakelijkerwijs een diep begrip van de structuur van het document. Wanneer de onderzoekers naar de andere taken keken, veranderde het beeld. Het voorspellen van welke rapporten populair zouden zijn, was veel moeilijker. De klassieke modellen presteerden redelijk goed en identificeerden populaire rapporten ongeveer driekwart van de tijd correct, terwijl de deep learning-modellen meer moeite hadden. De deep learning-modellen vertoonden ook een vreemd gedrag: wanneer de onderzoekers probeerden ze te "fijn af te stemmen" door ze meer trainingstijd te geven, verslechterde hun prestatie juist. Dit suggereert dat, bij een zo kleine collectie documenten, de complexe deep learning-modellen te gevoelig waren en begonnen de trainingsgegevens te memoriseren in plaats van algemene regels te leren.
De studie concludeert dat voor kleine overheidsarchieven zoals deze, eenvoudige, klassieke machine learning-tools een betere start zijn dan de complexere deep learning-systemen. Deze eenvoudigere tools zijn makkelijker te begrijpen en minder geneigd om te breken wanneer de gegevens beperkt zijn. De onderzoekers waarschuwen echter dat iedereen die deze tools gebruikt voorzichtig moet zijn om niet te vertrouwen op sluiproutes. Als een model getraind is om een categorie te herkennen omdat het woord "Payroll" in de titel staat, kan het volledig falen wanneer een nieuw rapport andere bewoordingen gebruikt. De meest eerlijke les uit het werk is dat hoewel computers kunnen helpen bij het organiseren van deze financiële dossiers, ze nog niet magisch zijn. Ze werken het best wanneer de gegevens duidelijk zijn en de aanwijzingen echt zijn, maar op kleine, imperfecte datasets kunnen hun indrukwekkende scores soms een gebrek aan echt begrip verbergen. De onderzoekers suggereren dat voordat een overheidsportaal een dergelijk systeem implementeert, het rigoureus getest moet worden om te verzekeren dat het de juiste dingen leert, en niet alleen de labels kopieert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.