Machine Learning versus Deep Learning for Public Financial Report Classification and Popularity Prediction: A Feasibility Study on Ghana's Controller and Accountant-General's Department
Diese Machbarkeitsstudie bewertet die Leistungsfähigkeit klassischer Modelle des maschinellen Lernens und des Deep Learning bei den Finanzberichten der Abteilung des Controller und Accountant-General von Ghana und zeigt auf, dass ein fein abgestimmtes XGBoost zwar eine perfekte Kategorisierung erreichte, die anschließende Ablationsstudie jedoch verdeutlichte, dass Keyword-Merkmale diese Ergebnisse erheblich aufgebläht haben, was die kritische Notwendigkeit einer strengen Merkmalsvalidierung vor dem Einsatz solcher Werkzeuge im öffentlichen Sektor unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Regierungen weltweit stellen ihre Finanzunterlagen zunehmend online. Dieser Wandel soll Transparenz schaffen und es Bürgern sowie Prüfern ermöglichen, zu sehen, wie öffentliche Gelder ausgegeben werden, ohne ein physisches Büro besuchen zu müssen. Doch während diese digitalen Archive wachsen, werden sie schwierig zu verwalten. Eine einzige Regierungsabteilung kann in einigen Jahren hunderte von Dokumenten veröffentlichen, die von jährlichen Budgetberichten bis hin zu Gehaltsrundschreiben reichen. Diese Dateien manuell zu sortieren ist langsam und fehleranfällig, während herauszufinden, welche Berichte die Menschen tatsächlich lesen wollen, noch schwieriger ist. Um dies zu lösen, suchen Behörden nach Computern, die das Sortieren und Vorhersagen für sie übernehmen. Hier kommt maschinelles Lernen ins Spiel. Dies sind Computerprogramme, die lernen, Muster in Daten zu erkennen, wie etwa die Wörter in einem Dokumententitel, um Entscheidungen zu treffen wie „dies ist ein Gehaltsbericht“ oder „dieser Bericht wird oft heruntergeladen werden“. Aber es gibt einen Haken: Diese Programme benötigen normalerweise tausende Beispiele, um gut zu lernen. Wenn eine Regierungsabteilung nur ein paar hundert Dokumente besitzt, bleibt unklar, ob diese intelligenten Werkzeuge tatsächlich funktionieren können oder ob sie nur auf der Grundlage glücklicher Abkürzungen raten.
In Ghana hält die Abteilung des Controller und Accountant-General eine riesige Sammlung öffentlicher Finanzberichte bereit. Zwei Forscher, Emmanuel Osei-Dwomoh und Gabriel Osei Forkuo, beschlossen zu testen, ob automatisierte Werkzeuge diese spezifische Sammlung organisieren und deren Beliebtheit vorhersagen können. Sie sammelten 131 offizielle Berichte, die zwischen 2019 und 2024 veröffentlicht wurden. Diese Dokumente umfassten alles von Editionen des Kontenplans bis hin zu Materialien zu internationalen Rechnungslegungsstandards. Die Forscher setzten sich zum Ziel, zwei verschiedene Arten von Computermodellen zu entwickeln, um diese Arbeit zu bewältigen. Der erste Typ stützte sich auf „klassisches“ maschinelles Lernen, bei dem ein menschlicher Analyst sorgfältig eine Liste spezifischer Hinweise erstellt, wie etwa das Zählen, wie oft das Wort „Budget“ vorkommt, oder das Notieren der Dateilänge. Der zweite Typ nutzte „Deep Learning“, einen komplexeren Ansatz, bei dem der Computer den rohen Text der Titel und Beschreibungen Zeichen für Zeichen liest und versucht, eigenständig Muster zu finden, ohne menschliche Hilfe. Sie testeten diese Modelle bei drei spezifischen Aufgaben: dem Sortieren der Berichte in die richtige Kategorie, dem Erraten, ob ein Bericht häufiger als der Durchschnitt heruntergeladen wird, und der Vorhersage der genauen Anzahl der Downloads.
Die Ergebnisse waren überraschend und offenbarten eine versteckte Falle in der Art und Weise, wie diese Systeme lernen. Als die Forscher die Tests zuerst durchführten, schien das klassische Modell des maszynellen Lernens perfekt zu sein. Es sortierte jeden einzelnen Bericht der Testgruppe korrekt in die richtige Kategorie ein und erreichte eine makellose Punktzahl. Auch das Deep-Learning-Modell schnitt bei dieser Aufgabe sehr gut ab. Die Forscher vermuteten jedoch, dass diese perfekte Punktzahl nicht darauf beruhte, dass die Computer den Inhalt der Berichte wirklich verstanden hatten. Sie bemerkten, dass die Hinweise, die sie dem klassischen Modell gegeben hatten, spezifische Schlüsselwörter enthielten, die fast identisch mit den Kategorienamen waren. Wenn beispielsweise ein Bericht den Titel „2024 Payroll Circular“ (Gehaltsrundschreiben 2024) trug, erhielt das Modell ein Flag mit der Information „das Wort Payroll ist vorhanden“. Da die Kategorie „Payroll“ war, wurde dem Modell im Grunde die Antwort gegeben, noch bevor es überhaupt begann.
Um dies zu beweisen, entfernten die Forscher diese spezifischen Schlüsselwort-Hinweise und führten den Test erneut durch. Die perfekte Punktzahl verschwand. Die Genauigkeit des Modells sank signifikant, blieb jedoch auf einem Niveau, das immer noch recht gut, aber weit entfernt von perfekt war. Dies bestätigte, dass der anfängliche Erfolg größtenteils auf einer Abkürzung beruhte: Die Berichte enthielten in ihren Titeln oft ihre eigenen Kategorienamen. Die Deep-Learning-Modelle, die den Text direkt lasen, fanden diese Abkürzung ebenfalls und erreichten ähnliche hohe Punktzahlen, was bewies, dass der rohe Text selbst die Antwort enthielt und nicht unbedingt ein tiefes Verständnis der Struktur des Dokuments. Als die Forscher die anderen Aufgaben betrachteten, änderte sich das Bild. Die Vorhersage, welche Berichte populär sein würden, war viel schwieriger. Die klassischen Modelle schnitten vernünftig ab und identifizierten populäre Berichte etwa drei Viertel der Zeit korrekt, während die Deep-Learning-Modelle mehr Schwierigkeiten hatten. Die Deep-Learning-Modelle zeigten auch ein seltsames Verhalten: Als die Forscher versuchten, sie durch mehr Trainingszeit zu „feintunen“, verschlechterte sich ihre Leistung tatsächlich. Dies deutet darauf hin, dass die komplexen Deep-Learning-Modelle bei einer so kleinen Dokumentensammlung zu sensibel waren und begannen, die Trainingsdaten auswendig zu lernen, anstatt allgemeine Regeln zu erlernen.
Die Studie kommt zu dem Schluss, dass für kleine Regierungsarchive wie dieses einfache, klassische Werkzeuge des maschinellen Lernens ein besserer Ausgangspunkt sind als die komplexeren Deep-Learning-Systeme. Diese einfacheren Werkzeuge sind leichter zu verstehen und weniger wahrscheinlich fehlerhaft, wenn die Daten begrenzt sind. Die Forscher warnen jedoch davor, dass jeder, der solche Werkzeuge nutzt, vorsichtig sein muss, nicht auf Abkürzungen zu vertrauen. Wenn ein Modell darauf trainiert ist, eine Kategorie zu erkennen, weil das Wort „Payroll“ im Titel erscheint, könnte es völlig versagen, wenn ein neuer Bericht eine andere Wortwahl verwendet. Die ehrlichste Erkenntnis der Arbeit ist, dass Computer zwar helfen können, diese Finanzunterlagen zu organisieren, aber noch keine Wunderwerke sind. Sie funktionieren am besten, wenn die Daten klar und die Hinweise echt sind, aber auf kleinen, unvollkommenen Datensätzen können ihre beeindruckenden Punktzahlen manchmal ein mangelndes echtes Verständnis verbergen. Die Forscher schlagen vor, dass vor dem Einsatz eines solchen Systems durch ein Regierungsportal gründlich getestet werden muss, um sicherzustellen, dass es die richtigen Dinge lernt und nicht nur die Etiketten kopiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.