Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

Jedes Unternehmen, das Waren kauft oder verkauft, muss über jede Transaktion eine präzise Aufzeichnung führen. Wenn ein Unternehmen eine Rechnung erhält, muss ein menschlicher Buchhalter entscheiden, welcher spezifischen Kategorie diese Ausgabe zuzuordnen ist – eine Aufgabe, die als Zuweisung eines Sachkontos (General Ledger Code) bekannt ist. Dies ist keine einfache Sortieraufgabe; sie erfordert professionelles Urteilsvermögen, um zu verstehen, ob ein Kauf für den täglichen Betrieb, eine Kapitalinvestition oder eine persönliche Ausgabe eines Unternehmers bestimmt ist. Diese Genauigkeit ist die Grundlage für eine korrekte Finanzberichterstattung und die Einhaltung von Steuervorschriften. Wenn diese Codes falsch sind, riskieren kleine Unternehmen unnötige Geldstrafen, und Regierungen verlieren Milliarden an Steuereinnahmen. Jahrelang war die Hoffnung groß, dass künstliche Intelligenz diese schwierige Arbeit automatisieren könnte, doch die Technologie hatte oft Schwierigkeiten, der Nuancierung eines geschulten Buchhalters gerecht zu werden.

Forscher der University of Bristol und der System Holdings Limited untersuchten kürzlich einen anderen Weg. Anstatt massive, komplexe KI-Systeme einzusetzen, die enorme Rechenleistung erfordern und Bedenken hinsichtlich des Datenschutzes aufwerfen, testeten sie, ob kleinere, spezialisierte Sprachmodelle diese Aufgabe effektiv erlernen könnten. Diese kleineren Modelle können auf einem einzelnen Computer ausgeführt werden, wodurch die sensiblen Finanzdaten innerhalb der eigenen Unternehmensmauern sicher bleiben. Das Team wollte nicht nur verstehen, ob diese Modelle funktionierten, sondern auch, wie sie „dachten“. Sie untersuchten die mathematische „Form“ der Informationen innerhalb des Computers und analysierten, wie das Modell ähnliche Rechnungen in seinem internen Speicher gruppierte. Sie entdeckten, dass die Art und Weise, wie diese kleineren Modelle Informationen organisieren, überraschend effizient ist und dass diese Organisation der Schlüssel zu ihrem Erfolg ist.

Die Forscher arbeiteten mit einem realen Datensatz von über zwei tausend Rechnungen von sieben verschiedenen Kunden einer britischen Buchhaltungsfirma. Jede Rechnung war bereits von professionellen Buchhaltern korrekt kategorisiert worden. Das Team speiste diese Daten in zwei verschiedene Arten von KI-Modellen ein: ein kleineres, effizientes Modell namens SBERT und ein größeres, komplexeres Modell namens DeBERTa. Sie testeten die Modelle mit verschiedenen Versionen des Rechnungstextes. Eine Version enthielt nur den Namen des Anbieters, das Datum und den Preis. Eine weitere enthielt die vollständige Liste der gekauften Artikel. Eine dritte Version fügte explizite Bezeichnungen wie „Name des Anbieters:“ oder „Preis:“ hinzu, um den Text für einen menschlichen Leser strukturierter erscheinen zu lassen.

Die Ergebnisse offenbarten eine kontraintuitive Wahrheit darüber, wie Maschinen lesen. Die Version des Textes, die für einen Menschen am einfachsten zu lesen war – mit klaren Bezeichnungen und einem strukturierten Format –, machte es der KI tatsächlich schwerer, zwischen verschiedenen Arten von Rechnungen zu unterscheiden. Wenn der Computer die Wörter „Name des Anbieters“ und „Preis“ in jeder einzelnen Dokument wiederholte, wurden die internen mathematischen Repräsentationen dieser Dokumente zu ähnlich, wodurch die Grenzen zwischen ihnen verschwammen. Das Modell arbeitete am besten, wenn es den rohen, unstrukturierten Text der Rechnung erhielt, genau so, wie ein menschlicher Buchhalter auf einen unordentlichen Beleg blicken würde. Das kleinere Modell, SBERT, erwies sich als die überlegene Wahl. Wenn es mit nur wenigen hundert Beispielen trainiert wurde, erreichte es ein hohes Maß an Genauigkeit und kategorisierte Rechnungen weitaus besser als ein viel größeres Modell oder eine Standard-„Zero-Shot“-KI, die nicht speziell für diese Aufgabe trainiert worden war.

Ein tieferer Blick in den internen Speicher des Computers erklärte, warum das kleinere Modell erfolgreich war, während das größere Schwierigkeiten hatte. Die Forscher fanden heraus, dass die interne Darstellung der Daten im größeren Modell „kollabierte“. Mit zunehmender Länge und Detailtiefe des Textes schwand die Fähigkeit des Modells, zwischen verschiedenen Bedeutungen zu unterscheiden, und es begann, sich primstär auf die Länge des Textes statt auf dessen Inhalt zu verlassen. Im Gegensatz dazu behielt das kleinere Modell einen reichen, mehrdimensionalen Raum bei, in dem verschiedene Arten von Rechnungen in unterschiedlichen Regionen lagen. Schon bevor es für die spezifische Aufgabe trainiert wurde, gruppierte das Modell die Rechnungen natürlich nach dem Unternehmen, das sie ausgestellt hatte, was zeigte, dass es die Quelle des Dokuments verstand. Viel wichtiger war jedoch, dass es in der Lage war, verschiedene Finanzkategorien voneinander zu trennen, selbst wenn der Text ähnlich war, sofern es genügend Beispiele gesehen hatte.

Diese Fähigkeit zur Generalisierung war entscheidend, als das Team die Modelle an einem völlig neuen Kunden testete, dessen Daten zuvor noch nie gesehen worden waren. Das größere Modell hatte erheblich zu kämpfen und benötigte hunderte neue Beispiele, um korrekt zu arbeiten. Das kleinere Modell hingegen passte sich viel schneller an und erreichte eine hohe Genauigkeit mit nur etwa einhundert neuen Rechnungen. Dies deutt darauf hin, dass das kleinere Modell eine robustere Methode zum Verständnis der Bedeutung des Textes erlernt hatte, anstatt nur Muster auswendig zu lernen. Es konnte das Gelernte von einem Unternehmen auf ein anderes übertragen und erkennen, dass eine „Reparatur des Motors“ für einen Kunden dieselbe Kategorie wie eine „Reparatur des Motors“ für einen neuen Kunden war, unabhängig vom spezifischen Anbieter.

Die Studie kommt zu dem Schluss, dass für Aufgaben wie die Rechnungskategorisierung ein kleineres, hausinternes Modell oft das bessere Werkzeug ist als ein massives, generisches. Es bietet ein praktisches Gleichgewicht zwischen Kosten, Sicherheit und Leistung. Durch den Betrieb auf einem einzelnen Computer bleiben die sensiblen Finanzdaten privat, und durch seine geringere Größe ist es kostengünstiger im Betrieb. Die Forschung zeigte auch, dass das Hinzufügen einer zusätzlichen Struktur zum Text der KI nicht hilft; tatsächlich ist der rohe Text oft effektiver. Dieser Befund vereinfacht den Prozess für Unternehmen, da sie keine Zeit und kein Geld dafür aufwenden müssen, ihre Rechnungen vor der Eingabe in das System umzuformatieren. Die Arbeit zeigt, dass die künstliche Intelligenz mit dem richtigen Ansatz die nuancierte, geschulte Urteilskraft, die in der Buchhaltung erforderlich ist, bewältigen kann – vorausgesetzt, das System ist darauf ausgelegt, die Geometrie der Daten zu verstehen und nicht nur das Volumen des Textes.