Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

Elke onderneming die goederen koopt of verkoopt, moet een nauwkeurige registratie bijhouden van elke transactie. Wanneer een bedrijf een factuur ontvangt, moet een menselijke accountant beslissen in welke specifieke categorie deze uitgave valt, een taak die bekendstaat als het toewijzen van een grootboekrekeningnummer. Dit is geen simpel sorteerwerk; het vereist professioneel oordeelsvermogen om te begrijpen of een aankoop bedoeld is voor de dagelijkse bedrijfsvoering, een kapitaalinvestering of een persoonlijke uitgave van een ondernemer. Het correct uitvoeren hiervan is de basis voor nauwkeurige financiële rapportage en belastingcompliance. Als deze codes onjuist zijn, krijgen kleine bedrijven te maken met onnodige boetes en verliezen overheden miljarden aan belastinginkomsten. Jarenlang was de hoop dat kunstmatige intelligentie dit moeilijke werk zou kunnen automatiseren, maar de technologie heeft er vaak moeite mee gehad om de nuance van een getrainde accountant te evenaren.

Onderzoekers van de Universiteit van Bristol en System Holdings Limited verkenden onlangs een andere weg. In plaats van massieve, complexe AI-systemen te gebruiken die enorme hoeveelheden rekenkracht vereisen en zorgen oproepen over gegevensprivacy, testten zij of kleinere, gespecialiseerde taalmodellen dit werk effectief konden leren. Deze kleinere modellen kunnen op een enkele computer worden gedraaid, waardoor gevoelige financiële gegevens veilig binnen de eigen muren van een bedrijf blijven. Het team wilde niet alleen begrijpen of deze modellen werkten, maar ook hoe ze dachten. Ze keken naar de mathematische "vorm" van de informatie binnen de computer, waarbij ze onderzochten hoe het model vergelijkbare facturen in zijn interne geheugen bij elkaar groepeerde. Ze ontdekten dat de manier waarop deze kleinere modellen informatie organiseren verrassend efficiënt is en dat deze organisatie de sleutel tot hun succes vormt.

De onderzoekers werkten met een real-world dataset van meer dan tweeduizend facturen van zeven verschillende klanten van een Brits accountantskantoor. Elke factuur was al correct gecategoriseerd door professionele accountants. Het team voedde deze gegevens aan twee verschillende soorten AI-modellen: een kleiner, efficiënt model genaamd SBERT en een groter, complexer model genaamd DeBERTa. Ze testten de modellen met verschillende versies van de factuurtekst. Eén versie bevatte alleen de naam van de leverancier, de datum en de prijs. Een andere versie bevatte de volledige lijst van de gekochte artikelen. Een derde versie voegde expliciete labels toe, zoals "Naam leverancier:" of "Prijs:", om de tekst er gestructureerder uit te laten zien voor een menselijke lezer.

De resultaten onthulden een contra-intuïtieve waarheid over hoe machines lezen. De versie van de tekst die het makkelijkst was voor een mens om te lezen, met de duidelijke labels en het gestructureerde formaat, maakte het de AI juist moeilijker om onderscheid te maken tussen verschillende soorten facturen. Wanneer de computer de woorden "Naam leverancier" en "Prijs" in elk document herhaald zag, werden de interne mathematische representaties van die documenten te veel met elkaar gelijk, waardoor de grenzen tussen hen vervaagden. Het model presteerde het best wanneer het de ruwe, ongestructureerde tekst van de factuur kreeg, precies zoals een menselijke accountant even snel naar een rommelig bonnetje zou kijken. Het kleinere model, SBERT, bleek de superieure keuze. Wanneer het getraind werd op slechts een paar honderd voorbeelden, bereikte het een hoog niveau van nauwkeurigheid en categoriseerde het facturen veel beter dan een veel groter model of een standaard "zero-shot" AI die niet specifiek op deze taak was getraind.

Een diepere blik in het interne geheugen van de computer verklaarde waarom het kleinere model slaagde waar het grotere model moeite had. De onderzoekers ontdekten dat de interne representatie van de data in het grotere model "gecollabeerd" was. Naarmate de tekst langer en gedetailleerder werd, vervaagde het vermogen van het model om verschillende betekenissen te onderscheiden, en begon het vooral te vertrouwen op de lengte van de tekst in plaats van op de inhoud. In contrast hiermee behield het kleinere model een rijke, multidimensionale ruimte waarin verschillende soorten facturen zich in afzonderlijke regio's bevonden. Zelfs voordat het werd getraind op de specifieke taak, groepeerde het model facturen op natuurlijke wijze op basis van het bedrijf dat ze uitgaf, wat aantoonde dat het de bron van het document begreep. Belangrijker nog, het kon verschillende financiële categorieën van elkaar scheiden, zelfs wanneer de tekst vergelijkbaar was, mits het voldoende voorbeelden had gezien.

Dit vermogen om te generaliseren was cruciaal toen het team de modellen testte op een volledig nieuwe klant waarvan de gegevens nog nooit eerder waren gezien. Het grotere model had aanzienlijke problemen en had honderden nieuwe voorbeelden nodig om correct te beginnen werken. Het kleinere model paste zich echter veel sneller aan en bereikte een hoog niveau van nauwkeurigheid met slechts ongeveer honderd nieuwe facturen. Dit suggereert dat het kleinere model een robuustere manier had geleerd om de betekenis van de tekst te begrijpen, in plaats van enkel patronen te memoriseren. Het kon wat het leerde van de ene onderneming naar een andere overdragen, waarbij het herkende dat een "reparatie van de motor" voor de ene klant dezelfde categorie was als een "reparatie van de motor" voor een nieuwe klant, ongeacht de specifieke leverancier.

De studie concludeert dat voor taken zoals factuurcategorisatie een kleiner, in-house model vaak een beter instrument is dan een massief, generiek model. Het biedt een praktische balans tussen kosten, beveiliging en prestaties. Door op een enkele computer te draaien, houdt het de gevoelige financiële gegevens privé, en door kleiner te zijn, is het goedkoper in gebruik. Het onderzoek toonde ook aan dat het toevoegen van extra structuur aan de tekst niet helpt; sterker nog, de ruwe tekst is vaak effectiever. Deze bevinding vereenvoudigt het proces voor bedrijven, omdat zij geen tijd en geld hoeven te besteden aan het herformatteren van hun facturen voordat ze aan het systeem worden gevoed. Het werk laat zien dat kunstmatige intelligentie, mits het systeem is ontworpen om de geometrie van de data te begrijpen in plaats van alleen het volume van de tekst, de genuanceerde, geschoolde oordeelsvorming kan afhandelen die vereist is in de accountancy.