When Validation Defines Abnormality: Prediction Targets in Bayesian Accrual Measurement

In de wereld van de accountancy vertellen cijfers een verhaal over hoe een bedrijf functioneert, maar niet elk getal is een directe observatie. Sommige cijfers zijn schattingen, berekend om het routinematige van het ongewone te scheiden. Stel je de totale financiële activiteit van een bedrijf voor als een rivier. De meeste waterstromen bewegen voorspelbaar, gedreven door de standaardstromingen van verkopen, kosten en investeringen. Deze voorspelbare stroom is wat experts "normaal" gedrag noemen. Echter, soms zwelt de rivier aan of neemt deze af op manieren die niet overeenkomen met de huidige stroming. Deze afwijkingen worden "abnormale" activiteiten genoemd. In financieel onderzoek worden deze abnormale afwijkingen vaak behandend als aanwijzingen. Ze kunnen erop wijzen dat een bedrijf iets verbergt, zijn rapportages manipuleert, of te maken heeft met unieke economische schokken die standaardmodellen niet kunnen verklaren. Om deze aanwijzingen te vinden, bouwen onderzoekers eerst een model om te voorspellen hoe de normale stroom eruit zou moeten zien. Wat er overblijft na die voorspelling is het "residue", het overgebleven deel dat de abnormaliteit vertegenwoordigt.

Het probleem is dat de definitie van "normaal" niet vaststaat. Verschillende onderzoekers gebruiken verschillende formules om te berekenen hoe het normale gedrag van een bedrijf eruitziet. Sommige formules richten zich op de relatie tussen winst en kasstroom, terwijl andere kijken naar hoe activa in de loop van de tijd veranderen. Omdat er geen enkele juiste formule is, proberen onderzoekers vaak veel verschillende modellen en laten ze de data beslissen welke het beste werkt bij het voorspellen van de toekomst. Ze gebruiken een methode genaamd validatie, waarbij ze een model testen op historische data om te zien of het accuraat kan voorspellen wat er daarna gebeurde. Als een model goed voorspelt, krijgt het een hogere score en wordt het meer vertrouwd. Maar dit proces van het kiezen van het beste model rust op een specifieke regel: wat proberen we precies te voorspellen? Proberen we het volgende jaar te voorspellen voor een bedrijf dat we al kennen, of proberen we de toekomst te voorspellen voor een volledig nieuw bedrijf dat we nog nooit hebben gezien? Deze ogenschijnlijk kleine keuze over voor wie we voorspellen, blijkt de volleduwe definitie van wat als "abnormaal" wordt beschouwd, te veranderen.

Een recente studie door Quan Pham aan de Industrial University of Ho Chi Minh City onderzoekt precies deze vraag. De onderzoeker bestudeerde duizenden jaarlijkse financiële rapporten van 568 bedrijven die tussen 2015 en 2024 genoteerd stonden op de Vietnamese effectenbeurzen. Het doel was om te zien of de regel die gebruikt wordt om de voorspellingsmodellen te testen, de uiteindelijke meting van abnormaal gedrag daadwerkelijk verandert. Hiervoor gebruikte de studie een geavanceerde techniek genaamd "Bayesian stacking", die vele verschillende accountingmodellen combineert tot één gewogen gemiddelde. In plaats van slechts één "beste" model te kiezen, wijst deze methode een gewicht toe aan elk model op basis van hoe goed het presteerde tijdens de testfase. Het kernexperiment hield in dat dezelfde tests twee keer werden uitgevoerd, maar waarbij alleen de regel voor wat verborgen werd gehouden tijdens de test werd gewijzigd. In het eerste scenario werd slechts één jaar aan data voor een specifiek bedrijf verborgen, terwijl alle andere jaren van dat bedrijf zichtbaar bleven. Dit simuleert het voorspellen van de volgende stap voor een bekende vriend. In het tweede scenario werd de volledige geschiedenis van een specifiek bedrijf verborgen, wat het voorspellen voor een vreemde zonder geschiedenis simuleert.

De resultaten toonden een dramatische verschuiving in hoe de modellen werden gewogen, afhankelijk van welke regel werd gebruikt. Wanneer de test de mogelijkheid bood aan het model om de historische geschiedenis van een bedrijf te zien (het voorspellen voor een bekende vriend), gaf het systeem de voorkeur aan modellen die een specifiek "firm effect" bevatten. Dit is een statistisch kenmerk dat de unieke, persistente eigenaardigheden van een enkel bedrijf vastlegt, zoals een specifieke managementstijl of langetermijnbedrijfsstructuur. In dit scenario ontvingen deze bedrijfsspecifieke modellen ongeveer 59 tot 62 procent van het totale gewicht. Echter, wanneer de test de volledige geschiedenis van het bedrijf verborg (het voorspellen voor een vreemde), negeerde het systeem deze bedrijfsspecifieke modellen bijna volledig. In plaats daarvan verschoof het zijn vertrouwen naar algemene, populatieniveau-modellen die beschrijven hoe het gemiddelde bedrijf zich gedraagt. In dit geval daalde het gewicht voor bedrijfsspecifieke modellen naar minder dan 4 procent. De studie bevestigde via computersimulaties dat deze verschuiving geen willekeurige ruis of een fout in de wiskunde was. Het was een directe reactie op de datastructuur: wanneer de unieke geschiedenis van een bedrijf beschikbaar is, gebruikt de beste voorspeller deze; wanneer die geschiedenis ontbreekt, vertrouwt de beste voorspeller op het gemiddelde.

Deze herverdeling van vertrouwen had een directe en meetbare impact op de uiteindelijke cijfers. De studie vond dat hoewel de algemene rangorde van bedrijven enigszins vergelijkbaar bleef — bedrijven die hoog op de lijst stonden voor de ene methode, stonden over het algemeen ook hoog voor de andere — de specifieke bedrijven die als de meest extreme uitschieters werden geïdentificeerd, aanzienlijk veranderden. Wanneer men keek naar de bovenste vijf procent van de bedrijven met de meest "abnormale" activiteit, kwamen de twee methoden in slechts ongeveer 65 tot 69 procent van de gevallen overeen. Dit betekent dat ongeveer één op de drie bedrijven die door de ene methode als zeer abnormaal werden aangemerkt, niet werd aangemerkt door de andere. Het verschil werd nog duidelijker toen de onderzoekers de cijfers aanpasten om rekening te houden met de onzekerheid in de voorspellingen. In dat geval daalde de overeenstemming over de bovenste vijf procent naar tussen de 37 en 42 procent. In essentie fungeerde de keuze van de validatieregel als een filter dat verschillende sets bedrijven door de deur liet gaan.

De studie controleerde ook of deze verschillende sets bedrijven daadwerkelijk verschillend waren in hun real-world gedrag. Het toonde aan dat de bedrijven die alleen door de "bekende vriend"-methode als abnormaal werden geïdentificeerd, de neiging hadden om lagere toekomstige winsten en rendementen op activa te hebben. Daarentegen hadden de bedrijven die alleen door de "vreemde"-methode als abnormaal werden geïdentificeerd, de neiging om hogere toekomstige kasstromen en winsten te hebben. Dit suggereert dat de twee methoden niet alleen dezelfde bedrijven anders labelen; ze vangen ook daadwerkelijk verschillende economische realiteiten op. De ene methode is afgestemd op het opsporen van afwijkingen van het eigen historische patroon van een bedrijf, terwijl de andere is afgestemd op het opsporen van afwijkingen van het algemene marktgemiddelde.

De conclusie is dat het instrument dat wordt gebruikt om abnormaliteit te meten, niet neutraal is. De regel die gekozen wordt om het voorspellingsmodel te testen, wordt onderdeel van de meting zelf. Als een onderzoeker wil weten of een bedrijf zich ongebruikelijk gedraagt ten opzichte van zijn eigen verleden, moet hij een validatieregel gebruiken die de geschiedenis van het bedrijf zichtbaar houdt. Als hij wil weten of een bedrijf ongebruikelijk is ten opzichte van de rest van de wereld, moet hij een regel gebruiken die die geschiedenis verbergt. De studie verklaart niet dat de ene methode superieur is aan de andere. In plaats daarvan laat het zien dat de definitie van "abnormaal" flexibel is en volledig afhangt van de gestelde vraag. Voor iedereen die deze metingen gebruikt om risico's te screenen, steekproeven te selecteren voor onderzoek of financiële verslaglegging te onderzoeken, is de keuze van de validatieregel niet slechts een technisch detail. Het is een fundamenteel onderdeel van het meetontwerp dat bepaalt welke bedrijven als uitschieters zullen worden gezien en welke als normaal.