When Validation Defines Abnormality: Prediction Targets in Bayesian Accrual Measurement

In der Welt der Buchhaltung erzählen Zahlen eine Geschichte darüber, wie ein Unternehmen läuft, aber nicht jede Zahl ist eine direkte Beobachtung. Einige Figuren sind Schätzungen, die berechnet werden, um das Routinemäßige vom Ungewöhnlichen zu trennen. Stellen Sie sich die gesamte Finanzaktivität eines Unternehmens wie einen Fluss vor. Der Großteil des Wassers fließt vorhersehbar, angetrieben von den standardmäßigen Strömungen von Verkäufen, Kosten und Investitionen. Dieser vorhersehbare Fluss ist das, was Experten als „normales“ Verhalten bezeichnen. Manchmal schwillt der Fluss jedoch an oder sinkt ab, auf eine Weise, die nicht zum aktuellen Verlauf passt. Diese Abweichungen werden als „anormale“ Aktivitäten bezeichnet. In der Finanzforschung werden diese abnormalen Abweichungen oft als Hinweise behandelt. Sie könnten darauf hindeuten, dass ein Unternehmen etwas verbirgt, seine Berichte manipuliert oder mit einzigartigen wirtschaftlichen Schocks konfrontiert ist, die Standardmodelle nicht erklären können. Um diese Hinweise zu finden, bauen Forscher zuerst ein Modell auf, das vorhersagt, wie der normale Fluss aussehen sollte. Was nach dieser Vorhersage übrig bleibt, ist das „Residuum“, das übrig gebliebene Stück, das die Abnormalität repräsentiert.

Das Problem ist, dass die Definition von „normal“ nicht feststeht. Verschiedene Forscher verwenden unterschiedliche Formeln, um zu berechnen, wie das normale Verhalten eines Unternehmens aussehen sollte. Einige Formeln konzentrieren sich darauf, wie Gewinne mit dem Cashflow zusammenhängen, während andere darauf schauen, wie sich Vermögenswerte im Laufe der Zeit verändern. Da es keine einzige korrekte Formel gibt, versuchen Forscher oft viele verschiedene Modelle zu verwenden und lassen die Daten entscheiden, welches am besten die Zukunft vorhersagt. Sie nutzen eine Methode namens Validierung, bei der sie ein Modell an vergangenen Daten testen, um zu sehen, ob es korrekt vorhersagen kann, was als Nächstes geschah. Wenn ein Modell gut vorhersagt, erhält es eine höhere Punktzahl und wird mehr vertraut. Aber dieser Prozess der Auswahl des besten Modells beruht auf einer spezifischen Regel: Was genau versuchen wir vorherzusagen? Versuchen wir das nächste Jahr für ein Unternehmen vorherzusagen, das wir bereits kennen, oder versuchen wir die Zukunft für ein völlig neues Unternehmen vorherzusagen, das wir noch nie gesehen haben? Diese scheinbar kleine Entscheidung darüber, für wen wir vorhersagen, erweist sich als entscheidend für die gesamte Definition dessen, was als „anormal“ gilt.

Eine aktuelle Studie von Quan Pham von der Industrial University of Ho Chi Minh City untersucht genau diese Frage. Der Forscher untersuchte tausende jährliche Finanzberichte von 568 Unternehmen, die zwischen 2015 und 2024 an vietnamesischen Börsen gelistet waren. Das Ziel war es zu sehen, ob die Regel, die zur Testung der Vorhersagemodelle verwendet wird, die endgültige Messung des abnormalen Verhaltens tatsächlich verändert. Zu diesem Zweck nutzte die Studie eine ausgeklügelte Technik namens Bayesianisches Stacking, die viele verschiedene Buchhaltungsmodelle zu einem einzigen, gewichteten Durchschnitt kombiniert. Anstatt nur ein einziges „bestes“ Modell auszuwählen, weist diese Methode jedem Modell ein Gewicht zu, basierend darauf, wie gut es während des Tests performte. Das Kernexperiment bestand darin, dieselben Tests zweimal durchzuführen, aber dabei nur die Regel zu ändern, was während des Tests verborgen wurde. Im ersten Szenario verbarg der Test nur ein einziges Jahr der Daten für ein spezifisches Unternehmen, während alle anderen Jahre des Unternehmens sichtbar blieben. Dies simuliert die Vorhersage des nächsten Schrittes für einen bekannten Freund. Im zweiten Szenario verbarg der Test jedes einzelne Jahr der Daten für ein spezifisches Unternehmen, was die Vorhersage für einen Fremden ohne Historie simuliert.

Die Ergebnisse zeigten eine dramatische Verschiebung in der Gewichtung der Modelle, je nachdem, welche Regel verwendet wurde. Wenn der Test es dem Modell erlaubte, die Historie eines Unternehmens zu sehen (Vorhersage für einen bekannten Freund), bevorzugte das System stark Modelle, die einen spezifischen „Unternehmenseffekt“ (Firm Effect) beinhalteten. Dies ist ein statistisches Merkmal, das die einzigartigen, beständigen Eigenheiten eines einzelnen Unternehmens erfasst, wie etwa einen spezifischen Managementstil oder eine langfristige Geschäftsstruktur. In diesem Szenario erhielten diese unternehmensspezifischen Modelle etwa 59 bis 62 Prozent des Gesamtgewichts. Wenn der Test jedoch die gesamte Historie des Unternehmens verbarg (Vorhersage für einen Fremden), ignorierte das System diese unternehmensspezifischen Modelle fast vollständig. Stattdessen verlagerte es sein Vertrauen auf allgemeine Modelle auf Bevölkerungsebene, die beschreiben, wie sich das durchschnittliche Unternehmen verhält. In diesem Fall sank das Gewicht für unternehmensspezifische Modelle auf weniger als 4 Prozent. Die Studie bestätigte durch Computersimulationen, dass diese Verschiebung kein zufälliges Rauschen oder ein Fehler in der Mathematik war. Es war eine direkte Reaktion auf die Datenstruktur: Wenn die einzigartige Historie eines Unternehmens verfügbar ist, nutzt der beste Prädiktor sie; wenn diese Historie fehlt, verlässt sich der beste Prädiktor auf den Durchschnitt.

Diese Umverteilung des Vertrauens hatte eine direkte und messbare Auswirkung auf die endgültigen Zahlen. Die Studie fand heraus, dass während das allgemeine Ranking der Unternehmen recht ähnlich blieb – Unternehmen, die bei einer Methode hoch auf der Liste standen, standen im Allgemeinen auch bei der anderen hoch auf der Liste –, die spezifischen Unternehmen, die als extremste Ausreißer identifiziert wurden, sich signifikant änderten. Wenn man sich die obersten fünf Prozent der Unternehmen mit der meisten „anormalen“ Aktivität ansah, stimmten die beiden Methoden in nur etwa 65 bis 69 Prozent der Fälle überein. Das bedeutet, dass etwa eines von drei Unternehmen, das von einer Methode als hochgradig anormal eingestuft wurde, von der anderen Methode nicht als solches markiert wurde. Der Unterschied wurde noch deutlicher, wenn die Forscher die Zahlen anpassten, um die Unsicherheit in den Vorhersagen zu berücksichtigen. In diesem Fall sank die Übereinstimmung bei den obersten fünf Prozent auf zwischen 37 und 42 Prozent. Im Wesentlichen wirkte die Wahl der Validierungsregel wie ein Filter, der unterschiedliche Sätze von Unternehmen durch die Tür ließ.

Die Studie prüfte auch, ob diese unterschiedlichen Sätze von Unternehmen tatsächlich in ihrem realen Verhalten verschieden waren. Sie fand heraus, dass die Unternehmen, die nur durch die „bekannter Freund“-Methode als abnormal identifiziert wurden, dazu neigten, niedrigere zukünftige Gewinne und Renditen auf das Vermögen (Return on Assets) aufzuweisen. Im Gegensatz dazu neigten die Unternehmen, die nur durch die „Fremder“-Methode als abnormal identifiziert wurden, zu höheren zukünftigen Cashflows und Gewinnen. Dies deutet darauf hin, dass die beiden Methoden nicht nur dieselben Unternehmen unterschiedlich labeln; sie erfassen tatsächlich unterschiedliche wirtschaftliche Realitäten. Eine Methode ist darauf abgestimmt, Abweichungen vom eigenen historischen Muster eines Unternehmens zu erkennen, während die andere darauf abgestimmt ist, Abweichungen vom allgemeinen Marktdurchschnitt zu erkennen.

Die Schlussfolgerung ist, dass das Werkzeug zur Messung der Abnormalität nicht neutral ist. Die Regel, die zur Testung des Vorhersagemodells gewählt wird, wird Teil der Messung selbst. Wenn ein Forscher wissen möchte, ob sich ein Unternehmen ungewöhnlich im Vergleich zu seiner eigenen Vergangenheit verhält, muss er eine Validierungsregel verwenden, die die Historie des Unternehmens sichtbar hält. Wenn er wissen möchte, ob ein Unternehmen ungewöhnlich im Vergleich zum Rest der Welt ist, muss er eine Regel verwenden, die diese Historie verbirgt. Die Studie erklärt nicht, dass eine Methode der anderen überlegen sei. Stattdessen zeigt sie, dass die Definition von „anormal“ flexibel ist und vollständig davon abhängt, welche Frage gestellt wird. Für jeden, der diese Messungen verwendet, um Risiken zu prüfen, Stichproben für die Forschung auszuwählen oder die Finanzberichterstattung zu untersuchen, ist die Wahl der Validierungsregel nicht nur ein technisches Detail. Es ist ein grundlegender Teil des Messdesigns, der bestimmt, welche Unternehmen als Ausreißer und welche als normal angesehen werden.