HiFi-KPI: A Dataset for Hierarchical KPI Extraction from Earnings Filings
Die Autoren stellen HiFi-KPI vor, einen groß angelegten Datensatz mit hierarchisch organisierten Labels für die Extraktion von Key Performance Indicators aus iXBRL-basierten Geschäftsberichten, der verschiedene Aufgaben wie Klassifizierung und strukturierte Extraktion unterstützt und durch eine Open-Source-Implementierung sowie eine Lite-Version für schnelle Evaluation zugänglich macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
HiFi-KPI: Der „Google Maps" für Finanzberichte
Stellen Sie sich vor, Sie müssten die Bücher von tausenden verschiedenen Unternehmen lesen, um herauszufinden, wie gut sie laufen. Das Problem: Jedes Unternehmen schreibt seine Zahlen in einer völlig anderen Sprache und mit unterschiedlichen Details. Ein Unternehmen nennt den Gewinn vielleicht „Nettoertrag", ein anderes „Jahresüberschuss", und wieder ein anderes nutzt einen extrem spezifischen Code, den nur der Buchhalter des Unternehmens versteht.
Das ist genau das Problem, das die Forscher mit dem HiFi-KPI-Projekt lösen wollen. Hier ist die Erklärung, wie das funktioniert, ganz einfach und mit ein paar bildhaften Vergleichen.
1. Das Problem: Ein Labyrinth aus winzigen Etiketten
Aktuell müssen alle öffentlichen Firmen in den USA ihre Finanzberichte in einem speziellen Format einreichen, das iXBRL heißt. Stellen Sie sich iXBRL wie einen riesigen, digitalen Lagerkeller vor.
- Das Gute: Alles ist beschriftet.
- Das Schlechte: Es gibt fast 200.000 verschiedene Etiketten!
- Die Situation: Ein Unternehmen klebt auf eine Zahl das Etikett „Umsatz aus Leasingvertrag für Maschine 42 im Jahr 2023". Ein anderes Unternehmen klebt auf fast die gleiche Zahl das Etikett „Einnahmen aus Dienstleistungen".
Für einen Computer (oder einen Investor) ist das ein Albtraum. Man kann diese Daten nicht einfach vergleichen, weil die Etiketten zu spezifisch sind. Es ist, als würde man versuchen, Äpfel und Birnen zu vergleichen, aber jedes Obst hat einen eigenen, handgeschriebenen Namen, den niemand sonst kennt.
2. Die Lösung: HiFi-KPI (Der große Ordner)
Die Forscher haben nun eine riesige Datenbank namens HiFi-KPI erstellt.
- Die Größe: Sie enthält 1,65 Millionen Textabschnitte aus echten Finanzberichten.
- Der Trick: Sie haben diese chaotischen 200.000 Etiketten in eine hierarchische Struktur gebracht.
Die Analogie:
Stellen Sie sich vor, Sie haben einen Haufen loser Blätter mit Notizen.
- Ohne HiFi-KPI: Jeder Notizzettel ist ein einzigartiges Wort.
- Mit HiFi-KPI: Die Forscher haben einen riesigen Ordner angelegt. Sie nehmen die spezifischen Notizen und stecken sie in übergeordnete Fächer.
- Statt „Umsatz aus Leasingvertrag für Maschine 42" wird es zu: Umsatz -> Leasing -> Maschinen.
- Statt „Nettoertrag 2023" wird es zu: Gewinn.
Dadurch können Computer endlich „verstehen", dass diese verschiedenen, komplizierten Begriffe eigentlich dasselbe bedeuten.
3. Der Kontext: Nicht nur die Zahl, sondern die Geschichte
Ein weiterer genialer Aspekt ist, dass HiFi-KPI nicht nur die Zahl speichert, sondern auch die Umgebung.
Wenn in einem Bericht steht: „Wir haben 819,9 Millionen Dollar verdient", ist das wertlos, wenn man nicht weiß:
- Wann? (Januar bis Dezember 2023?)
- In welcher Währung? (Dollar, Euro oder Yen?)
- Was genau war das? (Miete? Verkauf? Zinsen?)
HiFi-KPI verknüpft die Zahl automatisch mit diesen Details. Es ist wie ein Kochrezept, das nicht nur sagt „Nimm 200g Mehl", sondern auch „Nimm 200g Mehl (Typ 405) für den Kuchen, der am Sonntag gebacken wird".
4. Die zwei Versionen: Der ganze Keller vs. die Vorschau
Da die Datenbank riesig ist, haben die Forscher zwei Versionen gemacht:
- HiFi-KPI (Vollversion): Der komplette Keller mit allen 1,65 Millionen Abschnitten. Das ist für große KI-Modelle gedacht, die alles lernen sollen.
- HiFi-KPI-Lite: Eine kleine, handverlesene Auswahl von 8.000 Abschnitten. Ein Finanz-Experte hat hier die wichtigsten Begriffe (wie Gewinn, Umsatz, EBIT) manuell markiert. Das ist wie eine Vorschau oder ein Testlauf, um schnell zu sehen, ob die KI das Prinzip verstanden hat, ohne den ganzen Keller durchsuchen zu müssen.
5. Was haben die Tests ergeben?
Die Forscher haben verschiedene KI-Modelle getestet, um zu sehen, ob sie diese Daten lesen können:
- Klassische KI-Modelle: Diese waren sehr gut darin, die Begriffe zu finden und zu kategorisieren (wie ein sehr schneller Bibliothekar). Sie erreichten eine Genauigkeit von über 90 %.
- Moderne Sprach-KIs (LLMs): Diese sind wie sehr intelligente, aber manchmal etwas verwirrte Studenten. Sie konnten die Texte lesen, hatten aber Schwierigkeiten, die Zahlen und Daten (Datum, Währung) perfekt zusammenzufügen. Sie verwechselten manchmal das Datum oder die Währung.
- Das Hauptproblem: Die KI hatte oft Schwierigkeiten mit Daten. Wenn steht „für die drei Monate bis zum 31. März", verstand eine KI manchmal nicht, dass das der Endzeitraum ist und nicht der Start.
Fazit: Warum ist das wichtig?
Früher mussten Investoren oder Analysten stundenlang manuell durch diese Berichte wühlen, um die richtigen Zahlen zu finden. Mit HiFi-KPI und den darauf trainierten KI-Modellen kann man diese Informationen automatisch extrahieren.
Die Metapher am Ende:
Stellen Sie sich vor, Sie wollen den besten Fußballspieler der Welt finden.
- Ohne HiFi-KPI: Sie müssen Tausende von Zeitungen durchsuchen, in denen jeder Journalist den Spieler anders nennt („Der Torjäger", „Der Stürmer", „Nummer 9 aus München").
- Mit HiFi-KPI: Sie haben eine Datenbank, die alle diese Namen automatisch auf „Erling Haaland" vereinheitlicht und Ihnen sofort zeigt: „Hier sind seine Tore, hier sind seine Läufe, hier ist sein Gehalt."
Dieses Projekt ist ein großer Schritt hin zu einer Welt, in der Finanzdaten nicht mehr nur für Menschen lesbar sind, sondern für Computer verständlich werden – was zu besseren Investitionsentscheidungen und weniger Fehlern führt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.