Utilizing Pre-trained and Large Language Models for 10-K Items Segmentation

Diese Studie stellt zwei fortschrittliche Methoden zur Segmentierung von 10-K-Berichten vor, wobei das auf BERT und Bi-LSTM basierende Modell BERT4ItemSeg mit einem Macro-F1-Score von 0,9825 die beste Genauigkeit erzielt, während das GPT4-basierte GPT4ItemSeg durch seine einfache Anpassungsfähigkeit an regulatorische Änderungen überzeugt.

Das Wesentliche

Stellen Sie sich vor, Sie möchten die Geschichte eines Unternehmens lesen, aber das Buch, das Sie erhalten, ist ein riesiger, unordentlicher Stapel aus 100.000 Seiten. Auf diesen Seiten sind die wichtigsten Kapitel – wie „Risiken", „Geschäftsbericht" oder „Rechtliche Probleme" – nicht durch klare Überschriften getrennt, sondern durcheinandergewürfelt. Manchmal steht das Kapitel „Risiken" auf Seite 50, manchmal auf Seite 200, und die Überschriften sehen jedes Mal etwas anders aus.

Genau dieses Problem lösen die Autoren dieses Papers. Sie haben zwei neue, intelligente Werkzeuge entwickelt, um aus diesen chaotischen 10-K-Berichten (den jährlichen Finanzberichten US-amerikanischer Firmen) die wichtigen Abschnitte sauber herauszufischen.

Hier ist die Erklärung der beiden Methoden, einfach und mit Bildern:

1. Das Problem: Der alte Weg (Regel-basiert)

Früher haben Forscher versucht, diese Bücher mit einem Metall-Suchgerät zu durchsuchen. Sie sagten dem Computer: „Suche nach dem Wort 'Item 7' und fange dort an zu lesen."
Das Problem: Wenn ein Unternehmen das Wort einfach anders schreibt (z. B. „Kapitel 7" statt „Item 7") oder die Seite anders formatiert ist, funktioniert das Suchgerät nicht mehr. Es ist wie ein Roboter, der nur auf ein ganz bestimmtes Wort reagiert und sofort verwirrt ist, wenn sich die Sprache leicht ändert.

2. Die neue Lösung: Zwei verschiedene Helden

Die Autoren haben zwei neue Helden ins Spiel gebracht, die viel schlauer sind als das alte Suchgerät.

Held A: BERT4ItemSeg (Der „Lernende Bibliothekar")

Stellen Sie sich einen sehr fleißigen Bibliothekar vor, der BERT heißt.

• Wie er arbeitet: BERT hat bereits Millionen von Büchern gelesen und versteht die Sprache sehr gut. Aber er hat ein Problem: Er kann nur einen kleinen Ausschnitt eines Buches auf einmal lesen (wie ein Mikroskop, das nur auf eine Zeile schauen kann).
• Das Genie: Die Autoren haben BERT nicht gezwungen, das ganze Buch auf einmal zu lesen. Stattdessen haben sie ihm gesagt: „Schau dir jede Zeile einzeln an und merke dir den Kontext." Dann haben sie ihm einen Assistenten (Bi-LSTM) zur Seite gestellt. Dieser Assistent ist wie ein Regisseur, der die einzelnen Zeilen, die BERT analysiert hat, zu einer langen, zusammenhängenden Geschichte verknüpft.
• Das Ergebnis: Dieser Bibliothekar ist extrem präzise. Er findet die Kapitelgrenzen fast perfekt (zu 98 %), weil er den Kontext jeder Zeile versteht. Er ist wie ein Experte, der das Buch auswendig kennt, aber er muss erst einmal „einlernen" (trainiert werden), bevor er loslegen kann.

Held B: GPT4ItemSeg (Der „Kluge Chatbot")

Stellen Sie sich einen extrem intelligenten Chatbot vor, der ChatGPT heißt.

• Wie er arbeitet: Dieser Chatbot hat nie ein 10-K-Buch gesehen, aber er versteht die Welt und die Sprache so gut, dass er sofort weiß, worum es geht. Er braucht keine lange Einlernphase.
• Das Problem: Wenn man ihm das ganze Buch gibt, wird er verwirrt (das Buch ist zu lang für sein „Gedächtnis"). Außerdem neigt er manchmal dazu, Dinge zu erfinden, die nicht im Buch stehen (man nennt das „Halluzinieren"). Er könnte sagen: „Hier steht ein Risiko", obwohl das Risiko gar nicht da steht.
• Die Lösung (Die „Linien-ID"-Trick): Die Autoren haben dem Chatbot einen cleveren Trick beigebracht. Statt das ganze Buch zu schicken, geben sie ihm eine Liste mit Nummern für jede Zeile (wie bei einem Telefonbuch). Sie sagen: „Finde heraus, bei welcher Zeilen-Nummer das Kapitel 'Risiken' beginnt." Der Chatbot gibt nur die Nummer zurück. Ein Computerprogramm holt dann den Text genau von dieser Nummer aus dem Originalbuch.
• Das Ergebnis: Der Chatbot erfindet nichts, weil er nur Nummern nennt, und der Text kommt exakt aus dem Original. Er ist sehr flexibel. Wenn die SEC (die Aufsichtsbehörde) morgen eine neue Regel einführt, muss man dem Chatbot nur ein paar neue Beispiele zeigen, und er kann sofort damit umgehen.

Der große Vergleich: Wer ist besser?

• Der Bibliothekar (BERT4ItemSeg) ist der Präzisionsmeister. Wenn Sie ein riesiges Projekt haben und die höchste Genauigkeit brauchen, ist er der Beste. Er ist kostenlos zu nutzen (wenn Sie einen starken Computer haben), aber er braucht Zeit zum Lernen.
• Der Chatbot (GPT4ItemSeg) ist der Flexibilitätsmeister. Er ist super schnell, wenn sich die Regeln ändern, und braucht keine teure Hardware. Aber er kostet Geld pro Nutzung und ist bei der reinen Genauigkeit ein winziges bisschen schlechter als der Bibliothekar.

Warum ist das wichtig?

In der Finanzwelt ist es wie beim Kochen: Wenn Sie ein Rezept (die Analyse) schreiben wollen, aber die Zutaten (die Texte) nicht richtig sortiert sind, schmeckt das Essen nicht.

• Früher haben Forscher Zutaten mit einem rostigen Messer geschnitten (alte Regeln), was oft zu Fehlern führte.
• Jetzt haben sie einen Laser-Schneider (BERT) und einen Roboter-Koch (GPT).

Dank dieser neuen Methoden können Forscher und Analysten viel schneller und sicherer herausfinden, welche Unternehmen Risiken eingehen oder wie gut sie verdienen. Die Autoren haben sogar einen riesigen Datensatz mit 3.737 manuell sortierten Berichten veröffentlicht, damit jeder diese neuen Werkzeuge testen und verbessern kann.

Zusammenfassend: Die Autoren haben zwei neue, intelligente Werkzeuge gebaut, um aus dem Chaos der Finanzberichte die wichtigen Kapitel herauszufischen. Eines ist ein präziser, lokaler Experte, das andere ein flexibler, kluger Assistent. Zusammen machen sie die Finanzanalyse genauer, schneller und zuverlässiger.

Technische Zusammenfassung

1. Problemstellung

Die Extraktion spezifischer Abschnitte (Items) aus US-amerikanischen Jahresberichten (Formular 10-K) ist eine grundlegende, aber schwierige Aufgabe in der Textanalyse für die Rechnungslegung und Finanzwirtschaft. Diese Berichte enthalten kritische Informationen wie die „Management's Discussion and Analysis" (MD&A, Item 7) oder Risikofaktoren (Item 1A).

Das Hauptproblem liegt in der Segmentierung: Das korrekte Identifizieren der Anfangs- und Endpunkte dieser Items im Dokumententext.

• Herausforderungen: 10-K-Berichte variieren stark in Formatierung, Struktur, Titelreihenfolge und Darstellungsweise.
• Limitationen bestehender Methoden: Die bisherige Literatur stützt sich fast ausschließlich auf regelbasierte Ansätze (Regex, String-Matching, HTML-Parsing). Diese sind fehleranfällig („brittle"), schwer zu warten und anfällig für Änderungen durch die SEC (z. B. neue Items oder Formatierungswechsel). Fehler in dieser Vorverarbeitungsphase propagieren sich durch die gesamte nachgelagerte Analyse und gefährden die Reproduzierbarkeit von Studien.
• Forschungslücke: Es fehlte an einem großen, annotierten Benchmark-Datensatz und an systematischen Vergleichen moderner Deep-Learning-Ansätze (PLMs und LLMs) für diese spezifische Aufgabe.

2. Methodik

Die Autoren stellen zwei neuartige, lernbasierte Ansätze vor, die auf unterschiedlichen Architekturen basieren, sowie einen neuen Prompting-Mechanismus für Large Language Models (LLMs).

A. Datengrundlage (Research Testbed)

• Es wurde ein manuell annotierter Datensatz mit 3.737 10-K-Berichten (Fiskaljahre 2001–2019) erstellt.
• Die Annotation erfolgte nach dem BIO-Schema (Beginning-Inside-Outside), angepasst auf Items (z. B. B1 für den Start von Item 1, I1 für den Inhalt, O für Nicht-Items).
• Die Datenqualität wurde durch mehrstufiges Training der Annotatoren und Berechnung des Cohen's Kappa (0,92) sichergestellt.

B. Ansatz 1: BERT4ItemSeg (Pre-trained Language Model)

Dieser Ansatz kombiniert einen Pre-trained Language Model (PLM) mit einem sequenziellen Klassifikator, um die Kontextfenster-Beschränkung von BERT zu überwinden.

• Architektur: Eine hierarchische Struktur.
  1. Untere Ebene (BERT): Verarbeitet den Text zeilenweise. Da einzelne Zeilen meist unter 512 Token liegen, wird das Kontextfenster von BERT nicht gesprengt. BERT erzeugt kontextualisierte Embeddings für jede Zeile.
  2. Obere Ebene (Bi-LSTM): Ein Bidirektionaler Long Short-Term Memory (Bi-LSTM) verarbeitet die Sequenz der Embeddings. Da Bi-LSTMs keine feste Obergrenze für die Sequenzlänge haben, kann das Modell 10-K-Berichte beliebiger Länge verarbeiten.
• Ziel: Vorhersage der Zeilenlabels (B, I, O) für jedes Item.

C. Ansatz 2: GPT4ItemSeg (Large Language Model)

Dieser Ansatz nutzt ChatGPT-4o (ein LLM) und adressiert zwei Hauptprobleme: Halluzinationen (Erfinden von Text) und Kontextfenster-Limits.

• Neuer Mechanismus: Line-ID-based (LIB) Prompting:
  • Statt den gesamten Text zu generieren, erhält das Modell den Text mit vorangestellten Zeilen-IDs.
  • Die Aufgabe des Modells ist es, nur die Zeilen-IDs der Startzeilen der Items auszugeben.
  • Der eigentliche Text wird anschließend deterministisch aus dem Originaldokument basierend auf diesen IDs extrahiert. Dies eliminiert Halluzinationen, da der Text nicht vom Modell generiert, sondern referenziert wird.
• Few-Shot Learning: Das Modell wird mit wenigen Beispielen (ca. 5) in den Prompt integriert, um die Aufgabe zu verstehen, ohne dass ein vollständiges Fine-Tuning nötig ist.
• Vorteil: Hohe Anpassungsfähigkeit an neue SEC-Regulierungen durch einfache Anpassung der Prompts.

3. Wichtige Beiträge

1. Datensatz: Bereitstellung des ersten groß angelegten, manuell annotierten Benchmarks für 10-K-Segmentierung (3.737 Dokumente).
2. Methodische Innovation:
   • Entwicklung von BERT4ItemSeg zur Überwindung des Kontextfenster-Limits bei langen Dokumenten durch eine hierarchische BERT-Bi-LSTM-Architektur.
   • Einführung des Line-ID-basierten Prompting (LIB) für LLMs, um Halluzinationen bei der Extraktion regulatorischer Texte zu verhindern und die Datenintegrität zu gewährleisten.
3. Vergleichende Analyse: Systematischer Vergleich von PLMs, LLMs, CRF (Conditional Random Fields) und regelbasierten Methoden unter einheitlichen Bedingungen.
4. Open Source: Bereitstellung des Codes und des Datensatzes für die wissenschaftliche Gemeinschaft.

4. Ergebnisse

Die Modelle wurden auf einem Hold-out-Testset evaluiert (hauptsächlich für die „Core Items" 1, 1A, 3 und 7).

• Performance (Macro-F1 Score):
  • BERT4ItemSeg: 0,9826 (Beste Leistung).
  • CRF (Baseline): 0,9788.
  • GPT4ItemSeg: 0,9552 (Trotz nur Few-Shot-Prompts sehr stark).
  • Regelbasiert: 0,9048 (Schlechteste Leistung).
• Statistische Signifikanz: BERT4ItemSeg ist statistisch signifikant besser als GPT4ItemSeg und regelbasierte Methoden. Der Unterschied zu CRF ist bei den Core-Items signifikant, bei anderen Items weniger stark ausgeprägt.
• Robustheit: BERT4ItemSeg zeigt eine konsistente Leistung über verschiedene Items hinweg, während GPT4ItemSeg bei bestimmten, weniger häufigen Items (z. B. Item 9A) stärkere Schwankungen aufweist.
• Anpassungsfähigkeit: GPT4ItemSeg kann neue Items (z. B. Item 1C für Cybersecurity) durch Prompt-Änderungen sofort erkennen, während BERT4ItemSeg ein erneutes Fine-Tuning mit neuen Daten benötigt.

5. Bedeutung und Implikationen

• Für die Forschung: Die Arbeit verbessert die Zuverlässigkeit und Reproduzierbarkeit von Textanalysen in der Finanzforschung erheblich. Forscher können nun sauber segmentierte Daten für Studien zu Offenlegungsqualität, Marktreaktionen und Risikofaktoren nutzen, ohne auf fehleranfällige Regex-Skripte angewiesen zu sein.
• Für die Praxis: Finanzanalysten, Prüfer und Investoren profitieren von automatisierten, präzisen Extraktionsroutinen, die Entscheidungen beschleunigen.
• Allgemeine Anwendbarkeit: Der Ansatz ist nicht auf 10-Ks beschränkt. Die LIB-Prompting-Strategie und die hierarchische Modellarchitektur lassen sich leicht auf andere SEC-Filings (10-Q, 8-K, Proxy Statements) oder andere regulatorische Dokumente übertragen.
• Strategische Empfehlung:
  • BERT4ItemSeg ist die bevorzugte Wahl für lokale Bereitstellung (GPU erforderlich) und maximale Genauigkeit.
  • GPT4ItemSeg ist ideal für schnelle Anpassungen an neue Regulierungen oder wenn keine lokale GPU-Infrastruktur vorhanden ist, erfordert aber API-Kosten und Datenschutzüberlegungen.
  • Regelbasierte Methoden werden als veraltet und nicht mehr empfohlen.

Zusammenfassend stellt diese Studie einen Paradigmenwechsel dar: weg von starren, manuell gepflegten Regeln hin zu robusten, lernbasierten Systemen, die die Komplexität und Dynamik regulatorischer Dokumente effektiv bewältigen.