💻 computer science

Effective Performance Measurement: Challenges and Opportunities in KPI Extraction from Earnings Calls

Dieser Beitrag behandelt die Herausforderungen beim Extrahieren von Key Performance Indicators (KPIs) aus unstrukturierten Transkripten von Earnings Calls, indem er neue Benchmarks einführt, die Grenzen von Modellen demonstriert, die auf strukturierten SEC-Einreichungen trainiert wurden, und ein vom Menschen verifiziertes, auf LLMs basierendes System vorschlägt, das für die offene Informationsextraktion eine Präzision von 79,7 % erreicht.

Ursprüngliche Autoren: Rasmus T. Aavang, Rasmus Tjalk-Bøggild, Alexandre Iolov, Giovanni Rizzi, Mike Zhang, Johannes Bjerva

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rasmus T. Aavang, Rasmus Tjalk-Bøggild, Alexandre Iolov, Giovanni Rizzi, Mike Zhang, Johannes Bjerva

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Formelle Bericht" versus das „Gespräch am Telefon"

Stellen Sie sich vor, Sie versuchen zu verstehen, wie es einem Unternehmen geht. Sie haben zwei Hauptquellen für Informationen:

Die SEC-Einreichung (Der Formelle Bericht): Dies ist wie ein ausgefülltes Steuerformular. Es ist streng, folgt einem starren Schema, verwendet spezifische Felder und lässt keinen Raum für Kreativität. Wenn Sie einen Computer bitten, dies zu lesen, ist es wie das Lesen einer Tabellenkalkulation; die Zahlen sind leicht zu finden, da sie immer am selben Ort stehen.
Der Gewinn-Call (Das Gespräch am Telefon): Dies ist wie ein Live-Radiointerview mit dem CEO und dem CFO des Unternehmens. Sie sprechen mit Investoren, beantworten Fragen, erzählen Geschichten und korrigieren manchmal Fehler auf der Stelle. Es gibt keine Felder, keine Vorlagen, und die Sprache ist gesprächig. Eine Minute sprechen sie über „Umsatz", und im nächsten Moment machen sie einen Witz über „rekordverdächtiges Wachstum" oder klären einen Rechenfehler.

Das Problem:
Die Forscher stellten fest, dass Computer zwar hervorragend darin sind, die „Formellen Berichte" (SEC-Einreichungen) zu lesen, aber schrecklich darin, die „Gespräche am Telefon" (Gewinn-Calls) zu verstehen. Die Computer geraten durch den Slang, den Hin und Her-Charakter und das Fehlen einer Struktur in Verwirrung.

Die Mission: Ein besserer Übersetzer bauen

Das Team wollte herausfinden, ob sie ein System entwickeln könnten, das diese chaotischen Telefonate anhört und die wichtigen Zahlen (Key Performance Indicators, oder KPIs) genauso gut extrahiert wie ein menschlicher Experte.

Sie veranstalteten ein „Rennen" zwischen zwei Arten von KI:

Die „Old-School"-KI (Encoder): Diese sind wie Bibliothekarinnen, die die strengen Regeln der „Formellen Berichte" auswendig gelernt haben. Sie versuchten, dieselben strengen Regeln auf die „Gespräche am Telefon" anzuwenden.
Die „New-School"-KI (Large Language Models oder LLMs): Diese sind wie superkluge Praktikanten, die fast alles im Internet gelesen haben. Anstatt einem starren Regelbuch zu folgen, nutzen sie „Kontext" (den Fluss des Gesprächs), um zu erraten, was die wichtigen Zahlen sind.

Das Experiment: Die drei Datensätze

Um ihre Ideen zu testen, erstellten sie drei neue „Trainingsgelände" (Datensätze):

SECB: Ein Test mit den alten, strengen „Formellen Berichten", um zu sehen, wie gut die KI mit den Regeln umgeht.
ECB: Eine riesige Sammlung von „Gesprächen am Telefon" (unbeschriftet).
ECB-A: Eine kleine, hochwertige Stichprobe von Telefonaten, die ein menschlicher Experte sorgfältig beschriftet hat. Denken Sie daran als den „Lösungsschlüssel" für den Test.

Die Ergebnisse: Wer hat das Rennen gewonnen?

1. Die „Old-School"-Bibliothekarinnen scheiterten:
Als die Forscher versuchten, die KI, die auf den strengen „Formellen Berichten" trainiert wurde, zum Lesen der „Gespräche am Telefon" zu verwenden, scheiterte sie kläglich.

Analogie: Es ist wie der Versuch, einen Metalldetektor zu verwenden, um eine bestimmte Fischart im Ozean zu finden. Der Metalldetektor ist großartig darin, Metall am Strand zu finden (die formellen Berichte), aber er piept nur nutzlos, wenn Sie ihn unter Wasser nehmen (die Telefonate). Die KI konnte nicht mit dem Wechsel von starrem Text zu chaotischem Gespräch umgehen.

2. Die „New-School"-Praktikanten zeigten Potenzial:
Die Forscher setzten dann die superklugen LLMs (wie Llama, Qwen und Gemini) mit einem speziellen „Prompt" (einer Reihe von Anweisungen) ein, um als Extraktor zu fungieren.

Die gute Nachricht: Diese Modelle waren viel besser darin, den Kontext zu verstehen. Sie konnten herausfinden, dass „iPhone-Umsatz" im März dasselbe Konzept ist wie „iPhone-Verkäufe" im Juni, selbst wenn die Wörter leicht unterschiedlich waren.
Die schlechte Nachricht: Sie waren nicht perfekt. Während sie die Bedeutung (semantisches Verständnis) sehr gut verstanden, hatten sie manchmal Schwierigkeiten mit der exakten Wortwahl (exakte Übereinstimmung).
- Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Die „Old-School"-KI erhielt 0 %, weil sie nicht wusste, dass die Fragen anders waren. Die „New-School"-KI erhielt eine hohe Punktzahl im Aufsatzteil (sie verstand das Konzept), verlor aber Punkte im Multiple-Choice-Teil, weil sie die Antwort leicht anders geschrieben hatte als der Lehrer erwartet hatte.

Das „Mensch-im-Loop"-System

Da die KI nicht perfekt war, bauten die Forscher ein System, das die KI mit menschlicher Logik kombiniert:

Extraktion: Die KI hört dem Anruf zu und zieht Zahlen und Bezeichnungen heraus.
Clustering: Das System gruppiert ähnliche Antworten zusammen. (Beispiel: Wenn eine KI „iPhone-Verkäufe" sagt und eine andere „iPhone-Umsatz", erkennt das System, dass es sich um dasselbe handelt, und gruppiert sie).
Menschliche Prüfung: Sie ließen Menschen die Endergebnisse überprüfen.
- Ergebnis: Das System war 79,7 % genau. Das bedeutet, dass von 100 Zahlen, die das System extrahierte, etwa 80 korrekt waren.

Warum dies wichtig ist (laut dem Papier)

Das Papier hebt einen spezifischen, heiklen Moment in einem echten Gewinn-Call hervor (involviert ein Unternehmen namens Lyft).

Das Szenario: Das Unternehmen veröffentlichte einen Bericht mit einer falschen Zahl. Der Aktienkurs stieg. Dann sagte der CFO während des Telefonats: „Warten Sie, das war ein Fehler, die Zahl ist eigentlich niedriger." Der Aktienkurs stürzte sofort ab.
Die Lehre: Das „Gespräch am Telefon" enthält die Echtzeit-Wahrheit, die der „Formelle Bericht" verpasst. Wenn ein automatisiertes System den Anruf nicht lesen kann, verpassen Investoren die kritischsten Informationen.

Die Einschränkungen (was das Papier zugibt)

Der „Goldstandard" ist nicht perfekt: Da es nur sehr wenige Experten gibt, die diese Anrufe annotieren können, hatten sie nur einen Experten, der die Daten beschriftete. Das bedeutet, dass der „Lösungsschlüssel" möglicherweise einige Dinge übersehen hat, was die KI schlechter aussehen lässt, als sie tatsächlich ist.
Unternehmenskulturen variieren: Einige Unternehmen (wie JPMorgan) sprechen sehr formell, während andere sehr locker sind. Das System funktioniert bei manchen besser als bei anderen.
Risiko: Wenn dieses System einen Fehler macht, könnte dies dazu führen, dass Investoren schlechte finanzielle Entscheidungen treffen. Das Papier warnt, dass menschliche Aufsicht immer noch notwendig ist.

Zusammenfassung in einem Satz

Das Papier zeigt, dass Computer zwar hervorragend darin sind, strenge Finanzformulare zu lesen, aber mit chaotischen Gewinn-Calls Schwierigkeiten haben, dass neue „superkluge" KI-Modelle jedoch immer besser darin werden, das Gespräch zu verstehen und eine vielversprechende (wenn auch noch nicht perfekte) Möglichkeit bieten, die Unternehmensleistung in Echtzeit zu verfolgen.

Technische Zusammenfassung: Effektive Leistungsmessung: Herausforderungen und Chancen bei der Extraktion von KPIs aus Gewinnkonferenzen

Problemstellung

Obwohl Gewinnkonferenzen eine kritische Quelle für Echtzeit-Finanzinformationen für Anleger darstellen, bleibt die Extraktion von Key Performance Indicators (KPIs) aus diesen eine erhebliche Herausforderung. Im Gegensatz zu strukturierten SEC-Einreichungen (z. B. 10-Qs und 10-Ks), die vorlagenbasiert sind und häufig XBRL-Tags verwenden, sind Gewinnkonferenzen unstrukturiert, konversationell und fehlen integrierte Labels. Dieser „Domain Shift" schafft eine sprachliche Barriere, bei der Modelle, die auf strukturierten Einreichungen trainiert wurden, nicht auf die frei fließende Natur von Konferenzgesprächen verallgemeinern können. Darüber hinaus verlassen sich bestehende Datensätze und Methoden oft auf vordefinierte Taxonomien, die die emergenten, offenen KPIs, die in diesen Gesprächen häufig diskutiert werden, nicht erfassen können.

Methodik

Die Autoren schlagen ein umfassendes Framework vor, um diese Herausforderungen zu adressieren und von etablierten strukturierten Domänen zu unstrukturierten konversationellen Daten überzugehen.

1. Erstellung von Benchmarks

Die Studie stellt drei neuartige Datensätze vor, die von 20 S&P-500-Unternehmen abgeleitet wurden:

SEC Filings Benchmark (SECB): Ein Datensatz, der entwickelt wurde, um einen breiteren Kontext als frühere Arbeiten (wie HiFi-KPI) zu bewahren und die Lücke zwischen vorlagenbasierten Einreichungen und konversationellem Text zu schließen. Er nutzt Pseudo-Tags (regex_dollar, regex_percentage), um nicht annotierte KPIs zu erfassen.
Earnings Calls Benchmark (ECB): Ein groß angelegter Datensatz von 10.477 Abschnitten aus Gewinnkonferenzen von 2023–2024, segmentiert nach Sprecherwechseln.
ECB-A (Annotiert): Eine hochwertige Evaluierungs-Teilmenge mit 587 Abschnitten, die 2.460 von Experten annotierte Entitäten und 934 relationale Gruppen enthält. Die Annotationen wurden von einem Domänenexperten in einem zweistufigen Prozess durchgeführt (Identifizierung gefolgt von Relationsverifikation), um zwischen traditionellen (finanziellen) und nicht-traditionellen (operativen) Metriken zu unterscheiden.

2. Experimentelle Paradigmen

Die Autoren evaluieren zwei unterschiedliche Ansätze:

Encoder-basierte Modelle (Fine-tuning): Sie bewerten die Verallgemeinerungsfähigkeiten von Modellen, die auf SEC-Einreichungen feinabgestimmt wurden (SEC-BERT-Base, BERT-SL1000 und Varianten), wenn sie auf Gewinnkonferenzen angewendet werden. Diese werden als Sequenz-Labeling-Aufgaben behandelt.
In-Context Learning (Generativ): Sie nutzen State-of-the-Art (SOTA) Large Language Models (Llama-3.3, Qwen3-30B-A3B, Gemma-3-27B und Gemini 3 Pro) mit strukturiertem Few-Shot-Prompting. Dieser Ansatz verwendet eine Relationsextraktionsstrategie, um KPIs dynamisch zu extrahieren, ohne sich auf eine geschlossene Taxonomie zu verlassen. Das System identifiziert Entitätsbereiche (KPI-Name, Wert, Umfang, Datum, Modalität) und fasst sie zu relationalen Gruppen zusammen.

3. Evaluierungsmetriken

Die Evaluierung auf ECB-A nutzt ein mehrdimensionales Bewertungssystem:

Exact F1: Erfordert exakte String-Übereinstimmungen sowohl für Wert als auch für Label.
Semantic F1: Verwendet Cross-Encoder-Ähnlichkeit (STSB-RoBERTa-Large), um Many-to-One-Mappings zu ermöglichen und semantische Äquivalenz zu erfassen, selbst wenn lexikalische Grenzen abweichen.
Match F1: Ein weicher F1-Score, der Vorhersagen anhand des Werts mit Ground Truths abgleicht.
LLM Judge: Eine automatisierte Evaluierung mit DeepSeek-V3.2, um festzustellen, ob die Extraktion eines Modells semantisch äquivalent zur Expertenannotation ist.
Human Evaluation: Ein abschließender Validierungsschritt mit drei Evaluatoren, um die Präzision der aggregierten Systemausgabe zu überprüfen.

Wichtige Ergebnisse

1. Limitationen durch Domain Shift

Encoder-basierte Modelle, die auf SEC-Einreichungen feinabgestimmt wurden (z. B. SEC-BERT-Base), zeigten eine schlechte Verallgemeinerung auf Gewinnkonferenzen. Während sie auf strukturierten Datensätzen (FiNER-139, HiFi-KPI) vernünftig abschnitten, sank ihre Leistung auf ECB-A signifikant, wobei sie oft versagten, kompatible Labels für extrahierte Zahlen vorherzusagen. Dies bestätigt, dass der sprachliche Shift von vorlagenbasierten Einreichungen zu konversationellen Gesprächen ein großes Hindernis für traditionelle Sequenz-Labeling-Ansätze darstellt.

2. Leistung generativer Modelle

Generative LLMs schnitten im unstrukturierten Bereich der Gewinnkonferenzen deutlich besser ab als SEC-trainierte Encoder.

Gemini 3 Pro erzielte die beste Leistung mit einem Exact F1 von 11,5 % und extrahierte gemäß dem LLM Judge 45,5 % der annotierten KPIs.
Semantische Metriken: Während die Exact F1-Scores niedrig blieben (zwischen 3,2 % und 11,5 %), waren die Semantic F1-Scores erheblich höher (bis zu 61,6 % für Gemini 3 Pro). Dies zeigt, dass LLMs auch dann, wenn sie mit strengen lexikalischen Grenzen kämpfen, zugrunde liegende Finanzkonzepte und Beziehungen erfolgreich erfassen.
Skalierung: Die Leistung verbesserte sich mit der Modellskalierung, was darauf hindeutet, dass die Komplexität der Aufgabe von größeren Modellkapazitäten profitiert.

3. Systemaggregation und longitudinale Verfolgung

Durch die Aggregation der Ausgaben mehrerer Modelle (Gemma, Llama, Qwen) und die Anwendung semantischen Clustering (mit einer Ähnlichkeitsschwelle von 0,85) schufen die Autoren ein System, das eine konsistente longitudinale KPI-Verfolgung ohne vordefinierte Ontologien ermöglicht.

Das System identifizierte 1.323 KPIs, die für die 20 Unternehmen über mindestens vier Perioden hinweg konsistent verfolgt wurden.
Human Validation: Das finale aggregierte System erreichte bei der menschlichen Evaluierung eine Präzision von 79,67 % (478/600), trotz moderater Übereinstimmung zwischen den Annotatoren (Krippendorffs $\alpha$ = 0,429).
Fallstudie: Das System verfolgte erfolgreich „iPhone Revenue" über mehrere Quartale hinweg und stimmte perfekt mit den gemeldeten SEC-Werten überein, was seine Nützlichkeit für die Finanzanalyse demonstriert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine robuste Basislinie für die aufkommende Aufgabe der automatisierten KPI-Extraktion aus Gewinnkonferenzen zu liefern. Ihre Hauptbeiträge sind:

Demonstration der Grenzen aktueller Methoden: Sie zeigt empirisch, dass Modelle, die auf strukturierten SEC-Einreichungen trainiert wurden, nicht auf die subjektive, werbende und unstrukturierte Sprache von Gewinnkonferenzen verallgemeinern.
Einführung von Benchmarks: Die Veröffentlichung von SECB, ECB und ECB-A schließt eine kritische Lücke in den Ressourcen für Financial NLP und liefert den ersten von Experten annotierten Datensatz speziell für die KPI-Extraktion aus Gewinnkonferenzen.
Validierung von LLMs für offene Extraktion: Die Studie etabliert, dass LLMs, wenn sie durch strukturiertes Prompting geleitet werden, effektiv emergente KPIs aus unstrukturiertem Text extrahieren können und dabei traditionelle Encoder übertreffen.
Praktische Anwendung: Das vorgeschlagene System ermöglicht die konsistente Verfolgung von KPIs über die Zeit und bietet einen Weg zu einer schnelleren und effizienteren Verarbeitung neuer Finanzinformationen für die Marktanalyse.

Die Autoren bleiben bescheiden bezüglich des aktuellen Standes der Technik und erkennen an, dass das System zwar vielversprechend ist, die Fehlerrate jedoch menschliche Aufsicht erfordert. Sie weisen darauf hin, dass die hohe Variabilität der „Call-Kultur" zwischen verschiedenen Unternehmen und die inhärente Mehrdeutigkeit von Q&A-Sitzungen anhaltende Herausforderungen darstellen. Die Arbeit dient als grundlegender Schritt hin zu Tools für Echtzeit-Finanzentscheidungen und unterstreicht, dass, obwohl volle Autonomie noch nicht erreicht ist, die Richtung hin zu einer effizienten, automatisierten Aufnahme von Daten aus Gewinnkonferenzen machbar ist.