Earnings25: A Comprehensive 500-Hour Speech Benchmark for Finance

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Gespräche zu verstehen. Sie könnten damit beginnen, dass er klare, langsam aus einem Buch vorgelesene Geschichten hört. Aber das echte Leben ist chaotisch. Menschen reden durcheinander, benutzen Slang, sprechen mit verschiedenen Akzenten und werfen komplizierte Wörter ein, die in Märchenbüchern nicht vorkommen. Dies ist die Welt der Automatischen Spracherkennung (ASR) – der Technologie, die gesprochene Worte in Text umwandelt. Während diese Roboter schon ziemlich gut darin werden, klaren Stimmen zuzuhören, geraten sie oft ins Straucheln, wenn das Gespräch chaotisch, technisch oder voller Jargon wird. Die große Frage für Wissenschaftler lautet: Woher wissen wir, ob ein Roboter wirklich bereit für die reale Welt ist, oder ob er nur gut darin ist, Skripte vorzulesen? Um dies zu beantworten, brauchen wir eine „Abschlussprüfung“, die nicht nur ein Test des Gedächtnisses ist, sondern ein Test des Überlebens in einer lauten, komplexen Umgebung.

Hier kommt ein Team von Bloomberg mit einer neuen, gewaltigen Herausforderung namens Earnings25 ins Spiel. Betrachten Sie Finanzgespräche (Earnings Calls) als die „Olympischen Spiele“ der Unternehmenssprache. Dies sind stundenlange Telefonkonferenzen, in denen Chefs von Unternehmen und Finanzanalysten über Geld, Aktien und Zukunftspläne sprechen. Es ist der perfekte Sturm der Schwierigkeiten: Menschen sprechen schnell, benutzen schweren Finanz-Slang, reden übereinander und wechseln zwischen dem Vorlesen vorbereiteter Skripte und dem Beantworten spontaner, kniffliger Fragen. Die Autoren erkannten, dass bestehende Tests so waren, als würde man für einen Marathon auf einem Laufband in einem ruhigen Fitnessstudio trainieren; sie fingen weder die Hügel, noch den Wind oder die Menge ein. Also entwickelten sie einen neuen, super-detaillierten Benchmark, um zu sehen, wie gut aktuelle Spracherkennungs-Roboter mit dem echten, chaotischen Finanzwesen umgehen können.

Die große finanzielle Zuhör-Herausforderung

Das Paper stellt Earnings25 vor, einen massiven neuen Datensatz, der als ultimativer Stresstest für Spracherkennungs-KI konzipiert ist. Die Autoren haben nicht einfach nur ein paar zufällige Telefonate zusammengesucht; sie haben zwei unterschiedliche „Arenen“ gebaut, um die Roboter auf verschiedene Arten zu testen.

Die erste Arena ist testset-full, eine kolossale Sammlung von 498 Stunden vollständiger, uneditierter Earnings Calls der S&P-500-Unternehmen aus dem vierten Quartal 2025. Stellen Sie sich vor, Sie hören fast 500 Stunden ununterbrochener Finanzgespräche zu, ohne eine Pause zu machen. Dieser Datensatz bewahrt den vollen, natürlichen Fluss des Gesprächs, einschließlich der peinlichen Pausen, der sich überschneidenden Stimmen und der langen, verschlungenen Erzählungen, die im echten Leben vorkommen. Es ist, als würde man dem Roboter eine ganze Staffel einer komplexen Fernsehserie zum Anschauen geben, anstatt nur ein paar Clips.

Die zweite Arena ist testset-segmented, ein kuratierterer Satz aus 46 Stunden, bestehend aus 290 spezifischen Audio-Segmenten. Hier spielten die Forscher ein kluges Spiel der „Fairness“. In der realen Welt sprechen manche Branchen (wie Banken oder Ölgesellschaften) viel häufiger als andere (wie Nischen-Produktionsbetriebe). Wenn man nur den am häufigsten vorkommenden Branchen zuhört, könnte man denken, der Roboter sei großartig, aber er könnte kläglich scheitern, wenn er etwas Seltenes hört. Um dies zu korrigieren, wählte das Team genau ein Segment pro Branche aus über 2.000 Anrufen aus, um sicherzustellen, dass jede einzelne Art von Geschäft – von „3D-Druckern“ bis hin zu „Windturbinen“ – eine gleichberechtigte Stimme erhält. Diese Segmente sind kurz, etwa 5 bis 10 Minuten lang, und eignen sich perfekt, um zu testen, wie gut der Roboter mit spezifischem, schwierigem Vokabular umgeht, ohne von Stunden an Inhalten überwältigt zu werden.

Das Geheimrezept: Metadaten und „Wer sagte was“

Was Earnings25 wirklich besonders macht, ist nicht nur das Audio; es ist der „Spickzettel“, der damit geliefert wird. Die meisten alten Datensätze gaben Ihnen nur den Klang und den Text. Earnings25 gibt Ihnen den Klang, den Text und eine detaillierte Karte darüber, wer was, wann und warum gesagt hat.

Die Forscher markierten jeden Sprecher mit seiner Rolle: War es der Operator, der zu Beginn die langweiligen Regeln vorlas? War es der CEO, der eine polierte Rede hielt? Oder war es ein Analyst, der eine schwierige, ungeskriptete Frage stellte? Sie beschrifteten auch die Branche und die Struktur des Gesprächs. Dies ermöglicht es Wissenschaftlern, Fragen zu stellen wie: „Verwirrt der Roboter mehr, wenn der CEO spricht, oder wenn der Analyst unterbricht?“ oder „Scheitert er häufiger in der Biotech-Branche als in der Bankenbranche?“ Dies verwandelt einen einfachen Test nach dem Motto „Wie viele Wörter hat er richtig erkannt?“ in eine tiefgehende Untersuchung darüber, wo und warum der Roboter Schwierigkeiten hat.

Die Ergebnisse: Roboter sind gut, aber nicht perfekt

Das Team unterzog zwei populäre Spracherkennungssysteme, Whisper und Parakeet-TDT, einer harten Prüfung. Sie gaben den Robotern kein spezielles Training für diese spezifischen Daten; sie baten sie lediglich zuzuhören und zu transkribieren, was ein reales Szenario simuliert, in dem der Roboter die Dinge „on the fly“ verstehen muss.

Die Ergebnisse zeigten, dass diese Roboter zwar beeindruckend sind, aber noch einen weiten Weg vor sich haben. Auf dem massiven 498-Stunden-Set machte das beste Modell (Parakeet-TDT) etwa 10,8 % der Wörter falsch. Auf dem kleineren, branchenbalancierten Set stieg die Fehlerrate leicht auf 11,1 %. Dieser kleine Anstieg ist tatsächlich eine große Sache. Er deutet darauf hin, dass der Roboter eher stolpert, wenn man ihn zwingt, seltenen, schwierigen Branchen („Long Tail of Business“) zuzuhören.

Das Paper hebt eine faszinierende Entdeckung hervor: Aggregierte Scores können irreführend sein. Wenn man nur auf die durchschnittliche Fehlerrate schaut, könnte man denken, der Roboter mache einen tollen Job, weil er bei den gängigen Branchen wie dem Bankwesen gut abschneidet. Aber wenn man sich spezifische, komplexe Felder wie Biotech oder Pharma ansieht, springt die Fehlerrate auf über 15 %. Es ist wie ein Schüler, der eine Eins in Mathe bekommt, weil er die leichten Aufgaben gemeistert hat, aber im fortgeschrittenen Analysis-Teil durchfällt. Die „Durchschnittsnote“ verbirgt die Tatsache, dass er bei den schwierigsten Teilen immer noch kämpft.

Warum das wichtig ist

Die Autoren sind vorsichtig damit, nicht zu behaupten, sie hätten das Problem „gelöst“. Stattdessen stellen sie einen reproduzierbaren Benchmark zur Verfügung – eine standardisierte Methode, um Fortschritte messbar zu machen. Vor Earnings25 war es schwer zu sagen, ob eine neue Sprach-KI tatsächlich besser war oder nur Glück mit den Testdaten hatte. Jetzt haben Forscher ein klares, faires Spielfeld mit reichen Details, um genau zu verstehen, wo ihre Modelle versagen.

Das Paper weist auch auf seine eigenen Grenzen hin. Earnings25 konzentriert sich auf englischsprachige Calls, hauptsächlich von US-basierten Unternehmen. Während dies den Test kontrolliert und qualitativ hochwertig macht, bildet es die volle Vielfalt globaler Akzente und Sprachen noch nicht ab. Die Autoren schlagen vor, dass der nächste Schritt darin besteht, diese „finanzielle Zuhör-Herausforderung“ auf mehr Länder und Sprachen auszuweiten.

Kurz gesagt: Earnings25 ist eine riesige, akribisch organisierte Bibliothek des finanziellen Chaos. Es sagt uns nicht nur, ob ein Roboter hören kann; es sagt uns, ob ein Roboter die chaotische, jargonreiche, sich überschneidende und hochriskante Welt des Geschäfts verstehen kann. Und vorerst hören die Roboter zwar zu, aber sie lernen noch, mit dem Gespräch Schritt zu halten.