FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction
Dieses Paper stellt FinDeepIndicator vor, den ersten Benchmark, der darauf ausgelegt ist, Deep-Research-Agenten über die vier End-to-End-Phasen der Konstruktion von Finanzindikatoren hinweg zu evaluieren, wobei aufgezeigt wird, dass diese Agenten zwar Standard-LLMs mit Suchfunktion übertreffen, jedoch dennoch Schwierigkeiten mit der Zuverlässigkeit bei der Datenabfrage und der numerischen Ausführung innerhalb realistischer Finanzanalyseszenarien haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt einem Zeugen nur die Frage „Was haben Sie gesehen?“ zu stellen, müssen Sie den ganzen Job selbst erledigen. Sie müssen herausfinden, welche Frage Sie stellen müssen, den Zeugen in einer überfüllten Stadt ausfindig machen, seiner Geschichte zuhören, sie aufschreiben, die Mathematik betreiben, um zu sehen, ob seine Geschichte aufgeht, und schließlich dem Richter das Urteil verkünden. Dies ist die Welt der „Deep Research“-Agenten. Das sind hochintelligente Computerprogramme, die darauf ausgelegt sind, wie menschliche Forscher zu agieren: Sie beantworten nicht einfach nur Fragen; sie gehen hinaus, suchen nach Informationen, setzen diese zusammen und lösen komplexe Probleme von Grund auf. Aber hier ist der Haken: Nur weil ein Computer wie ein Mensch sprechen kann, bedeutet das nicht, dass er auch wie ein Mensch handeln kann. Er mag die Definition eines Wortes perfekt kennen, aber er könnte daran scheitern, das richtige Buch in der Bibliothek zu finden oder beim Zählen der Seiten bei der Addition patzen.
In der Welt der Finanzen ist dies eine große Sache. Finanzindikatoren sind wie die Scorecards der Wirtschaft – Zahlen, die uns sagen, ob ein Unternehmen gesund ist, ob der Aktienmarkt nervös ist oder ob das Land wächst. Um diese Zahlen zu erhalten, kann man nicht einfach raten; man muss sich durch jahrelange Finanzberichte graben, die exakten Zahlen für spezifische Unternehmen finden und die Daten berechnen. Wissenschaftler haben diese „Deep Research“-Agenten entwickelt, um diese Arbeit zu erledigen, in der Hoffnung, dass sie menschliche Analysten ersetzen oder unterstützen können. Aber bis jetzt hatte niemand wirklich getestet, ob diese Agenten den gesamten unordentlichen Prozess tatsächlich von Anfang bis Ende bewältigen können oder ob sie nur gut darin sind, klug zu klingen, während sie in der Mitte dumme Fehler machen.
Hier kommt FinDeepIndicator ins Spiel, eine neue „Prüfung“, die ein Team von Forschern entwickelt hat, um diese digitalen Detektive zu testen. Denken Sie an diesen Benchmark als einen riesigen Hindernisparcours, der speziell für Finanzagenten entworft wurde. Anstatt nur zu fragen: „Was ist der Gewinn von Unternehmen X?“, zwingt die Prüfung den Agenten dazu, vier verschiedene Dinge zu tun: erstens die exakte mathematische Formel zu ermitteln (wie zum Beispiel zu wissen, dass „Gewinnmarge“ bedeutet, den Gewinn durch den Umsatz zu teilen); zweitens, sich auf die Suche nach den Rohzahlen im Internet zu machen; drittens, die Mathematik zu betreiben, um die Zwischenergebnisse zu erhalten; und schließlich, die korrekte Antwort zu geben. Die Forscher haben diesen Parcours mit 3.350 verschiedenen Fragen aufgebaut, die 234 verschiedene Arten von Finanzkennzahlen abdecken und Daten von 800 echten Unternehmen sowohl aus den USA als als auch aus China über einen Zeitraum von 10 Jahren nutzen.
Als sie die Agenten durch diesen Hindernisparcours schickten, waren die Ergebnisse eine Mischung aus „nicht schlecht“ und „oh nein“. Die Agenten waren überraschend gut im ersten Schritt: das Verständnis der Regeln. Sie konnten die Formeln in mehr als 70 % der Fälle korrekt identifizieren, was zeigt, dass sie wirklich verstehen, was die Finanzbegriffe bedeuten. Doch in dem Moment, als sie die Daten tatsächlich suchen mussten, brach alles zusammen. Die Genauigkeit sank drastisch. Die Agenten hatten Schwierigkeiten, die richtigen Zahlen zu finden, wobei sie oft das falsche Jahr, das falsche Unternehmen ergriffen oder ein entscheidendes Stück Information gänzlich übersahen. Dieser Schritt der „Datenerhebung“ erwies sich als der größte Engpass, der den größten Leistungsabfall verursachte.
Selbst die klügsten Agenten, die ihre Suche besser planen und Werkzeuge besser nutzen konnten als eine einfache Suchmaschine, lieferten nur in etwa 40 % der Fälle die richtige Endantwort. Die Forscher fanden heraus, dass die Agenten besonders schlecht bei „makroökonomischen“ Indikatoren (wie Inflation oder Arbeitslosenraten) waren, bei denen die Daten unordentlich sind und aus unterschiedlichen Quellen stammen, und sie hatten noch größere Schwierigkeiten mit „technischen“ Indikatoren, die komplexe, rollierende Berechnungen erfordern. Interessanterweise schnitten die Agenten bei US-Marktdaten etwas besser ab als bei chinesischen Marktdaten, was darauf hindeutet, dass die Art und Weise, wie Daten in verschiedenen Ländern organisiert und gemeldet werden, einen großen Unterschied macht.
Der Kern der Sache ist, dass diese KI-Agenten zwar großartig darin sind, die Theorie der Finanzen zu kennen, aber immer noch tollpatschig in der Praxis des Aufspürens von Fakten und der Durchführung der Berechnungen sind. Das Paper legt nahe, dass wir, wenn wir wollen, dass diese Agenten im echten Leben wirklich nützlich sind, aufhören müssen, uns nur darauf zu konzentrieren, wie gut sie chatten können, und statfangen müssen, ihre Fähigkeit zu verbessern, zuverlässige Daten zu finden und diese ohne Fehler zu verarbeiten. Bis dahin sind sie wie ein brillanter Detektiv, der das Gesetz perfekt kennt, sich aber ständig auf dem Weg zum Tatort verirrt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.