FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management

In der hochriskanten Welt der Investmentverwaltung hängt Erfolg von mehr als nur einer guten Idee darüber nach, welche Aktien man kaufen sollte. Er erfordert einen strengen, schrittweisen Prozess des Sammelns präziser Daten, des Durchführens komplexer Berechnungen und des Befolgens strikter Regeln, die regeln, wie Geld bewegt werden darf. Stellen Sie sich einen Finanzanalysten vor, der ein Portfolio aus dreißig verschiedenen Unternehmen betrachten, berechnen muss, wie diese auf einen plötzlichen Markteinbruch reagieren könnten, und dann die Bestände reorganisieren muss, um innerhalb der gesetzlichen Grenzen zu bleiben – und das alles unter Verwendung der Informationen, die an einem bestimmten Tag in der Vergangenheit verfügbar waren. Dies ist die tägliche Realität für menschliche Fachkräfte, aber es ist eine neue Grenze für künstliche Intelligenz. Während moderne KI-Systeme exzellent darin sind, Texte zu schreiben und allgemeine Fragen zu beantworten, haben sie oft Schwierigkeiten, wenn sie gebeten werden, genau diese Art von disziplinierten Aufgaben auszuführen. Sie mögen das Konzept von Risiko verstehen, aber sie scheitern häufig daran, die spezifischen mathematischen Schritte auszuführen, die erforderlich sind, um es genau zu messen, oder den detaillierten Anweisungen zu folgen, die nötig sind, um ein Portfolio ohne Fehler neu zu gewichten.

Ein Forschungsteam hat einen neuen Weg entwickelt, um zu testen, ob KI-Agenten diese Art von Arbeit wirklich bewältigen können. Sie bauten einen spezialisierten Testplatz namens FinSkill-Bench auf, der KI-Systeme mit 2.603 unterschiedlichen Investitionsszenarien konfrontiert. Diese Szenarien decken drei Hauptbereiche ab: den Aufbau eines Aktienportfolios, das Management der mit diesen Aktien verbundenen Risiken und die Analyse der finanziellen Gesundheit einzelner Unternehmen. Die Forscher baten die KI nicht einfach darum, die Antwort zu erraten; sie gaben ihr ein spezifisches Datum, einen Datensatz an Rohdaten und ein klares Ziel und überprüften das Ergebnis gegen eine bekannte, korrekte Lösung, die von einer Standard-Finanzsoftware generiert wurde. Das Ziel war es zu sehen, ob die KI wie ein professioneller Analyst agieren konnte, indem sie die richtigen Daten zum richtigen Zeitpunkt abruft und die richtigen Werkzeuge verwendet, um die Aufgabe zu bewältigen.

Die Studie testete drei verschiedene Wege, um der KI zu helfen. Im ersten Szenario musste die KI die Probleme völlig eigenständig lösen, ohne Hilfe. Im zweiten Szenario stellten die Forscher der KI einen „kuratierten“ Satz an Werkzeugen und schriftlichen Leitfäden zur Verfügung. Dies waren nicht einfach nur wahllos zusammengestellte Dokumente; es waren sorgfältig vorbereitete Anweisungen und Computerskripte, die der KI genau zeigten, wie sie die notwendigen Berechnungen durchführt und wie sie die verfügbaren Werkzeuge korrekt nutzt. Im dritten Szenario wurde die KI gebeten, ihre eigenen Anweisungen und Werkzeuge für sich selbst zu schreiben, bevor sie die Aufgabe versucht, was im Wesentlichen bedeutet, dass sie versucht, sich selbst während des Prozesses beizubringen, wie man den Job erledigt.

Die Ergebnisse waren klar und eindeutig. Als die KI mit den vorgefertigten, von Menschen geschriebenen Leitfäden und Werkzeugen ausgestattet wurde, verbesserte sich ihre Leistung dramatisch. Über alle Tests hinweg stieg die durchschnittliche Punktzahl dieser KI-Agenten von etwa 37 Prozent auf 53 Prozent. Die Verbesserung war am signifikantesten bei den Aufgaben, die eine intensive Rechenleistung erforderten, wie etwa den Aufbau eines optimalen Portfolios oder das Identifizieren verborgener Risiken. In diesen Bereichen war die KI mit den kuratierten Werkzeugen in der Lage, Probleme zu lösen, die sie zuvor überhaupt nicht lösen konnte. Die Forscher fanden heraus, dass der Zugang zu diesen zuverlässigen, schrittweisen Verfahren genauso wichtig war wie die Wahl des KI-Modells selbst. Ein leistungsstarkes KI-Modell ohne die richtigen Werkzeuge scheiterte oft, während ein fähiges Modell mit den richtigen Werkzeugen erfolgreich war.

Im Gegensatz dazu funktionierte die Idee, dass die KI sich vor Ort selbst unterrichtet, nicht. Wenn die Agenten gezwungen wurden, ihre eigenen Leitfäden und Werkzeuge zu schreiben, bevor sie die Probleme lösten, änderte sich ihre Leistung kaum. Sie verbrachten viel Zeit und Rechenleistung damit, diese Anweisungen zu schreiben, aber die von ihnen erstellten Anweisungen waren oft fehlerhaft oder unvollständig. Die Studie zeigte, dass eine KI in einem einzigen Versuch nicht zuverlässig die komplexen, präzisen Verfahren erfinden kann, die für die Finanzanalyse benötigt werden. Es reicht nicht aus, dass die KI weiß, wie man Code schreibt; sie muss Code erhalten, der bereits getestet und verifiziert wurde. Die Forscher führten dieselben Tests auch mit einem anderen KI-System durch, um sicherzustellen, dass ihre Ergebnisse nicht nur ein Zufall eines spezifischen Setups waren. Das zweite System lieferte dasselbe Muster: Vorgefertigte Werkzeuge halfen, und selbstgemachte Werkzeuge taten es nicht.

Diese Arbeit legt nahe, dass wir für den Einsatz der KI in ernsthaften Bereichen wie dem Finanzwesen nicht darauf vertrauen können, dass die Modelle die Regeln des Spiels während des laufenden Betriebs selbst herausfinden. Stattdessen müssen wir Systeme bauen, in denen die KI Zugang zu vertrauenswürdigen, von Menschen verifizierten Methoden für die harte Arbeit hat. Die Studie kommt zu dem Schluss, dass die Zukunft der KI im Investmentmanagement nicht allein in klügeren Modellen liegt, sondern in besser konzipierten Systemen, die diese Modelle mit zuverlässigen, wiederverwendbaren Fähigkeiten kombinieren. Die Forscher haben ihre Tests und Werkzeuge der Öffentlichkeit zugänglich gemacht, in der Hoffnung, das Feld voranzubringen, indem sie sich darauf konzentrieren, wie KI-Agenten mit den richtigen Ressourcen ausgestattet werden können, um reale Probleme zu lösen.