GAUGE: Grading Agent-Built Financial Models Without a Golden Answer
Das Papier stellt GAUGE vor, einen neuartigen Benchmark, der KI-erstellte Finanzmodelle gegenüber beobachteten Analystenpraktiken anstatt gegen eine einzelne „goldene“ Antwort bewertet und aufzeigt, dass aktuelle Agenten zwar bei der mechanischen Modellkonstruktion exzellent sind, jedoch im Vergleich zu menschlichen Fachkräften in der Bewertung von Urteilskraft noch erheblich zurückliegen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Juror in einer Kochshow. Normalerweise haben die Juroren eine einzige „perfekte“ Rezeptkarte. Wenn das Gericht eines Teilnehmers auch nur minimal von dieser Karte abweicht, verliert er Punkte. Aber was wäre, wenn es tatsächlich zehn verschiedene Wege gäbe, eine köstliche Lasagne zuzubereiten? Was wäre, wenn das „perfekte“ Rezept nur die Meinung einer einzelnen Person ist und die Version des Teilnehmers ebenso schmackhaft ist, aber andere Gewürze verwendet? Dies ist das Problem, vor dem Wissenschaftler bei der Testung von KI bei komplexen Aufgaben stehen, wie etwa der Finanzmodellierung. Finanzmodellierung ist wie der Bau einer detaillierten Vorhersagemaschine für die Zukunft eines Unternehmens; sie mischt harte Fakten (wie vergangene Umsätze) mit fundierten Vermutungen (wie schnell das Unternehmen wachsen wird). Jahrzehntelang haben wir KI getestet, indem wir ihre Vermutungen mit der Antwort eines einzelnen Experten verglichen. Aber wenn Experten selbst über die beste Vermutung uneins sind, erscheint es nicht fair, die KI für eine andere, aber dennoch vernünftige Antwort zu bestrafen. Diese Arbeit fragt: Wie bewerten wir KI, wenn es nicht nur eine „richtige“ Antwort gibt?
Die Forscher hinter dieser Studie mit dem Titel GAUGE entschieden sich dagegen, so zu tun, als gäbe es nur ein perfektes Finanzmodell. Sie bauten ein neues Testfeld, um zu sehen, ob KI-Agenten diese komplexen finanziellen „Vorhersagemaschinen“ bauen können und – was noch wichtiger ist – ob sie die Urteile fällen können, die menschliche Experten treffen.
Zuerst testeten sie die alte Art der Bewertung. Sie nahmen 108 Paare von Finanzmodellen, die von verschiedenen menschlichen Experten für dieselben Unternehmen erstellt wurden. Als sie ein Expertenmodell gegen ein anderes unter Anwendung der alten Regel der „einzigen perfekten Antwort“ bewerteten, waren die Ergebnisse schockierend. Der Medianwert lag bei nur 0,33 von 1,0. Tatsächlich schnitten 92,6 % der Paare unter 0,70 ab. Das bedeutet, dass selbst professionelle Menschen, die alle Experten sind, oft so stark voneinander abweichen, dass man den anderen als „Wahrheit“ behandeln würde, würde ihn scheitern lassen. Es stellt sich heraus, dass in der Finanzwelt „anders zu sein“ nicht bedeutet, „falsch zu liegen“.
Um dies zu korrigieren, entwickelte das Team GAUGE (Grading Agent-Built Financial Models Without a Golden Answer). Anstatt einer einzelnen Rezeptkarte erstellten sie ein „Sicherheitsfenster“, das darauf basiert, was echte Experten tatsächlich tun. Stellen Sie sich eine Zielscheibe vor, bei der die Bullseye nicht ein einzelner Punkt ist, sondern ein breiter Ring. Wenn die Vermutung einer KI irgendwo innerhalb dieses Rings des „vernünftigen Expertenverhaltens“ landet, erhält sie Anerkennung. Das System prüft zwei Dinge:
- Die Mechanik: Hat die Mathematik funktioniert? Ging die Tabelle auf? (Wie die Prüfung, ob der Ofen tatsächlich eingeschaltet wurde).
- Das Urteil: Fielen die Vermutungen der KI in den Bereich dessen, was echte Experten als vertretbar ansehen würden? (Wie die Prüfung, ob die Würzung innerhalb des Bereichs des guten Geschmacks eines Küchenchefs liegt).
Sie testeten 24 verschiedene KI-Agenten mit diesem neuen System, zusammen mit einer Gruppe von 55 Menschen, die von Finanzstudenten bis hin zu Senior-Analysten reichten. Hier ist, was sie fanden:
- KI wird gut in der Mathematik, aber schlecht im Bauchgefühl. Die KI-Agenten waren exzellent in den mechanischen Teilen. Die besten KIs bestanden 93 % der mechanischen Prüfungen (sicherstellen, dass die Tabellenformeln korrekt waren). Wenn es jedoch um die Urteilsteile ging (das Treffen der eigentlichen Prognosen), bestanden die besten KIs nur 7able 78 %.
- Die „Lücke“ ist real. Im Durchschnitt waren die KI-Agenten 26 Punkte besser darin, das Modell zu bauen, als bei den Bewertungsurteilen. Sie können das Auto bauen, aber sie können es noch nicht besonders gut fahren.
- Menschen gewinnen immer noch. Die beste KI erreichte 53,4. Das war besser als der Durchschnitt eines Finanzstudenten (43,2), aber schlechter als jeder einzelne Senior-Analyst (die im Durchschnitt 88,3 erreichten) und die meisten Junior-Analysten. Die KI ist klug genug, um die Hausaufgaben zu machen, aber noch nicht ganz klug genug, um der Chef zu sein.
Die Studie legt nahe, dass KI zwar sehr fähig wird, komplexe Finanzmodelle zu konstruieren, der schwierigste Teil – das Treffen der nuancierten, vertretbaren Urteile, die Experten nutzen, um ein Unternehmen zu bewerten – jedoch weiterhin eine erhebliche Herausforderung bleibt. Die Autoren haben nicht nur einen Wert gefunden; sie haben bewiesen, dass die alte Art der Bewertung (die Suche nach einer perfekten Antwort) sowohl für Menschen als auch für Maschinen unfair war, und sie haben einen neuen Weg zur Messung des Fortschritts angeboten, der die unordentliche Realität menschlicher Expertenuneinigkeit respektiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.