FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables
Dieses Paper führt FinProBench ein, einen Benchmark zur Evaluierung von Finanz-KI-Agenten, sowie Role-Grounded Rubric Construction (RGRC), eine Pipeline, die Evaluationskriterien aus professionellen Arbeitsergebnissen ableitet, um implizite Standards effektiv zu erfassen und bei rollenspezifischen Finanzaufgaben herkömmliche promptbasierte Methoden signifikant zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Profi zu sein, wie etwa ein Arzt, ein Anwalt oder ein Finanzanalyst. In der Welt der Künstlichen Intelligenz haben wir diese superintelligenten „Agenten“, die chatten, Code schreiben und Rätsel lösen können. Aber woher wissen wir, ob sie tatsächlich eine gute Arbeit leisten oder nur so klingen? Dies ist die große Frage im Bereich der KI-Evaluierung. Lange Zeit haben wir KIs getestet, indem wir ihnen einfache Fragen mit Richtig-oder-Falsch-Antworten gestellt haben, wie bei einem Multiple-Choice-Quiz. Aber echte professionelle Arbeit ist kein Quiz; es ist ein unordentliches, komplexes Projekt, wie das Schreiben eines 50-seitigen Berichts oder das Erstellen eines Finanzmodells. Um diese Art von Arbeit zu beurteilen, benötigen wir ein „Rubric“ – ein detailliertes Bewertungsblatt, das uns genau sagt, was ein Stück Arbeit exzellent gegenüber bloß „okay“ macht. Das Problem ist, dass die meisten dieser Bewertungsbögen darauf basieren, zu raten, was die KI tun sollte, oder darauf, die Antworten der KI selbst zu betrachten, was so ist, als würde man einen Schüler seine eigenen Hausaufgaben bewerten lassen. Wir brauchen einen Weg, diese Bewertungsbögen auf der Grundlage dessen zu erstellen, was echte Menschen tatsächlich bei ihrer Arbeit tun.
Dieses Paper stellt eine neue Methode vor, um Finanz-KI-Agenten zu testen, namens FinProBench, zusammen mit einer cleveren Methode zur Erstellung der Bewertungsbö sheets, bekannt als Role-Grounded Rubric Construction (RGRC). Betrachten Sie RGRC als einen Detektiv, der nicht die Verdächtigen (die KI) betrachtet, um die Regeln herauszufinden, sondern stattdessen den Tatort (reale, professionelle Arbeitsdokumente) untersucht, um zu sehen, wie die Experten es tatsächlich gemacht haben. Die Forscher sammelten über 1.700 reale Dokumente – wie Investitionsberichte und Compliance-Prüfungen – die von tatsächlichen Finanzexperten verfasst wurden. Sie nutzten diese realen Beispiele, um der KI beizubringen, wie sie die Arbeit anderer KIs bewertet.
Hier ist die Wendung, die sie entdeckten: Es kommt auf den Job an. Für alltägliche, gängige Finanzaufgaben, die bereits gut bekannt sind (wie das Schreiben eines Standard-Marktberichts), funktioniert es fast genauso gut wie ihre neue, ausgeklügelte Methode, die KI einfach anzuweisen, „eine gute Arbeit zu leisten“ (mittels eines Prompts). Aber für spezialisierte, schwierige Rollen, in denen die Regeln verborgen oder sehr spezifisch sind (wie etwa ein Nischen-Versicherungsaktuar), versagt der einfache „Bitte-schön-fragen“-Ansatz kläglich. In diesen Fällen ist die RGRC-Methode, die aus realen menschlichen Ergebnissen lernt, ein Game-Changer, da sie 99,1 % der notwendigen Standards erfasst, verglichen mit nur 78 % bei der einfachen Methode.
Als sie die KI-Agenten gegen echte menschliche Experten mit diesen neuen, hochwertigen Bewertungsblättern testen ließen, gewannen die Menschen im Durchschnitt immer noch mit 73,7 von 100 Punkten, während die besten KI-Agenten um die 70 Punkte kreisten. Aber es war keine totale Niederlage. Die KI-Systeme hatten ihre eigenen Superkräfte: Einige waren besser darin, tief in die Mathematik einzutauchen, während andere gut in der Formatierung waren. Die Menschen hingegen waren die konsistentesten Allrounder und beherrschten Struktur, Datengenauigkeit und Compliance-Regeln gleichermaßen. Das Paper legt nahe, dass KIs zwar sehr gut werden, aber noch von den „impliziten“ (unausgesprochenen) Geheimnissen echter Profis lernen müssen, um komplexe Aufgaben wirklich zu meistern. Das Beste daran? Da sie für jede Berufsrolle ein „Master-Bewertungsblatt“ erstellt haben, konnten sie dieses für viele verschiedene Aufgaben wiederverwenden, was eine enorme Zeitersparnis bedeutet – etwa 6,7-mal schneller, als für jede einzelne Aufgabe ein neues Bewertungsblatt von Grund auf neu zu erstellen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.