INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models
Das Papier stellt INS-ActBench vor, einen umfassenden Benchmark bestehend aus über 12.000 Fragen von 16 Aktuarverbänden zur Evaluierung großer Sprachmodelle in den Bereichen Wissen, kontextbezogene Fallanalysen über lange Kontexte und werkzeugbasierte Praxis, wobei aufgezeigt wird, dass Spitzenmodelle zwar bei standardisiertem Wissen exzellieren, jedoch bei komplexen professionellen Arbeitsabläufen noch erheblich zurückliegen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Finanzmagier zu werden. Sie haben ihm bereits gezeigt, wie man ein Wörterbuch mit Finanzbegriffen liest und wie man einfache Mathematik betreibt. Aber ein wahrer Magier zu sein bedeutet nicht nur, die Zaubersprüche zu kennen; es geht darum, zu wissen, wann man sie anwendet, wie man sie miteinander vermischt, wenn die Situation unübersichtlich wird, und darum, die ruhige Hand zu besitzen, den Zauber tatsächlich zu wirken, ohne das Schloss in Brand zu setzen. Dies ist die Welt der Large Language Models (LLMs) – superintelligente Computerprogramme, die lesen, schreiben und denken können wie Menschen. Lange Zeit haben wir diese Roboter an isolierten Aufgaben getestet: „Kannst du dieses Wort definieren?“ oder „Kannst du dieses Matheproblem lösen?“ Aber in der realen Welt arbeiten Profis nicht isoliert. Sie müssen einen hundertseitigen Vertrag lesen, die eine winzige Klausel finden, die entscheidend ist, das Risiko berechnen und dann eine Tabelle oder Code verwenden, um ihre Antwort zu belegen. Diese Arbeit stellt eine große Frage: Können diese KI-Magier den ganzen Job erledigen, oder sind sie nur gut darin, Karteikarten auswendig zu lernen?
Hier kommt INS-ActBench ins Spiel, eine neue, massive „Abschlussprüfung“, die Forscher der Fudan University entwickelt haben, um die KI speziell auf den hochriskanten Job der Versicherungsmathematik (Actuarial Science) zu testen. Betrachten Sie einen Aktuar als professionellen Risiko-Detektiv, der für Versicherungsgesellschaften arbeitet. Er nutzt Mathematik, Statistik und Wirtschaftswissenschaften, um herauszufinden, wie wahrscheinlich es ist, dass etwas Schlimmes passiert (wie ein Autounfall oder ein Hausbrand) und wie viel Geld das Unternehmen zur Seite legen muss, um dafür aufzukommen. Es ist ein Job, der erfordert, die Regeln zu kennen, komplexe Geschichten über reale Katastrophen zu lesen und präzise Berechnungen durchzuführen, die nicht falsch sein dürfen. Die Forscher haben eine Testbank mit 12.050 Fragen erstellt, die aus echten Prüfungen stammen, die weltweit von Aktuaren abgelegt wurden. Sie haben nicht einfach nur einfaches Wissen abgefragt; sie haben den Test so konzipiert, dass er prüfen kann, ob die KI drei verschiedene Schwierigkeitsstufen bewältigen kann:
- Die Karteikarten (INS-Act-Know): Kann die KI die Definitionen und Formeln auswendig wissen?
- Der Kriminalroman (INS-Act-Case): Kann die KI eine lange, komplizierte Geschichte über die Finanzen eines Unternehmens lesen, die versteckten Hinweise finden und eine kluge Prognose für die Zukunft erstellen?
- Die Werkstatt (INS-Act-Practice): Kann die KI die Arbeit tatsächlich ausführen, indem sie den korrekten Computercode oder Tabellenformeln schreibt, um eine Zahl zu erhalten, die überprüft werden kann?
Als die Forscher neun verschiedene KI-Modelle durch diesen kräftezehrenden Test schickten, waren die Ergebnisse eine Mischung aus „Wow“ und „Oje“. Die KI-Modelle waren überraschend gut im ersten Level. Sie meisterten die Karteikarten und schnitten oft besser ab als menschliche Experten bei standardisierten Wissensfragen. Es stellt sich heraus: Wenn man eine KI nur bittet, eine Regel zu rezitieren oder ein einfaches Matheproblem zu lösen, ist sie ein Genie.
Doch in dem Moment, als der Test unübersichtlich wurde, stolperten die Roboter. Als die KI eine lange, komplexe Versicherungsfallstudie lesen musste (das Level „Kriminalroman“), sanken ihre Punktzahlen dramatisch. Sie hatten Schwierigkeiten, die Verbindung zwischen den verschiedenen Teilen der Geschichte herzustellen. Noch schlimmer noch: Als sie in die „Werkstatt“ treten mussten, um tatsächlich den Code oder die Tabellenformeln zu schreiben, um eine endgültige Zahl zu produzieren, gelang dies ihnen nicht zuverlässig. Die Studie ergab, dass die KI zwar über die Mathematik sprechen konnte, sie aber oft nicht in der Lage war, die Mathematik so durchzuführen, dass es konsistent und verifizierbar ist.
Die Forscher entdeckten auch, dass sich die Leistung der KI änderte, je nachdem, woher die Regeln stammten. Versicherungsgesetze sind in den USA, im Vereinigten Königreich und in Japan unterschiedlich. Die KI-Modelle waren großartig bei den „Standardregeln“, die sie oft in ihrem Training gesehen hatten, aber sie wurden verwirrt, wenn die Fragen aus verschiedenen Ländern mit unterschiedlichen lokalen Vorschriften kamen. Sie fanden auch heraus, dass die größten Fehler der KI meist nicht darauf zurückzuführen waren, dass sie vergaßen, wie man ein Werkzeug benutzt (wie einen Taschenrechner); es war vielmehr, dass sie das Werkzeug zwar korrekt benutzten, aber die falsche Logik oder Formel auf das Problem anwandten.
Kurz gesagt deutet diese Arbeit darauf hin, dass KI zwar zu einem fantastischen Lexikon für versicherungsmathematisches Wissen geworden ist, aber noch kein zuverlässiger professioneller Assistent ist. Sie kann die schriftliche Prüfung bestehen, aber sie ist noch nicht bereit, im Büro zu sitzen und die endgültigen Entscheidungen zu treffen, die Versicherungsgesellschaften absichern. Die Forscher kommen zu dem Schluss, dass die KI in diesem Bereich wirklich helfen kann, wenn sie wesentlich besser darin wird, die Verbindungen in langen Geschichten herzustellen und komplexe, schrittweise Arbeitsabläufe auszuführen, ohne kleine, aber kostspielige Fehler zu machen. Für den Moment ist es immer noch der menschliche Experte, der den Stift hält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.