INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models
L'article présente INS-ActBench, un benchmark complet comprenant plus de 12 000 questions issues de 16 associations d'actuaires pour évaluer les grands modèles de langage à travers la connaissance, le raisonnement sur des cas à contexte long et la pratique basée sur des outils, révélant que si les modèles de pointe excellent dans les connaissances standardisées, ils accusent encore un retard significatif dans les flux de travail professionnels complexes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot comment devenir un magicien de la finance. Vous lui avez déjà montré comment lire un dictionnaire de termes financiers et comment faire des mathématiques de base. Mais pour être un véritable magicien, il ne suffit pas de connaître les sorts ; il faut savoir quand les utiliser, comment les mélanger lorsque la situation est complexe, et avoir les mains fermes pour réellement lancer le sort sans brûler le château. C'est le monde des Grands Modèles de Langage (LLM) — des programmes informatiques super intelligents capables de lire, d'écrire et de raisonner comme des humains. Pendant longtemps, nous avons testés ces robots sur des tâches isolées : « Peux-tu définir ce mot ? » ou « Peux-tu résoudre ce problème mathématique ? ». Mais dans le monde réel, les professionnels ne travaillent pas de manière isolée. Ils doivent lire un contrat de cent pages, trouver la clause minuscule qui importe, calculer le risque, puis utiliser un tableur ou du code pour prouver que leur réponse est exacte. Ce document pose une grande question : ces magiciens de l'IA sont-ils réellement capables de faire tout le travail, ou sont-ils simplement doués pour mémoriser des fiches de révision ?
Entrez dans INS-ActBench, un nouvel « examen final » massif créé par des chercheurs de l'Université de Fudan pour tester l'IA sur le métier spécifique et à enjeux élevés de la science actuarielle. Considérez un actuaire comme un détective du risque professionnel qui travaille pour des compagnies d'assurance. Ils utilisent les mathématiques, les statistiques et l'économie pour déterminer la probabilité qu'un événement indésirable survienne (comme un accident de voiture ou un incendie de maison) et combien d'argent l'entreprise doit mettre de côté pour y faire face. C'est un métier qui exige de connaître les règles, de lire des récits complexes sur des catastrophes du monde réel, et d'effectuer des calculs précis qui ne peuvent pas être erronés. Les chercheurs ont construit une banque de 12 050 questions tirées de véritables examens passés par des actuaires à travers le monde. Ils n'ont pas seulement posé des questions de culture générale simples ; ils ont conçu le test pour voir si l'IA pouvait gérer trois niveaux de difficulté différents :
- Les fiches de révision (INS-Act-Know) : L'IA peut-elle se souvenir des définitions et des formules ?
- Le roman policier (INS-Act-Case) : L'IA peut-elle lire une histoire longue et compliquée sur les finances d'une entreprise, trouver les indices cachés et faire une supposition intelligente sur l'avenir ?
- L'atelier (INS-Act-Practice) : L'IA peut-elle réellement faire le travail en écrivant le code informatique ou les formules de tableur corrects pour obtenir un nombre qui peut être vérifié ?
Lorsque les chercheurs ont soumis neuf modèles d'IA différents à ce test éprouvant, les résultats ont été un mélange de « wow » et de « oups ». Les modèles d'IA étaient étonnamment bons au premier niveau. Ils ont excellé aux fiches de révision, obtenant souvent des scores plus élevés que les experts humains sur les questions de connaissances standardisées. Il s'avère que si vous demandez simplement à une IA de réciter une règle ou de résoudre un problème mathématique simple, elle est un génie.
Cependant, dès que le test devenait complexe, les robots trébuchaient. Lorsque l'IA devait lire un cas d'assurance long et complexe (le niveau « Roman policier »), leurs scores chutaient de manière spectaculaire. Elles avaient du mal à relier les points entre les différentes parties de l'histoire. Pire encore, lorsqu'elles devaient entrer dans « l'Atelier » et réellement écrire le code ou les formules de tableur pour produire un chiffre final, elles échouaient à le faire de manière fiable. L'étude a révélé que si l'IA pouvait parler des mathématiques, elle ne pouvait souvent pas faire les mathématiques de manière cohérente et vérifiable.
Les chercheurs ont également découvert que la performance de l'IA changeait selon la provenance des règles. Les lois sur les assurances sont différentes aux États-Unis, au Royaume-Uni et au Japon. Les modèles d'IA étaient très bons pour les règles « standards » qu'ils voyaient souvent dans leur entraînement, mais ils étaient confus lorsque les questions provenaient de pays différents avec des réglementations locales distinctes. Ils ont aussi constaté que les plus grands échecs de l'IA n'étaient généralement pas dus à un oubli de l'utilisation d'un outil (comme une calculatrice) ; c'était parce qu'elles utilisaient l'outil correctement mais appliquaient la mauvaise logique ou la mauvaise formule au problème.
En résumé, ce document suggère que bien que l'IA soit devenue une encyclopédie fantastique pour les connaissances actuarielles, elle n'est pas encore un assistant professionnel fiable. Elle peut réussir l'examen écrit, mais elle n'est pas encore prête à s'asseoir au bureau et à prendre les décisions finales qui protègent les compagnies d'assurance. Les chercheurs concluent que pour que l'IA aide véritablement dans ce domaine, elle doit devenir bien meilleure pour relier les points dans des histoires longues et exécuter des flux de travail complexes, étape par étape, sans commettre de petites erreurs mais coûteuses. Pour l'instant, c'est toujours l'expert humain qui tient la plume.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.