💬 NLP

Claim Automation using Large Language Model

Cette étude propose un modèle de langage fine-tuné localement et gouverné, capable de générer des recommandations d'actions correctrices structurées à partir de récits de réclamations d'assurance, démontrant une précision supérieure aux modèles généraux grâce à une adaptation spécifique au domaine.

Auteurs originaux : Zhengda Mo, Zhiyu Quan, Eli O'Donohue, Kaiwen Zhong

Publié 2026-02-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhengda Mo, Zhiyu Quan, Eli O'Donohue, Kaiwen Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏗️ Le Grand Projet : Réparer les voitures avec un cerveau numérique

Imaginez que vous travaillez dans une grande compagnie d'assurance automobile. Chaque jour, des milliers de clients envoient des messages pour dire : "Ma voiture fait un bruit bizarre" ou "Le climatiseur ne marche plus". Ces messages sont écrits par des mécaniciens ou des clients, avec des fautes, des abréviations bizarres et un style très personnel.

Le problème ? Pour décider si l'assurance doit payer la réparation, il faut transformer ces histoires confuses en une action claire et standardisée (ex: "Remplacer le compresseur de climatisation").

Auparavant, les humains devaient lire chaque histoire et la traduire manuellement. C'est lent et fatiguant. Les ordinateurs essayaient d'aider, mais ils étaient trop bêtes : ils transformaient le texte en chiffres (comme transformer une chanson en une liste de notes), perdant ainsi le sens de l'histoire.

Aujourd'hui, nous avons des Intelligences Artificielles (IA) très puissantes (les "Grands Modèles de Langage" ou LLM) qui parlent couramment. Mais les utiliser directement dans une assurance, c'est comme donner les clés d'une banque à un touriste qui parle bien français mais ne connaît pas les règles de sécurité : c'est risqué, privé, et souvent imprévisible.

🧪 L'Expérience : Transformer un Touriste en Expert Local

Les auteurs de cette étude ont eu une idée brillante. Au lieu d'utiliser une IA générique (qui connaît tout le monde mais rien de précis), ils ont pris un modèle d'IA open-source (un "cerveau" brut) et ils l'ont entraîné spécifiquement sur 2 millions de vieux dossiers de réparations de voitures.

Voici comment ils ont fait, avec une analogie simple :

1. Le Modèle de Base : Le Touriste Polyglotte 🌍

Imaginez un touriste très intelligent qui a lu tous les livres du monde sur Internet. Il parle bien, mais s'il lui demandez "Comment réparer un moteur Ford F-150 de 2018 ?", il va vous donner une réponse générale, peut-être un peu vague, ou inventer des choses parce qu'il n'a jamais vu un vrai garage. C'est ce qu'on appelle un modèle "générique".

2. L'Entraînement (Fine-Tuning) : L'Apprentissage du Métier 🛠️

Les chercheurs ont pris ce touriste et l'ont envoyé en stage intensif dans un garage d'assurance pendant des mois. Ils lui ont montré des millions de cas réels : "Voici ce que le client a dit, voici ce que le mécanicien a diagnostiqué, et voici la réparation exacte qui a été faite."

Ils n'ont pas réécrit tout le cerveau du touriste (ce qui serait trop long et cher). Ils ont juste ajouté de petits "post-it" intelligents (une technique appelée LoRA) qui lui ont appris les règles spécifiques de l'assurance et le jargon des mécaniciens.

3. Le Résultat : L'Expert Local 🏆

Après cet entraînement, le modèle est devenu un expert local.

Avant : Il disait "Peut-être qu'il faut changer une pièce ?" (trop vague).
Après : Il dit "Remplacer le compresseur de climatisation, référence X" (parfaitement précis et formaté).

🚫 Pourquoi ne pas juste demander à l'IA de "bien se comporter" ? (Le Prompting)

Les chercheurs ont testé une autre méthode : au lieu d'entraîner le modèle, ils lui ont juste donné des instructions écrites (des "prompts") comme un professeur qui dit : "Sois poli, sois court, et utilise ce format".

C'est comme essayer d'enseigner les règles de la route à un touriste en lui donnant juste un panneau "Arrêt". Ça aide un peu, mais le touriste va souvent oublier les règles dès qu'il est stressé ou qu'il voit une belle voiture.

Résultat du "Prompting" : L'IA obéit parfois, mais elle fait des erreurs de format (elle écrit une lettre au lieu d'une liste) ou invente des réparations.
Résultat de l'Entraînement (Fine-Tuning) : L'IA a intégré les règles. Elle ne fait plus d'erreurs de format. C'est comme si elle avait le code de la route dans sa tête.

📊 Les Résultats : Une Révolution Silencieuse

Les chercheurs ont comparé plusieurs versions de l'IA sur un échantillon de 200 dossiers réels :

L'IA brute (sans entraînement) : 0% de réussite. Elle parlait trop, n'utilisait pas le bon format, et était inutilisable pour un ordinateur.
L'IA avec instructions (Prompting) : 6% de réussite en format. Elle essayait, mais échouait souvent.
L'IA entraînée (Notre modèle) : 100% de réussite sur le format et 81% à 92% de précision sur le fond (selon la qualité des données).

C'est énorme ! Cela signifie que l'IA entraînée comprend le contexte réel de l'assurance beaucoup mieux que n'importe quelle IA générique, même celles qui coûtent très cher et sont utilisées par les géants de la tech.

🛡️ La Sécurité : Pourquoi c'est important pour vous ?

Dans l'assurance, on ne peut pas se permettre que l'IA "hallucine" (invente des faits) ou envoie vos données confidentielles à un serveur public sur Internet.

Leur solution : Ils ont installé l'IA localement, dans les serveurs de l'entreprise. C'est comme avoir un expert privé dans votre bureau, plutôt que de l'appeler par téléphone à l'autre bout du monde. Tout reste secret, tout est contrôlé, et on peut vérifier exactement comment l'IA a pris sa décision.

🎯 En Résumé : La Leçon du Jour

Cette étude nous apprend que pour utiliser l'IA dans des métiers sérieux (comme l'assurance, la médecine ou la finance), il ne suffit pas d'avoir un cerveau brillant. Il faut aussi lui donner l'expérience du terrain.

L'IA générique est comme un génie qui n'a jamais travaillé : il a de grandes idées, mais il ne sait pas faire le travail pratique.
L'IA entraînée (Fine-tuned) est comme un artisan expérimenté : elle connaît les règles, elle ne fait pas d'erreurs de forme, et elle donne exactement la bonne réponse pour le problème réel.

Grâce à cette méthode, les assureurs pourront bientôt laisser l'IA lire les dossiers complexes et proposer des solutions de réparation en quelques secondes, laissant aux humains le temps de gérer les cas vraiment difficiles. C'est l'avenir de l'assurance : plus rapide, plus précis, et plus sûr.

1. Problématique

Le domaine de l'actuariat et de l'assurance repose historiquement sur des données structurées, négligeant souvent la richesse informationnelle contenue dans les textes narratifs non structurés (descriptions de sinistres, diagnostics médicaux, rapports de techniciens). Bien que ces textes contiennent des nuances contextuelles et des raisonnements causaux essentiels, leur intégration dans les modèles actuariels a longtemps été limitée par le paradigme « texte-vers-caractéristiques » (Text-to-Feature), où le texte est compressé en vecteurs numériques artificiels, perdant ainsi la structure linguistique et le raisonnement direct.

L'arrivée des Grands Modèles de Langage (LLM) offre une alternative, mais leur déploiement dans des secteurs régulés comme l'assurance rencontre deux obstacles majeurs :

Alignement de domaine : Les modèles généralistes (API publiques) sont entraînés sur des corpus internet non spécifiques, ce qui entraîne des hallucinations et un manque de pertinence opérationnelle.
Gouvernance et confidentialité : L'utilisation d'API cloud pose des problèmes de confidentialité des données sensibles et d'opacité des inférences, incompatibles avec les exigences strictes de conformité et d'audit des assureurs.

L'objectif de cette étude est de concevoir un système d'automatisation des réclamations de garantie automobile qui génère des recommandations d'actions correctives structurées à partir de narratifs non structurés, tout en respectant les contraintes de gouvernance, de transparence et de vie privée.

2. Méthodologie

Les auteurs proposent un cadre d'automatisation local et adaptatif, reposant sur quatre principes de conception clés :

Déploiement Local et Contrôle de Gouvernance : Au lieu d'utiliser des API externes, le modèle est déployé localement (on-premise) sur un environnement contrôlé. Le modèle de base utilisé est DeepSeek-R1-Distill-Llama-8B, une variante distillée axée sur le raisonnement, garantissant que les données sensibles restent dans le périmètre de l'organisation.
Adaptation de Domaine par Fine-Tuning (LoRA) : Le modèle est affiné (fine-tuned) à l'aide de Low-Rank Adaptation (LoRA). Cette technique permet d'entraîner uniquement des matrices de faible rang (A et B) ajoutées aux couches de projection du modèle gelé, minimisant ainsi le nombre de paramètres à optimiser tout en alignant les représentations internes du modèle sur le jargon technique, les taxonomies d'actions et les schémas linguistiques spécifiques aux réclamations de garantie.
Conception de Tâche Intermédiaire Modulaire : Plutôt qu'une prédiction financière en bout de chaîne (boîte noire), le LLM est chargé d'une tâche intermédiaire bien définie : générer un résumé structuré d'actions correctives à partir des narratifs de « Plainte » et de « Cause ». Cela isole la compréhension linguistique de la modélisation financière, facilitant la validation.
Stratégie d'Évaluation Multi-dimensionnelle : L'évaluation combine des métriques automatiques (similarité sémantique, distance d'édition, BERTScore, LLM-as-a-Judge) et une évaluation humaine rigoureuse basée sur un référentiel de vérité terrain (gold standard) pour mesurer à la fois l'utilisabilité (format, validité) et la précision sémantique.

Données : L'étude utilise un corpus propriétaire de 2 millions de réclamations de garantie automobile provenant de PCMI Corporation. Les données brutes, bruyantes et hétérogènes, ont fait l'objet d'un pipeline de prétraitement déterministe (nettoyage, normalisation des abréviations, suppression des doublons) pour créer des tuples (Plainte, Cause, Correction).

3. Contributions Clés

Cadre de Gouvernance pour les LLM en Assurance : Proposition d'une architecture locale et gouvernée qui résout les problèmes de confidentialité et de conformité réglementaire, démontrant la faisabilité des LLM dans des environnements à haute sensibilité.
Preuve Empirique de l'Adaptation de Domaine : L'article fournit des preuves concrètes montrant que le fine-tuning spécifique au domaine transforme fondamentalement le comportement du modèle, le faisant passer de réponses génériques à des actions opérationnelles précises, surpassant largement les approches par simple prompting (prompt engineering) ou les modèles instructionnés généralistes.
Méthodologie d'Évaluation Rigoureuse : Développement d'un cadre d'évaluation dual (Utilisabilité + Précision) qui démontre que les métriques de surface (comme la similarité lexicale) sont insuffisantes et que l'alignement sémantique avec les experts humains est la métrique de vérité.
Analyse de l'Alignement Distributionnel : Démonstration mathématique et empirique que le fine-tuning réalloue la masse de probabilité du modèle pour correspondre à la distribution des données opérationnelles réelles ( $P_{data}$ ), réduisant ainsi les erreurs sur les événements rares et les cas limites.

4. Résultats

L'évaluation comparative de quatre variantes de modèles (M1 à M4) sur un jeu de test de 200 cas vérifiés par des humains révèle des résultats significatifs :

Utilisabilité (Conformité au Format et Validité) :
- Le modèle de base (M1) et le modèle avec prompting (M2) échouent presque totalement à respecter le format structuré requis (0 % et 6,5 % de conformité).
- Le modèle instructionné (M3, Qwen) atteint 86,5 % de conformité, mais reste imparfait.
- Le modèle affiné (M4, DeepSeek-R1 + LoRA) atteint 100 % de conformité au format et 100 % de validité, prouvant que le fine-tuning est indispensable pour une automatisation structurée fiable.
Précision (Alignement Sémantique) :
- Sur l'ensemble des données, le modèle affiné (M4) atteint une précision de 81,5 % (actions correspondant à la vérité terrain avec un score humain $\ge$ 0,8).
- Sur le sous-ensemble de haute qualité (HQ), la précision grimpe à 92,0 %.
- En comparaison, les modèles non affinés (M1, M2, M3) plafonnent entre 56 % et 71 %, même sur leurs sous-ensembles valides.
Alignement Distributionnel : Les analyses montrent que le modèle affiné déplace systématiquement sa distribution de similarité sémantique vers des valeurs plus élevées, s'alignant étroitement sur les pratiques de gestion des sinistres réelles, contrairement aux modèles généralistes qui produisent des réponses plausibles mais opérationnellement incorrectes.

5. Signification et Perspectives

Cette étude valide l'hypothèse que l'adoption des LLM dans l'assurance ne doit pas reposer sur l'appel direct à des API de modèles généralistes, mais plutôt sur une adaptation de domaine locale et contrôlée.

Impact Opérationnel : Le système proposé permet d'accélérer la prise de décision des ajusteurs en fournissant des recommandations d'actions correctives structurées et fiables, réduisant la charge cognitive et les erreurs humaines.
Paradigme Modulaire : L'article promeut une approche « modulaire » où le LLM gère l'interprétation linguistique (tâche intermédiaire) tandis que les modèles actuariels traditionnels gèrent la modélisation financière. Cela permet une intégration transparente, interprétable et conforme aux normes de risque.
Futur : Les auteurs prévoient d'étendre ce système à des tâches plus complexes (estimation des coûts main-d'œuvre/pièces via RAG, provisionnement) et d'intégrer des boucles d'apprentissage en ligne avec des praticiens pour améliorer continuellement la qualité des données et la robustesse du modèle.

En conclusion, ce travail démontre que le fine-tuning de domaine est non seulement un outil d'amélioration de performance, mais une condition sine qua non pour rendre les LLM fiables, gouvernables et opérationnels dans des environnements réglementés comme l'assurance.