Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

Cette étude présente le benchmark AEPC-QA pour évaluer 51 modèles de langage dans le contexte de l'assurance québécoise, révélant que le raisonnement inférentiel et l'augmentation par récupération (RAG) améliorent considérablement la précision, bien que ce dernier puisse parfois déstabiliser les performances et que les grands modèles généralistes surpassent les modèles spécialisés francophones.

L'essentiel

🏛️ Le Dilemme : Quand l'Assurance devient un Labyrinthe

Imaginez que vous devez acheter une assurance. Autrefois, vous alliez voir un agent humain qui vous expliquait les règles. Aujourd'hui, grâce à de nouvelles lois au Québec, tout se fait en ligne. C'est plus rapide, mais c'est comme si on vous donnait un livre de 30 000 pages écrit dans une langue incompréhensible et vous disait : « Bonne chance, c'est à vous de comprendre ! ».

C'est ce qu'on appelle le « fossé de conseil ». Les gens sont perdus face à des contrats complexes.

Les chercheurs se sont dit : « Et si on utilisait une Intelligence Artificielle (IA) pour aider les gens ? » Mais attention, dans le domaine de l'assurance, une réponse « plausible » ne suffit pas. Si l'IA se trompe, vous pourriez ne pas être couvert en cas d'accident, ou l'assureur pourrait se faire poursuivre en justice. Il faut une précision juridique absolue.

🧪 L'Expérience : Le Grand Examen de l'IA

Pour tester si ces IA sont prêtes à travailler, les chercheurs (David et Richard de l'Université Laval) ont créé un examen secret et ultra-difficile.

• Le Manuel : Ils ont numérisé 25 manuels de préparation aux examens officiels des agents d'assurance au Québec.
• Le Test : Ils ont créé 807 questions à choix multiples basées sur ces manuels. C'est comme un examen de permis de conduire, mais pour les lois sur l'assurance.
• Le Défi : Ils ont fait passer cet examen à 51 intelligences artificielles différentes (des modèles connus comme GPT-4, Claude, Llama, etc.).

Ils ont testé les IA de deux façons :

1. En mode « Mémoire pure » (Closed-book) : L'IA doit répondre avec ce qu'elle a appris pendant son entraînement, sans aide.
2. En mode « Copie ouverte » (RAG) : On donne à l'IA un dossier de documents officiels (les lois) et on lui demande de chercher la réponse dedans avant de répondre.

🏆 Les 3 Grandes Découvertes (Les Leçons de la Course)

Voici ce qu'ils ont découvert, avec des analogies simples :

1. La Réflexion bat la Mémoire (Le « Penseur » gagne)

Les IA qui ont obtenu les meilleures notes ne sont pas celles qui ont la plus grosse mémoire, mais celles qui réfléchissent avant de parler.

• L'analogie : Imaginez deux étudiants. L'un a lu tout le livre par cœur (mémoire), l'autre a un livre ouvert mais sait analyser les problèmes (raisonnement). Devant une question piège, l'élève qui réfléchit (comme les modèles o3 ou o1) trouve la bonne réponse en suivant une logique étape par étape. L'élève qui a juste mémorisé se trompe souvent.
• Résultat : Les modèles capables de « chaîne de pensée » (Chain-of-Thought) ont atteint près de 79 % de réussite, un niveau quasi-expert.

2. Le Paradoxe de l'Expert (Le Spécialiste perd contre le Généraliste)

On s'attendait à ce que les IA spécialisées en français ou en droit québécois gagnent. Eh bien, non !

• L'analogie : C'est comme si un expert en droit français (mais qui ne connaît pas le Québec) perdait contre un génie universel qui parle toutes les langues et comprend la logique humaine. Les modèles « spécialisés » et plus petits ont souvent échoué, tandis que les géants généralistes (comme ceux d'OpenAI ou d'Anthropic) ont dominé.
• Pourquoi ? Parce que comprendre la logique derrière une loi est plus important que de connaître le vocabulaire exact.

3. Le Danger de la « Distraction Contextuelle » (Le piège du dossier)

C'est la découverte la plus surprenante et la plus inquiétante. Donner des documents à l'IA ne l'aide pas toujours. Parfois, ça la rend plus bête.

• L'analogie : Imaginez un chef cuisinier très talentueux. Si vous lui donnez un livre de cuisine ouvert sur la table, il peut se concentrer et faire un plat parfait. Mais si vous lui mettez 50 livres ouverts, des bruits de fond, et des notes contradictoires, il peut paniquer, oublier sa recette de base et brûler le plat.
• Ce qui s'est passé : Certaines IA très intelligentes (comme Gemini-2.5-pro) avaient 74 % de réussite sans aide. Mais dès qu'on leur a donné les documents (mode RAG), leur score est tombé à 14 % ! Elles se sont perdues dans le texte, ont refusé de répondre par sécurité, ou ont donné des réponses trop longues qui n'étaient pas validées.

⚖️ Conclusion : Prêts à confier notre argent à une machine ?

Le papier conclut avec un message de prudence :

1. On est presque là : Les meilleures IA peuvent maintenant répondre correctement à près de 80 % des questions d'assurance. C'est impressionnant.
2. Mais c'est encore trop risqué : Le fait que certaines IA s'effondrent complètement quand on leur donne des documents (la « distraction ») est dangereux. Si une IA se trompe dans un conseil d'assurance, cela peut ruiner la vie de quelqu'un.
3. La solution : Pour l'instant, on ne peut pas laisser l'IA travailler seule. Il faut un « humain dans la boucle » (un agent humain qui vérifie le travail de l'IA) jusqu'à ce qu'on soit sûr à 100 % que la machine ne va pas se tromper à cause d'un document mal lu.

En résumé : L'IA a appris à réfléchir comme un avocat, mais elle a encore du mal à ne pas se laisser distraire par un dossier trop épais. Avant de la laisser conseiller nos assurances, il faut s'assurer qu'elle ne va pas faire une erreur coûteuse.

Résumé technique

Voici un résumé technique détaillé de l'article « Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation », présenté au workshop Advances in Financial AI de l'ICLR 2026.

1. Problématique

L'article aborde le défi critique de l'automatisation des services de conseil en assurance au Québec, un domaine régi par le droit civil (Code civil du Québec) et non par la common law.

• Le « fossé de conseil » (Advice Gap) : Suite à l'adoption du projet de loi 141, la distribution d'assurances est désormais entièrement numérique, supprimant l'obligation d'un agent humain. Cela transfère la charge de compréhension de contrats complexes (souvent >30 000 mots) vers des consommateurs non experts.
• Exigence de rigueur : Contrairement à d'autres domaines, les réponses des modèles de langage (LLM) dans l'assurance ne peuvent pas être simplement « plausibles » ; elles doivent être juridiquement exactes. Une erreur (hallucination) peut entraîner des lacunes de couverture, des pertes financières pour les assurés et des poursuites judiciaires contre les assureurs (comme illustré par l'affaire Moffatt v. Air Canada).
• Limites des modèles actuels : La plupart des LLMs juridiques sont entraînés sur des données de common law (États-Unis, Royaume-Uni) et en anglais, les rendant inadaptés au contexte civiliste francophone du Québec.

2. Méthodologie

A. Le Benchmark AEPC-QA

Les auteurs ont créé un benchmark privé de référence (« gold-standard ») nommé AEPC-QA :

• Source : 807 questions à choix multiples (QCM) extraites de 25 manuels d'examen officiels pour la certification des représentants en assurance (Autorité des marchés financiers - AMF).
• Caractéristiques : Les documents sources sont uniquement disponibles sous format papier, ce qui garantit une faible contamination des données d'entraînement des LLMs pré-entraînés.
• Complexité : Le corpus contient environ 96 000 tokens de questions avec une lisibilité de niveau professionnel (score Flesch-Kincaid de 64,55).

B. Protocole d'Évaluation

L'étude évalue 51 LLMs (modèles propriétaires et open-source) selon deux paradigmes :

1. Closed-Book (Livre fermé) : Évaluation des connaissances intrinsèques du modèle sans accès à des documents externes.
2. RAG (Retrieval-Augmented Generation) : Injection de connaissances non paramétriques via un pipeline avancé utilisant le corpus QAIERC (168 600 phrases de législation, contrats standardisés et guides réglementaires).
   • Récupération : Utilisation d'un encodeur dense (text-embedding-ada-002) pour 5 chunks pertinents, préférée aux méthodes éparses (BM25) pour mieux gérer le décalage de vocabulaire entre les requêtes des utilisateurs et le jargon juridique.
   • Compression : Réduction du bruit contextuel avant l'augmentation du prompt.

C. Modèles Évalués

Le benchmark compare des modèles de différentes tailles (7B à 70B+), architectures (MoE) et origines (propriétaires vs open-weight). Les modèles spécialisés juridiques (ex: SaulLM) ont été exclus car leur pré-entraînement sur des données de common law les rendait inadaptés.

3. Contributions Clés

1. Introduction d'AEPC-QA : Un benchmark privé rigoureux aligné sur les normes industrielles québécoises, comblant le manque de ressources pour le droit civil francophone.
2. Analyse comparative massive : Évaluation de 51 modèles dans un cadre zero-shot, établissant une référence pour les performances en assurance.
3. Analyse empirique du RAG : Démonstration de l'impact du RAG non seulement comme amplificateur de performance, mais aussi comme source de risques de dégradation (« context distraction »).

4. Résultats Principaux

L'analyse des résultats révèle trois dynamiques majeures :

A. La suprématie du raisonnement à l'inférence (Inference-Time Reasoning)

Les modèles capables de « penser » avant de répondre (Chain-of-Thought, CoT) dominent largement.

• Performances : Les modèles o3-2025-04-16 et o1-2024-12-17 atteignent respectivement 78,68 % et 75,18 % de précision.
• Insight : La capacité à appliquer des principes juridiques à des scénarios factuels complexes est plus déterminante que la simple mémorisation des textes de loi. Même pour ce benchmark francophone, le raisonnement intermédiaire semble souvent se faire en anglais, suggérant un transfert cross-linguistique ancré dans l'entraînement prédominant en anglais.

B. Le RAG comme égalisateur de connaissances (et source de distraction)

• Égalisation : Le RAG agit comme un puissant égalisateur. Par exemple, DeepSeek-reasoner passe de 36,30 % (Closed-Book) à 71,77 % (RAG), prouvant qu'un moteur de raisonnement fort n'a pas besoin de mémoriser les lois lors de l'entraînement s'il a accès au contexte correct.
• Distraction Contextuelle (Context Distraction) : Phénomène critique où l'ajout de contexte dégrade drastiquement les performances de modèles pourtant performants en closed-book.
  • Exemple : Gemini-2.5-pro chute de 74,65 % à 14,06 % avec RAG.
  • Causes : Non-respect des contraintes de format de sortie (génération de texte long au lieu d'une lettre unique) et déclenchement de mécanismes de sécurité refusant de répondre à des questions juridiques complexes.

C. Le Paradoxe de la Spécialisation

Contrairement aux attentes, les modèles spécifiquement affinés (fine-tuned) pour le français ou le domaine de l'assurance (ex: French-Alpaca-Llama3-8b-it) obtiennent les pires résultats (jusqu'à 0,08 % avec RAG).

• Conclusion : Les modèles généralistes massifs (ex: o3, Claude-3.5-Sonnet) surpassent les modèles de niche. La capacité à raisonner abstraitement sur la responsabilité et la causalité est plus cruciale que l'alignement superficiel avec le jargon juridique local.

D. Écart Propriétaire vs Open-Source

Un écart significatif persiste : les meilleurs modèles open-source (ex: Pixtral-large) atteignent environ 58-60 %, soit un retard d'environ 20 points de pourcentage par rapport aux modèles propriétaires de pointe (78 %).

5. Signification et Implications

• Maturité pour le déploiement autonome : Bien que les meilleurs modèles approchent d'un niveau d'expert (~79 %), l'instabilité introduite par le RAG (phénomène de distraction) rend le déploiement autonome prématuré. Une architecture « humain dans la boucle » reste une nécessité éthique et légale.
• Stratégie de déploiement : Une approche en couches est recommandée : utiliser des modèles légers avec RAG pour les requêtes générales, et basculer vers des modèles de raisonnement coûteux pour les évaluations de responsabilité complexes.
• Éthique et Juridiction : L'article souligne l'importance éthique d'éviter les biais de juridiction. Déployer un modèle entraîné sur la common law dans un système de droit civil constitue un risque juridique majeur (hallucination de concepts inexistants comme les « punitive damages »).
• Avenir de l'évaluation : Les protocoles d'évaluation doivent évoluer des QCM vers des justifications génératives et des conversations multi-tours pour vérifier la capacité des modèles à citer les cadres réglementaires soutenant leurs réponses.

En résumé, ce papier démontre que pour l'assurance au Québec, la qualité du raisonnement l'emporte sur la spécialisation linguistique, mais que la fiabilité opérationnelle nécessite encore des garde-fous robustes contre les effets de distorsion contextuelle.