Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

Este artículo presenta el benchmark AEPC-QA para evaluar 51 modelos de lenguaje en el contexto de los seguros de Quebec, revelando que el razonamiento inferencial y la recuperación aumentada mejoran significativamente la precisión, aunque esta última puede causar distracción contextual, y que los modelos generalistas masivos superan a los especializados en francés.

Lo esencial

Imagina que las leyes de seguros en Quebec son como un manual de instrucciones gigante y aburrido, escrito en un lenguaje tan complicado que incluso los abogados tardan en entenderlo. Hace unos años, una nueva ley (el "Proyecto de Ley 141") permitió que las aseguradoras vendieran sus productos sin necesidad de un agente humano.

Esto suena genial para la eficiencia, pero crea un gran problema: el "vacío de consejos". Ahora, tú, el consumidor, tienes que leer esos contratos de 50 páginas y entenderlos tú solo, sin ayuda. Si te equivocas, podrías quedarte sin cobertura cuando más la necesitas.

Aquí es donde entran los Inteligencias Artificiales (IA) o "Modelos de Lenguaje" (como los que usan en ChatGPT). La idea es: "¿Por qué no le pedimos a una IA que nos explique el contrato?". Pero, ¿puedes confiar ciegamente en una máquina para darte consejos legales? Si la IA miente (alucina), podrías perder dinero o tener problemas legales.

Este estudio de la Universidad Laval en Quebec se propuso responder esa pregunta. Aquí te explico lo que descubrieron, usando analogías sencillas:

1. El Examen Secreto (AEPC-QA)

Los investigadores crearon un examen secreto con 807 preguntas de opción múltiple, sacadas de los manuales oficiales que usan para certificar a los agentes de seguros.

• La analogía: Imagina que quieres probar si un estudiante sabe de medicina. No le preguntas cosas de Wikipedia, sino que le das un examen real de la facultad de medicina que nadie ha visto antes.
• El truco: Como estos manuales son solo en papel y no están en internet, las IAs no podían haberlos "leído" antes. Así que, si una IA acertaba, era porque realmente sabía la respuesta o sabía razonar, no porque la hubiera memorizado de internet.

2. Dos formas de estudiar

Probaron a 51 IAs diferentes de dos maneras:

• Modo "Memoria Pura" (Closed-Book): La IA debe responder solo con lo que tiene en su "cerebro" (su entrenamiento previo).
• Modo "Con Libros Abiertos" (RAG): A la IA se le da un "libro de consulta" (los documentos legales reales) justo antes de responder, para que busque la información allí.

3. Las 3 Grandes Sorpresas (Lo que descubrieron)

A. El poder de "pensar antes de hablar"

Las IAs que tienen una capacidad especial para pensar paso a paso (como si hicieran un borrador mental antes de escribir la respuesta final) ganaron por goleada.

• La analogía: Imagina dos estudiantes. Uno responde rápido y sin pensar (el modelo estándar). El otro toma un minuto, dibuja un diagrama, analiza las opciones y luego responde (el modelo de "razonamiento"). El segundo siempre gana en preguntas difíciles.
• Resultado: Las IAs más inteligentes no son las que más datos tienen guardados, sino las que mejor razonan sobre los datos.

B. El "Equilibrador de Conocimiento" vs. La "Distracción"

Aquí pasó algo curioso.

• Para las IAs "novatas": Darles el "libro de consulta" (RAG) fue mágico. Pasaron de ser muy malas a ser excelentes. Fue como darle una calculadora a alguien que no sabe matemáticas; de repente, puede resolver el problema.
• Para las IAs "expertas": ¡Ojo! A algunas IAs muy inteligentes, darles el libro les hizo peor. Se confundieron tanto con tanta información extra que fallaron estrepitosamente.
• La analogía: Es como poner a un chef experto en una cocina llena de ruido, olores extraños y recetas confusas. En lugar de cocinar mejor, se distrae y quema la comida. A esto lo llamaron "Distracción del Contexto".

C. El Paradoja del Especialista

Se esperaba que una IA entrenada específicamente en francés y en seguros de Quebec fuera la mejor. ¡Falso!

• La analogía: Imagina que contratas a un experto local que solo conoce tu barrio (modelo especializado) versus un viajero mundial que ha visitado todos los países y sabe resolver problemas complejos (modelo generalista).
• Resultado: El viajero mundial (las IAs grandes y generales) resolvió los problemas legales mejor que el experto local. Resulta que para entender las trampas lógicas de un contrato, es más importante saber pensar que saber vocabulario específico.

4. ¿Podemos confiar en ellas hoy?

La conclusión es un "Sí, pero...".

• Las IAs más avanzadas ya pueden acertar cerca del 79% de las veces, lo cual es impresionante.
• PERO, el sistema es inestable. A veces funcionan perfecto, y a veces, si les das demasiada información, fallan estrepitosamente (como el chef distraído).
• Además, hay una diferencia grande entre las IAs de pago (privadas) y las gratuitas (de código abierto). Las privadas son mucho más fiables para este tipo de trabajo de alto riesgo.

En resumen

El estudio nos dice que aún no es el momento de dejar que una IA trabaje sola dando consejos de seguros en Quebec. Aunque son muy inteligentes, a veces se distraen o se confunden.

La solución ética: Necesitamos un sistema donde la IA sea el asistente que prepara la respuesta, pero un humano (el agente de seguros) sea quien la revisa y la firma. Hasta que las IAs no sean 100% estables y no se distraigan con la información extra, no podemos confiarles la seguridad financiera de las personas.

Es como si tuviéramos un copiloto de avión muy inteligente, pero todavía necesitamos que el piloto humano tenga la mano en el mando por si el copiloto se distrae con una tormenta.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation", presentado en el taller Advances in Financial AI: Towards Agentic and Responsible Systems en ICLR 2026.

1. El Problema: La Brecha de Asesoría y la Precisión Legal

El sector financiero en Quebec (Canadá) ha experimentado una transformación digital acelerada por la Ley 141, que permite la distribución de productos de seguros totalmente en línea, eliminando la obligación de intervención de un agente humano. Esto ha creado una "brecha de asesoramiento" (advice gap), donde los consumidores deben interpretar contratos complejos (a menudo de más de 30.000 palabras) sin guía profesional.

El desafío central es que, en el dominio de los seguros, las respuestas "plausibles" de los Modelos de Lenguaje Grandes (LLM) son insuficientes; se requiere precisión legal absoluta. Un error o alucinación puede generar lagunas en la cobertura, pérdidas financieras graves para los asegurados y acciones legales contra las aseguradoras (como se vio en el caso Moffatt v. Air Canada). Además, existe un sesgo jurisdiccional: la mayoría de los LLMs legales están entrenados en sistemas de Common Law (EE. UU., Reino Unido) y en inglés, lo que los hace inadecuados para el sistema de Derecho Civil de Quebec y su contexto francófono.

2. Metodología y Configuración Experimental

2.1. Nuevo Benchmark: AEPC-QA

Los autores introducen AEPC-QA, un conjunto de datos de referencia ("gold-standard") privado compuesto por 807 preguntas de opción múltiple.

• Fuente: Digitalización manual y curada de 25 manuales de preparación de exámenes oficiales de certificación de representantes de seguros (Autorité des marchés financiers).
• Características: Las preguntas cubren escenarios de responsabilidad complejos. Debido a restricciones de derechos de autor y para evitar la contaminación de datos en modelos pre-entrenados, el corpus no es público.
• Complejidad: El texto presenta una longitud promedio de oraciones de 18.95 palabras y una puntuación de legibilidad (Flesch-Kincaid) de 64.55, indicando un nivel de dificultad profesional.

2.2. Evaluación de Modelos

Se evaluaron 51 LLMs (tanto propietarios como de código abierto) bajo dos paradigmas arquitectónicos:

1. Generación en Libro Cerrado (Closed-Book): Evalúa el conocimiento intrínseco del modelo sobre las leyes de seguros de Quebec sin contexto externo.
2. Generación Aumentada por Recuperación (RAG): Utiliza un corpus especializado (QAIERC) que agrupa 168.600 oraciones de legislación, contratos estandarizados y guías regulatorias.
   • Se emplea un recuperador denso (text-embedding-ada-002) para capturar la intención semántica de consultas de usuarios no expertos, superando la falta de terminología legal precisa.
   • Se recuperan los 5 fragmentos más relevantes y se comprimen antes de inyectarlos en el prompt del LLM.

2.3. Protocolo

Se utilizó una validación cruzada estratificada de 10 pliegues y se midió la precisión en las preguntas de opción múltiple. Se compararon modelos de razonamiento (Chain-of-Thought), modelos instructivos generales y modelos especializados en francés.

3. Contribuciones Clave

1. Creación de AEPC-QA: El primer benchmark de referencia riguroso para la comprensión regulatoria de seguros en Quebec, alineado estrictamente con los estándares de la industria y libre de contaminación de datos públicos.
2. Evaluación Exhaustiva: Benchmarking de 51 modelos en un entorno zero-shot, comparando arquitecturas propietarias vs. de código abierto y modelos de razonamiento vs. instructivos.
3. Análisis Empírico de RAG: Demostración del impacto de la inyección de conocimiento no paramétrico, revelando comportamientos paradójicos en diferentes modelos.

4. Resultados Principales y Hallazgos

A. La Supremacía del Razonamiento en Tiempo de Inferencia

Los modelos que utilizan procesamiento de Cadena de Pensamiento (CoT) durante la inferencia superaron significativamente a los modelos instructivos estándar.

• Líderes: o3-2025-04-16 (78.68%) y o1-2024-12-17 (75.18%) ocuparon los dos primeros lugares.
• Hallazgo: La barrera principal no es la recuperación de conocimiento, sino la aplicación lógica de principios legales a escenarios novedosos. Curiosamente, incluso en este benchmark en francés, estos modelos realizan pasos lógicos intermedios en inglés antes de generar la respuesta final.

B. RAG como "Igualador de Conocimiento"

El RAG actuó como un potente amplificador para modelos con conocimiento paramétrico débil en leyes civiles de Quebec.

• Ejemplo: DeepSeek-reasoner pasó de un 36.30% (libro cerrado) a un 71.77% con RAG.
• Implicación: Los motores de razonamiento de alta calidad no necesitan memorizar estatutos específicos; pueden sintetizar respuestas competitivas si se les proporciona el contexto regulatorio correcto, reduciendo la necesidad de fine-tuning costoso.

C. El Fenómeno de "Distracción del Contexto"

Se identificó una vulnerabilidad crítica donde la introducción de contexto externo degradó catastróficamente el rendimiento de ciertos modelos de alta capacidad.

• Casos: Gemini-2.5-pro cayó del 74.65% (libro cerrado) al 14.06% con RAG. Llama-3.3-70b-it y Grok-2-latest también sufrieron colapsos severos.
• Causas:
  1. No cumplimiento de formato: Modelos como Gemini generaron explicaciones largas en lugar de la letra única solicitada, resultando en puntuación cero técnica.
  2. Disparadores de seguridad: Modelos con alineación estricta interpretaron los contextos legales complejos como consultas sensibles, activando negativas ("No puedo dar asesoramiento legal") en lugar de responder la pregunta.

D. La Paradoja de la Especialización

Contrario a la intuición, los modelos especializados y ajustados en francés (ej. French-Alpaca-Llama3-8b-it) obtuvieron los peores resultados (0.08% con RAG).

• Conclusión: Los modelos generalistas masivos (o3, Claude-3.5-Sonnet) superaron a los modelos de nicho. La capacidad de razonar abstractamente sobre responsabilidad y causalidad es más crítica que la alineación superficial con la jerga legal específica.

E. Brecha Propietaria

Persiste una brecha de ~20 puntos porcentuales entre los modelos propietarios de vanguardia y los mejores modelos de código abierto, sugiriendo que los modelos abiertos actuales aún carecen de la densidad de razonamiento necesaria para agentes autónomos en seguros de alto riesgo.

5. Significado y Conclusiones

El estudio concluye que, aunque los arquitecturas actuales se acercan a la competencia de expertos (~79% de precisión), la inestabilidad introducida por la recuperación de contexto hace que el despliegue autónomo sea prematuro.

• Riesgo de Despliegue: La "distracción del contexto" representa un riesgo de negligencia sistémica. Un RAG no es un amplificador garantizado; sin calibración específica del modelo, puede "lobotomizar" a modelos capaces.
• Estrategia de Implementación: Se propone una estrategia escalonada: usar modelos ligeros con RAG para consultas generales y escalar a modelos de razonamiento costosos solo para evaluaciones complejas de responsabilidad.
• Recomendaciones Futuras: La investigación futura debe centrarse en destilar capacidades de razonamiento en modelos más pequeños, desarrollar intervenciones de robustez para mitigar la sensibilidad al contexto y evolucionar los protocolos de evaluación hacia justificaciones generativas y conversaciones multi-turno, más allá de la simple selección de opciones.

En resumen, el trabajo demuestra que para la asesoría financiera de alto riesgo, el razonamiento inferencial es más importante que la memorización de datos, pero la integración de RAG requiere una ingeniería de prompts y alineación de seguridad extremadamente rigurosa para evitar fallos catastróficos.