Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

Este artigo apresenta o benchmark AEPC-QA para avaliar 51 modelos de linguagem no contexto do seguro no Quebec, revelando que a inferência por raciocínio encadeado e a recuperação aumentada (RAG) melhoram significativamente a precisão, embora a RAG possa causar distração contextual e modelos generalistas superem versões especializadas em francês.

O essencial

Imagine que você precisa comprar um seguro de carro ou de casa no Canadá. Antigamente, você ia a uma agência, conversava com um agente humano e ele explicava tudo. Mas, devido a novas leis, agora muitas pessoas podem fazer tudo sozinhas pela internet, sem ajuda de ninguém. O problema? Os contratos de seguro são gigantescos (mais de 30.000 palavras!) e cheios de "juridiquês". Isso deixa o consumidor perdido, como se fosse tentar montar um móvel complexo sem o manual de instruções.

Para resolver isso, os pesquisadores deste estudo perguntaram: "Podemos usar Inteligência Artificial (IA) para ser esse agente e explicar os seguros?"

Eles testaram 51 modelos de IA diferentes (os "cérebros" digitais) em um cenário muito específico: o sistema de seguros do Quebec, no Canadá, que segue leis diferentes das dos EUA ou do Brasil.

Aqui está o que eles descobriram, explicado de forma simples:

1. O "Exame" Secreto (AEPC-QA)

Os pesquisadores criaram um teste secreto, como um "prova final" de faculdade, com 807 perguntas reais tiradas de manuais de certificação de agentes de seguros. Como esses manuais são apenas em papel e não estão na internet, a IA não poderia ter "chutado" as respostas decorando a internet. Era um teste real de conhecimento.

2. A Grande Descoberta: Pensar é Melhor que Decorar

Eles descobriram que os modelos de IA que pensam antes de responder são muito melhores.

• A Analogia: Imagine dois estudantes. O primeiro (o modelo comum) tenta decorar todas as leis de cor. O segundo (o modelo de "raciocínio") lê a pergunta, pensa: "Ok, qual lei se aplica aqui? O que acontece se...?" e só depois escreve a resposta.
• O Resultado: O estudante que "pensou" (usando uma técnica chamada Chain-of-Thought) acertou quase 80% das questões. O que apenas "decorou" ou tentou adivinhar, acertou muito menos. Para seguros, não basta saber a lei; é preciso saber como aplicá-la em uma situação nova.

3. O Efeito "Óculos de Leitura" (RAG)

Para ajudar as IAs que não sabiam as leis de cor, os pesquisadores deram a elas um "livro de consulta" (o sistema RAG). A IA poderia ler trechos do contrato de seguro antes de responder.

• O Milagre: Para algumas IAs mais simples, isso foi mágico. Elas pularam de 36% de acerto para 71%. Foi como dar óculos de leitura para alguém que estava quase cego.
• O Perigo (A Distração): Mas, para algumas IAs muito inteligentes, o livro foi um desastre. Em vez de ajudar, o texto extra as confundiu. Uma IA que acertava 74% sozinha, com o livro, caiu para 14%!
• A Analogia: É como tentar resolver um problema de matemática difícil enquanto alguém fica gritando fatos aleatórios no seu ouvido. A IA inteligente ficou tão distraída com o barulho que esqueceu como fazer a conta. Isso é chamado de "distração de contexto".

4. O Paradoxo do Especialista

Eles esperavam que uma IA treinada especificamente para falar francês e leis do Quebec fosse a campeã. Mas não foi.

• A Lição: As IAs "generalistas" (que sabem de tudo um pouco, de culinária a física) venceram as IAs "especialistas" (que só sabem de seguros).
• Por que? Porque entender a lógica por trás de uma responsabilidade civil é mais importante do que saber o vocabulário técnico. Uma IA generalista consegue raciocinar melhor, mesmo que não seja uma especialista nativa.

5. O Veredito Final: Ainda Não é Hora de Confiança Cega

O estudo conclui que, embora a IA esteja ficando muito boa (quase no nível de um especialista humano), ela ainda é perigosa para usar sozinha em seguros.

• O Risco: Se a IA alucinar (inventar uma resposta) ou se distrair com o texto de consulta, ela pode dizer a uma pessoa que ela está coberta quando não está. Isso pode levar a processos judiciais e prejuízos financeiros graves.
• A Solução: Por enquanto, a IA deve ser uma assistente, não a chefe. Um humano precisa verificar tudo antes de dar a resposta final ao cliente.

Resumo da Ópera:
A IA para seguros no Quebec precisa de um "cérebro" que pense antes de falar, e não apenas de um "livro de memórias". Dar acesso a documentos ajuda alguns, mas confunde outros. A tecnologia está avançando, mas ainda precisamos de um humano no comando para garantir que ninguém saia lesado.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation", apresentado no workshop Advances in Financial AI da ICLR 2026.

1. O Problema

O setor de seguros em Quebec (Canadá) passou por uma transformação digital acelerada pela Lei 141, que permite a distribuição de produtos de seguros totalmente online, eliminando a obrigatoriedade de um agente humano. Isso criou uma "lacuna de aconselhamento" (advice gap), onde consumidores leigos devem interpretar contratos complexos (muitas vezes com mais de 30.000 palavras) sem orientação profissional.

Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma solução escalável para serviços de aconselhamento automatizado, sua aplicação em domínios de alto risco exige precisão legal estrita e confiabilidade. Respostas "plausíveis" são insuficientes; erros podem levar a lacunas de cobertura, prejuízos financeiros graves e ações judiciais contra seguradoras (como ilustrado pelo caso Moffatt v. Air Canada). O desafio central é desenvolver sistemas de IA que não apenas gerem texto, mas forneçam aconselhamento juridicamente verificável e alinhado ao Código Civil de Quebec (sistema de Civil Law), que difere fundamentalmente dos sistemas de Common Law (EUA/UK) onde a maioria dos modelos legais é treinada.

2. Metodologia

2.1. Benchmark AEPC-QA

Os autores introduziram o AEPC-QA, um benchmark "padrão-ouro" privado composto por 807 questões de múltipla escolha derivadas de manuais oficiais de certificação de representantes de seguros (Autorité des marchés financiers).

• Características: As questões cobrem cenários complexos de responsabilidade civil e seguros de danos.
• Segurança de Dados: Como os manuais existem apenas em formato impresso e não são indexados publicamente na web, o risco de contaminação de dados nos modelos pré-treinados é mínimo, garantindo uma avaliação rigorosa de conhecimento não visto.
• Complexidade: O corpus possui pontuação de legibilidade moderada (64.55 Flesch-Kincaid) e alta densidade de vocabulário técnico.

2.2. Configuração Experimental

O estudo avaliou 51 LLMs (incluindo modelos proprietários e de código aberto) sob dois paradigmas:

1. Closed-Book (Livro Fechado): Avaliação do conhecimento intrínseco do modelo sobre as leis de seguros de Quebec.
2. RAG (Geração Aumentada por Recuperação): Injeção de conhecimento não paramétrico. O sistema utiliza um recuperador denso (text-embedding-ada-002) sobre o QAIERC (Corpus de Referência de Expertise de Seguros Automotivos de Quebec), contendo 168.600 frases de legislação, contratos padronizados e orientações regulatórias. O sistema recupera os 5 chunks mais relevantes para aumentar o prompt do LLM.

2.3. Protocolo de Avaliação

• Métrica: Precisão nas questões de múltipla escolha.
• Validação: Validação cruzada estratificada de 10 dobras.
• Teste Estatístico: Uso de teste Z para determinar significância estatística entre as performances com e sem RAG.
• Baselines: Incluem amostragem aleatória e respostas determinísticas (sempre "A", "B", "C" ou "D").

3. Principais Contribuições

1. Criação do AEPC-QA: O primeiro benchmark rigoroso e privado para avaliação de conformidade regulatória em seguros de Quebec, preenchendo a lacuna de recursos em Civil Law e língua francesa.
2. Benchmark Abrangente: Avaliação comparativa de 51 modelos, analisando a lacuna entre modelos proprietários e de código aberto, e a eficácia de modelos de raciocínio versus modelos instruídos padrão.
3. Análise Empírica do RAG: Demonstração de como a arquitetura RAG atua como um equalizador de conhecimento, mas também revela vulnerabilidades críticas de "distração de contexto".

4. Resultados Chave

4.1. A Supremacia do Raciocínio em Tempo de Inferência

Modelos que utilizam Cadeia de Pensamento (Chain-of-Thought - CoT) durante a inferência superaram significativamente os modelos instruídos padrão.

• Top Performers: o3-2025-04-16 (78,68%) e o1-2024-12-17 (75,18%) ocuparam os dois primeiros lugares.
• Insight: O gargalo não é apenas a recuperação de conhecimento, mas a aplicação lógica desse conhecimento a novos cenários. Curiosamente, mesmo para tarefas em francês, esses modelos frequentemente realizam passos lógicos intermediários em inglês, indicando transferência cross-linguística.

4.2. RAG como Equalizador de Conhecimento

O RAG demonstrou ser crucial para modelos com conhecimento paramétrico fraco sobre o direito civil de Quebec.

• Exemplo: O modelo DeepSeek-reasoner saltou de 36,30% (Closed-Book) para 71,77% (com RAG).
• Conclusão: Motores de raciocínio de alta qualidade não precisam memorizar estatutos específicos; com o contexto regulatório correto, eles podem sintetizar respostas competitivas.

4.3. O Fenômeno da "Distração de Contexto"

Um achado crítico e paradoxal: para alguns modelos de alta capacidade, a adição de contexto externo degradou catastroficamente a performance.

• Casos Extremos: Gemini-2.5-pro caiu de 74,65% para 14,06% com RAG. Llama-3.3-70b-it caiu para 0,99%.
• Causas:
  1. Não conformidade de formato: Modelos geraram explicações longas em vez de apenas a letra da resposta, resultando em pontuação zero técnica.
  2. Gatilhos de Recusa de Segurança: Modelos com alinhamento rígido interpretaram o contexto legal complexo como uma solicitação sensível ("não posso dar aconselhamento jurídico") e recusaram-se a responder.

4.4. O Paradoxo da Especialização

Modelos específicos, ajustados (fine-tuned) para o domínio francês ou seguros, desempenharam pior do que modelos generalistas massivos.

• O modelo French-Alpaca-Llama3-8b-it obteve apenas 0,08% de precisão com RAG.
• Conclusão: Para tarefas de aconselhamento financeiro, a capacidade de raciocínio abstrato (generalista) é mais crítica do que a adaptação superficial de vocabulário ou sintaxe.

4.5. Lacuna Proprietária vs. Open Source

Existe uma lacuna persistente de ~20 pontos percentuais entre os melhores modelos proprietários (ex: OpenAI, Anthropic) e os modelos de código aberto mais avançados, sugerindo que os modelos open-source atuais ainda não possuem a densidade de raciocínio necessária para agentes autônomos em cenários de alto risco.

5. Significado e Conclusão

O estudo conclui que, embora a IA esteja se aproximando da proficiência de nível especialista (~79% de precisão), a instabilidade introduzida pela recuperação de contexto externo (RAG) torna o desenvolvimento autônomo prematuro para o setor de seguros.

• Risco de Implementação: A "distração de contexto" representa um risco de negligência sistêmica. Um modelo que funciona bem sozinho pode falhar catastróficamente quando equipado com documentos legais, criando uma falsa sensação de segurança.
• Recomendações:
  1. Arquitetura "Human-in-the-loop": Necessária até que garantias de segurança verificáveis (ex: conjuntos de previsão conformal) sejam estabelecidas.
  2. Estratégia em Camadas: Usar modelos leves com RAG para consultas gerais e escalar para modelos de raciocínio pesado apenas para avaliações complexas de responsabilidade.
  3. Foco Futuro: Pesquisas devem focar em destilar capacidades de raciocínio para modelos menores e desenvolver intervenções de robustez para mitigar a sensibilidade ao contexto.

O trabalho destaca que a automação de aconselhamento financeiro exige uma transição de "geração plausível" para "precisão legal verificável", onde a confiabilidade supera a mera capacidade de geração de texto.