Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

Questo studio presenta il benchmark AEPC-QA per valutare 51 modelli linguistici nel contesto assicurativo del Québec, rivelando che il ragionamento durante l'inferenza e la generazione aumentata dal recupero (RAG) sono fondamentali per l'accuratezza, sebbene quest'ultima possa causare distorsioni contestuali e che i modelli generalisti superino quelli specializzati di nicchia.

L'essenziale

Ecco una spiegazione semplice e creativa di questo studio, pensata per chiunque voglia capire come l'Intelligenza Artificiale sta cercando di diventare un "consulente assicurativo" in Canada, ma incontra alcuni ostacoli inaspettati.

Immagina di dover leggere un contratto assicurativo. È come cercare di capire le regole di un gioco da tavolo scritto in una lingua straniera, con 50 pagine di testo piccolo e pieno di trappole legali. In Quebec (Canada), grazie a una nuova legge, le compagnie assicurative possono vendere queste polizze online senza la presenza di un agente umano. Il problema? I clienti si trovano soli a dover interpretare queste regole complesse. È come dare a un bambino le chiavi di una Ferrari senza avergli mai insegnato a guidare: il rischio di incidenti è altissimo.

Gli autori di questo studio hanno chiesto: "Possiamo usare l'Intelligenza Artificiale (specificamente i modelli linguistici o LLM) per fare da 'istruttore' e spiegare queste regole ai clienti?"

Per rispondere, hanno creato un esame di guida molto severo, chiamato AEPC-QA.

• L'esame: Non è un test inventato. È basato su 807 domande reali prese dai manuali ufficiali usati per certificare gli agenti assicurativi in Quebec.
• La sfida: Le domande sono in francese e riguardano leggi specifiche del Quebec (un sistema giuridico diverso da quello anglo-americano). È come se dovessero guidare su strade con regole diverse da quelle a cui sono abituati.

Hanno messo alla prova 51 diversi "cervelli" artificiali (dai più famosi come GPT-4 e Claude a modelli più piccoli e open-source) in due modi diversi:

1. Il modo "Memorizzato" (Closed-Book)

Immagina di chiedere a un esperto di diritto: "Cosa succede se mi colpisce una palla da golf?" senza dargli nessun libro di testo accanto. Deve rispondere solo con quello che ha nella sua memoria interna.

• Risultato: Alcuni modelli "ragionatori" (quelli che pensano prima di parlare, come se facessero un ragionamento passo-passo) sono stati bravissimi, arrivando quasi all'80% di risposte corrette. Altri, che sembravano intelligenti ma non avevano "studiato" le leggi del Quebec, sono andati in crisi.

2. Il modo "Con il Libro Aperto" (RAG - Retrieval Augmented Generation)

Qui l'IA ha a disposizione un archivio digitale con tutte le leggi e i contratti giusti. Quando le viene fatta una domanda, l'IA cerca nel libro la risposta corretta e poi la formula.

• La sorpresa (Il "Livellatore"): Per i modelli che non sapevano molto di diritto, questo è stato un miracolo. Hanno visto i loro voti schizzare dal 36% al 72%! È come se un principiante avesse ricevuto una mappa perfetta e fosse diventato un pilota esperto.
• Il paradosso (La "Distrazione"): Ma qui arriva il colpo di scena. Alcuni modelli che erano bravissimi senza il libro, quando hanno ricevuto il libro aperto, sono crollati miseramente (alcuni sono passati dal 74% al 14%!).
  • Perché? È come se un genio matematico, quando gli metti davanti un foglio pieno di formule, si confonda, legga male la domanda o si spaventi perché il foglio sembra troppo complicato. Alcuni modelli hanno anche rifiutato di rispondere perché il testo sembrava "pericoloso" (pensando di dover dare consigli legali non autorizzati), mentre altri hanno scritto risposte così lunghe e confuse che il sistema non è riuscito a capire quale fosse la risposta giusta.

Le 3 Scoperte Principali (in parole povere)

1. Pensare è meglio che ricordare: I modelli che "ragionano" (fanno un passo alla volta, come un detective) vincono sempre, anche se non hanno memorizzato le leggi a memoria. La capacità di pensare è più importante della memoria.
2. Il libro non è sempre un amico: Dare all'IA un archivio di documenti non garantisce sempre un miglioramento. A volte, troppa informazione confonde i modelli più intelligenti, facendoli crollare. È un rischio enorme se l'IA deve dare consigli finanziari a persone reali.
3. I "giganti" battono gli "specialisti": Sorprendentemente, i modelli generici e enormi (che parlano molte lingue e conoscono tutto) hanno fatto meglio dei modelli piccoli e specifici addestrati solo sul francese o solo sull'assicurazione. Sembra che la capacità di ragionare in modo astratto valga più della conoscenza specifica di un gergo locale.

Il Verdetto Finale

Gli autori concludono che, anche se l'IA sta diventando molto brava (quasi al livello di un esperto umano), non è ancora pronta per lavorare da sola.
Il rischio è troppo alto. Se un'IA si "distrae" leggendo un documento e dà un consiglio sbagliato, una persona potrebbe perdere i suoi risparmi o non avere copertura in caso di incidente.

La metafora finale:
Attualmente, l'IA è come un pilota di Formula 1 molto veloce, ma che si spaventa se gli metti davanti un manuale di istruzioni. Per usarla in sicurezza, abbiamo bisogno di un "istruttore umano" che stia sempre al posto del copilota, controllando che l'IA non si confonda e non dia consigli sbagliati. Non possiamo ancora lasciarla guidare da sola.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Benchmarking dei Modelli Linguistici di Grande Dimensione (LLM) per l'Assicurazione in Québec: Dalla Generazione "Closed-Book" alla Generazione Aumentata dal Recupero (RAG)

Autori: David Beauchemin & Richard Khoury (GRAIL, Università Laval)
Contesto: Workshop "Advances in Financial AI: Towards Agentic and Responsible Systems" @ ICLR 2026

---

1. Il Problema: Il "Divario di Consulenza" e la Complessità Legale

Il settore assicurativo in Québec (Canada) sta subendo una trasformazione radicale a causa della digitalizzazione, accelerata dalla Legge 141, che permette la distribuzione di prodotti assicurativi interamente online, eliminando l'obbligo di un agente umano.

• La Sfida: Questo spostamento crea un "divario di consulenza" (advice gap). I consumatori devono interpretare contratti complessi (spesso oltre 30.000 parole) senza guida professionale, esponendosi a rischi finanziari e legali.
• Il Ruolo degli LLM: Sebbene gli LLM offrano una soluzione scalabile per la consulenza automatizzata, il loro utilizzo in ambiti ad alto rischio (come le assicurazioni) richiede un'accuratezza legale assoluta. Errori o "allucinazioni" possono portare a lacune nella copertura, perdite finanziarie per gli assicurati e azioni legali contro le compagnie (es. caso Moffatt v. Air Canada).
• Limiti Attuali: La maggior parte dei modelli legali esistenti è addestrata su sistemi di Common Law (USA, UK) e in inglese. Il Québec, invece, segue un sistema di Civil Law (Codice Civile) e richiede competenze in francese. I modelli attuali non sono adatti a questo contesto giuridico specifico.

2. Metodologia

Gli autori hanno condotto una valutazione exhaustiva per testare la prontezza degli LLM in questo dominio di nicchia.

A. Il Benchmark AEPC-QA

È stato introdotto AEPC-QA, un benchmark "gold-standard" privato composto da 807 domande a scelta multipla.

• Origine dei dati: Derivato da 25 manuali di preparazione agli esami di certificazione per agenti assicurativi, disponibili solo in formato cartaceo e non indicizzati online.
• Vantaggio: L'uso di materiale non pubblico elimina il rischio di "contaminazione dei dati" (data contamination), garantendo che le prestazioni misurino la vera conoscenza del dominio e non la memorizzazione di dati di addestramento.
• Caratteristiche: Le domande presentano scenari di responsabilità civile complessi, con una leggibilità media di livello professionale (Flesch-Kincaid 64.55).

B. Configurazione Sperimentale

Sono stati valutati 51 LLM (sia proprietari che open-source) in due paradigmi distinti:

1. Closed-Book (Libro Chiuso): Valutazione della conoscenza intrinseca del modello senza accesso a documenti esterni.
2. RAG (Retrieval-Augmented Generation): Utilizzo di un corpus specializzato (QAIERC) contenente 168.600 frasi di legislazione assicurativa, contratti standardizzati e linee guida normative.
   • Architettura RAG: Utilizzo di un retriever denso (text-embedding-ada-002) per recuperare i 5 chunk più rilevanti, compressi e inseriti nel prompt del modello.
   • Metriche: Accuratezza sulle domande a scelta multipla, valutata tramite cross-validazione a 10 fold.

3. Contributi Chiave

1. Creazione di AEPC-QA: Il primo benchmark rigoroso per la comprensione normativa assicurativa in Québec, basato su fonti certificate non contaminate.
2. Valutazione Comparativa Estesa: Analisi di 51 modelli, confrontando architetture proprietarie (es. GPT-4o, Claude) e open-source, inclusi modelli specifici per il francese e modelli legali generici.
3. Analisi dell'Impatto del RAG: Dimostrazione empirica di come l'iniezione di contesto non parametrico influenzi diversamente i modelli, agendo come equalizzatore per alcuni e come distrattore per altri.

4. Risultati Principali

L'analisi ha rivelato tre insight critici che ridefiniscono la preparazione degli LLM per l'assistenza assicurativa:

A. La Supremazia del Ragionamento al Tempo di Inferenza

• I modelli dotati di capacità di Chain-of-Thought (CoT) al momento dell'inferenza (es. o3-2025-04-16, o1-2024-12-17) hanno dominato la classifica, raggiungendo accuratezze del 78,68% e 75,18% rispettivamente.
• Questi modelli superano i modelli standard instruction-tuned (come GPT-4o), suggerendo che la sfida principale non è la memorizzazione delle leggi, ma l'applicazione logica di principi giuridici a scenari nuovi.
• Nota: Anche per il benchmark in francese, questi modelli sembrano eseguire i passaggi logici intermedi in inglese, sfruttando il pre-addestramento dominante in quella lingua.

B. Il RAG come "Equalizzatore di Conoscenza" (e il Paradosso)

• Effetto Positivo: Per modelli con conoscenze parametriche deboli sul diritto civile francese, il RAG ha funzionato da equalizzatore. Ad esempio, DeepSeek-reasoner è passato dal 36,30% (closed-book) al 71,77% (RAG).
• Effetto Negativo (Distrazione Contestuale): Alcuni modelli ad alta capacità hanno subito un crollo catastrofico delle prestazioni con il RAG.
  • Esempio: Gemini-2.5-pro è sceso dal 74,65% al 14,06%.
  • Cause: 1) Non conformità al formato: I modelli generano spiegazioni lunghe invece della singola lettera richiesta, fallendo il parsing. 2) Trigger di sicurezza: Il contesto legale complesso viene interpretato come una richiesta sensibile, attivando rifiuti ("Non posso fornire consulenza legale").

C. Il Paradosso della Specializzazione

• Contrariamente alle aspettative, i modelli specifici per il dominio (es. French-Alpaca-Llama3-8b-it) o per la lingua francese hanno performato peggio dei grandi modelli generalisti.
• Il modello specializzato francese ha ottenuto solo lo 0,08% di accuratezza con il RAG.
• Conclusione: Per compiti di consulenza finanziaria, la capacità di ragionamento astratto (tipica dei modelli generalisti massicci) è più critica dell'adattamento superficiale al gergo legale o alla lingua specifica.

D. Il Divario Proprietario

• Esiste un divario significativo (~20 punti percentuali) tra i modelli proprietari all'avanguardia e i migliori modelli open-weight. I modelli open-source attuali potrebbero non essere ancora pronti per essere agenti autonomi in contesti ad alto rischio.

5. Significato e Implicazioni

• Maturità Tecnologica: Sebbene i migliori modelli raggiungano un livello di competenza simile a quello di un esperto (~79%), l'instabilità introdotta dal recupero del contesto (RAG) rende il dispiegamento autonomo prematuro.
• Rischio di "Distrazione Contestuale": L'aggiunta di documenti esterni non garantisce sempre un miglioramento; può "lobotomizzare" modelli capaci a causa di problemi di allineamento alla sicurezza o di formattazione.
• Strategia di Deployment: È necessaria una strategia a livelli: modelli leggeri con RAG per domande generali e modelli di ragionamento avanzato (con costi e latenza maggiori) per valutazioni di responsabilità complesse.
• Etica e Responsabilità: Il paper sottolinea che l'uso di modelli con allucinazioni o bias giurisdizionali (es. applicare leggi Common Law in Québec) costituisce un fallimento etico e legale. Fino a quando non saranno garantite protezioni di sicurezza verificabili (es. "human-in-the-loop"), l'automazione totale non è eticamente sostenibile.

In sintesi, il lavoro dimostra che per l'IA finanziaria in contesti giuridici specifici, il ragionamento supera la memorizzazione, ma la robustezza del sistema di recupero informazioni (RAG) deve essere calibrata con estrema cura per evitare regressioni catastrofiche delle prestazioni.