Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

Diese Studie stellt mit AEPC-QA einen neuen Benchmark für die Versicherungsbranche Québecs vor und zeigt, dass zwar RAG und Schlussfolgerungstechniken die Genauigkeit von Sprachmodellen erheblich steigern können, jedoch eine instabile Kontextverarbeitung und die Überlegenheit großer Generalisten gegenüber spezialisierten Modellen eine sorgfältige Robustheitskalibrierung vor dem autonomen Einsatz erfordern.

Das Wesentliche

🏛️ Der große Test: Können KI-Chatbots wirklich Versicherungsberater sein?

Stell dir vor, du möchtest eine Versicherung abschließen. In der Provinz Québec (Kanada) hat das Gesetz kürzlich geändert: Du musst keinen menschlichen Berater mehr anrufen; du kannst alles online regeln. Das ist praktisch, aber auch gefährlich. Die Verträge sind wie dicke, unleserliche Bücher voller juristischer Fallstricke. Die meisten Menschen verstehen diese Sprache nicht.

Hier kommen die KI-Sprachmodelle (LLMs) ins Spiel. Die Idee war: „Lass die KI die Verträge lesen und dem Kunden erklären!" Aber die Forscher von der Universität Laval haben sich gefragt: „Können diese KIs das wirklich, oder halluzinieren sie nur?"

Sie haben einen riesigen Test durchgeführt, um das herauszufinden. Hier ist, was sie entdeckt haben, übersetzt in einfache Bilder:

1. Der Prüfungsraum ohne Hilfsmittel (Closed-Book)

Zuerst haben sie die KIs in einen Raum gesetzt, in dem sie keine Bücher durften. Sie mussten ihr Wissen aus dem Kopf abrufen.

• Das Ergebnis: Es war ein Chaos. Viele KIs, die sonst sehr schlau wirken, scheiterten an den spezifischen Gesetzen von Québec. Sie wussten einfach nicht, was in den lokalen Gesetzen steht, weil sie meist mit englischen oder US-Rechtstraining gefüttert wurden.
• Die Metapher: Stell dir vor, du stellst einen brillanten deutschen Juristen vor einen kanadischen Richter und erwartest, dass er die Gesetze von Québec auswendig kennt. Er wird scheitern, weil er das falsche „Gesetzesbuch" im Kopf hat.

2. Die KI mit dem Nachschlagewerk (RAG)

Dann gaben sie den KIs eine digitale Bibliothek (eine Datenbank mit allen offiziellen Versicherungsregeln) und sagten: „Such dir die richtige Seite raus und antworte dann."

• Das Ergebnis: Das war ein großer Unterschied! Für viele KIs war das wie ein Gehirn-Booster. Modelle, die vorher nur 36 % richtig lagen, schafften plötzlich 71 %.
• Die Metapher: Es ist wie ein Student, der eine Prüfung macht. Ohne Buch ist er panisch. Mit dem richtigen Lehrbuch in der Hand wird er zum Experten. Die KI muss das Gesetz nicht auswendig lernen; sie muss nur wissen, wie man es findet.

3. Das große „Aber": Der Ablenkungs-Effekt

Hier wird es spannend und etwas beängstigend. Nicht alle KIs kamen mit der Bibliothek zurecht.

• Das Phänomen: Manche extrem intelligenten KIs, die im „ohne-Buch"-Modus super waren, fielen im „mit-Buch"-Modus ins Bodenlose. Sie bekamen die Informationen, aber sie verstanden die Frage nicht mehr oder gaben eine lange, verwirrende Erklärung statt einer klaren Antwort.
• Die Metapher: Stell dir einen Weltmeister im Schach vor. Wenn du ihm plötzlich 50 neue, verwirrende Figuren auf das Brett legst und sagst „Spiele jetzt!", macht er vielleicht einen Fehler, weil er von der Masse an Informationen überwältigt ist. Die KI wurde von den Informationen „abgelenkt" und vergaß, was sie eigentlich tun sollte.

4. Der „Spezialisten-Paradoxon"

Man dachte vielleicht: „Eine KI, die speziell für französische Versicherungsfragen trainiert wurde, muss doch die Beste sein!"

• Die Überraschung: Nein! Die riesigen, allgemeinen KIs (die alles wissen, von Kochrezepten bis zu Astrophysik) waren viel besser als die kleinen, spezialisierten KIs.
• Die Metapher: Ein kleiner Handwerker, der nur Schrauben kennt, ist gut beim Schrauben. Aber ein riesiger, vielseitiger Ingenieur, der versteht, warum die Schraube da ist und wie sie mit dem ganzen Motor zusammenhängt, löst das Problem besser. Es geht weniger um das Auswendiglernen von Vokabeln, sondern um das logische Denken.

5. Der Preis für Intelligenz

Die klügsten KIs (die sogenannten „Reasoning-Modelle") waren die besten. Aber sie brauchen Zeit zum „Nachdenken".

• Die Metapher: Ein schneller Lieferbote (eine einfache KI) bringt die Antwort in 2 Sekunden, aber sie könnte falsch sein. Ein genialer Detektiv (die fortschrittliche KI) braucht 45 Sekunden, um alle Beweise zu prüfen, aber er findet die richtige Antwort. Für eine Bank oder Versicherung ist die langsame, aber korrekte Antwort wichtiger als die schnelle, falsche.

🚨 Das Fazit: Noch nicht bereit für den Autopiloten

Die Forscher kommen zu einem klaren Schluss:
Wir können KI noch nicht einfach als autonomen Versicherungsberater einsetzen.

1. Fehler sind teuer: Wenn eine KI falsch liegt, kann das für den Kunden den Verlust von Geld oder Versicherungsschutz bedeuten.
2. Instabilität: Manchmal funktioniert die KI mit Hilfe (der Datenbank) besser, manchmal schlechter. Das ist zu unzuverlässig für den Ernstfall.
3. Der menschliche Faktor: Bis die KI zu 100 % verlässlich ist, braucht es einen Menschen im Loop. Die KI soll der Assistent sein, der die Akten durchsucht, aber der Mensch muss das letzte Wort haben.

Kurz gesagt: Die KI hat das Potenzial, ein genialer Assistent zu sein, aber sie ist noch nicht reif genug, um allein am Steuer zu sitzen. Sie braucht noch mehr Training, um nicht von ihren eigenen Büchern abgelenkt zu werden, und wir müssen sicherstellen, dass sie die richtigen Gesetze (die von Québec, nicht die von New York) kennt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papiers „Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation" auf Deutsch:

1. Problemstellung

Die Digitalisierung der Versicherungsdistribution in der kanadischen Provinz Québec, beschleunigt durch legislative Änderungen wie das „Bill 141", hat eine signifikante „Beratungslücke" (Advice Gap) geschaffen. Verbraucher müssen komplexe Finanzverträge (oft über 30.000 Wörter) ohne professionelle menschliche Anleitung interpretieren.

• Herausforderung: Während Large Language Models (LLMs) eine skalierbare Lösung für automatisierte Beratungsdienste bieten könnten, ist ihr Einsatz in hochriskanten Domänen wie der Versicherung von strikter rechtlicher Genauigkeit und Zuverlässigkeit abhängig.
• Spezifische Schwierigkeit: Die Rechtslage in Québec basiert auf dem Zivilrecht (Civil Law), im Gegensatz zum Common Law (z. B. USA, UK), auf dem die meisten bestehenden juristischen NLP-Modelle trainiert sind. Zudem müssen Antworten nicht nur plausibel, sondern juristisch fehlerfrei sein, da Fehlinformationen zu Deckungslücken und rechtlichen Konsequenzen führen können.

2. Methodik

Die Autoren führten eine umfassende Evaluierung von 51 verschiedenen LLMs durch, um deren Eignung für Versicherungsfragen zu testen.

• Benchmark-Dataset (AEPC-QA):

  • Es wurde ein privater, goldstandard-basierter Benchmark namens AEPC-QA erstellt.
  • Umfang: 807 Multiple-Choice-Fragen, abgeleitet aus offiziellen, ausschließlich in Papierform vorliegenden Zertifizierungshandbüchern der Autorité des marchés financiers (AMF).
  • Vorteil: Da diese Handbücher nicht online indiziert sind, ist das Risiko einer Datenkontamination (d. h., dass die Modelle die Fragen bereits aus dem Training kennen) minimal. Dies ermöglicht eine echte Evaluierung des Wissens über die Domäne.
  • Sprache: Die Fragen sind auf Französisch und weisen eine hohe sprachliche Komplexität auf (durchschnittlich 18,95 Wörter pro Satz).

• Evaluierungs-Paradigmen:

  1. Closed-Book: Bewertung des intrinsischen Wissens der Modelle ohne externe Hilfsmittel.
  2. Retrieval-Augmented Generation (RAG): Ein RAG-Pipeline wurde implementiert, die auf einem spezialisierten Korpus (QAIERC) mit 168.600 Sätzen offizieller Versicherungslegislation und -verträge basiert. Ein dichter Retriever (text-embedding-ada-002) sucht die relevantesten 5 Textabschnitte, die dann als Kontext in den Prompt des LLMs eingefügt werden.

• Modellauswahl:

  • 51 Modelle wurden getestet, darunter proprietäre (z. B. GPT-4o, Claude-Serie, o1/o3) und Open-Weight-Modelle (Llama, Qwen, Mistral).
  • Modelle, die auf Common-Law-Daten oder englischen juristischen Korpora trainiert waren (z. B. SaulLM, LawGPT), wurden explizit ausgeschlossen, da sie für das Québecer Zivilrecht ungeeignet sind.

3. Wichtige Beiträge

1. Einführung von AEPC-QA: Ein streng kontrollierter, privater Benchmark für juristische Fragen im Québecer Versicherungsrecht, der Datenkontamination verhindert.
2. Umfassender Vergleich: Eine systematische Analyse von 51 LLMs im Zero-Shot-Setting, die proprietäre und Open-Source-Modelle gegenüberstellt.
3. Empirische Analyse von RAG: Eine detaillierte Untersuchung, wie Retrieval-Augmented Generation die Leistung in spezialisierten Domänen beeinflusst, einschließlich der Identifizierung von Phänomenen wie „Context Distraction".

4. Ergebnisse und Schlüsselerkenntnisse

Die Studie deckte drei kritische Erkenntnisse auf, die das Verständnis von KI in der Finanzberatung verändern:

• 1. Überlegenheit des Inferenz-Zeit-Reasoning (Inference-Time Reasoning):

  • Modelle, die Chain-of-Thought (CoT) während der Inferenz nutzen (z. B. o3-2025-04-16 mit 78,68 % und o1-2024-12-17 mit 75,18 %), schneiden signifikant besser ab als standardmäßig instruierte Modelle.
  • Dies zeigt, dass die Fähigkeit, komplexe logische Abhängigkeiten in Haftungsfragen zu analysieren, wichtiger ist als reines Faktenwissen. Interessanterweise führen diese Modelle oft ihre logischen Zwischenschritte auf Englisch durch, selbst bei französischen Fragen.

• 2. RAG als „Wissens-Equalizer" und das Phänomen der „Context Distraction":

  • Equalizer: RAG kann Modelle mit schwachem parametrischem Wissen massiv verbessern. Ein Beispiel ist DeepSeek-reasoner, das von 36,30 % (Closed-Book) auf 71,77 % (mit RAG) anstieg.
  • Context Distraction: Paradoxerweise führte die Einführung von externem Kontext bei einigen hochleistungsfähigen Modellen zu einem katastrophalen Leistungsabfall.
    • Gemini-2.5-pro fiel von 74,65 % auf 14,06 %.
    • Llama-3.3-70b-it fiel auf unter 1 %.
  • Ursachen: Dies liegt oft an Format-Nichtkonformität (Modelle geben lange Erklärungen statt der geforderten einzelnen Buchstaben-Antwort) oder an Sicherheits-Refusals (Modelle weigern sich, rechtliche Ratschläge zu geben, wenn der Kontext zu komplex wirkt).

• 3. Das „Spezialisierungs-Paradoxon":

  • Überraschenderweise unterlagen kleinere, speziell auf Französisch oder Versicherungsdomänen feinabgestimmte Modelle (z. B. French-Alpaca-Llama3-8b-it mit 0,08 % bei RAG) massiv den großen, allgemeinen Modellen.
  • Dies deutet darauf hin, dass für komplexe juristische Aufgaben die abstrakte Reasoning-Fähigkeit (die bei großen Generalisten höher ist) wichtiger ist als eine oberflächliche Anpassung an Fachjargon oder Sprache.

• 4. Proprietäre vs. Open-Source Lücke:

  • Es besteht eine signifikante Leistungslücke von ca. 20 Prozentpunkten zwischen den besten proprietären Modellen und Open-Weight-Modellen, was den Einsatz von Open-Source-Modellen als autonome Agenten in hochriskanten Szenarien derzeit noch riskant macht.

5. Bedeutung und Schlussfolgerung

Die Arbeit zeigt, dass der aktuelle Stand der Technik zwar Experten-Niveau (ca. 79 % Genauigkeit) erreichen kann, aber die Stabilität durch externe Kontexte (RAG) noch nicht gewährleistet ist.

• Implikationen: Der direkte Einsatz autonomer KI-Systeme in der Versicherungsberatung ist derzeit noch vorzeitig („premature"), da das Risiko von „Context Distraction" und rechtlichen Haftungsfragen besteht.
• Empfehlungen:
  • Es wird ein gestuftes Bereitstellungsmodell vorgeschlagen: Leichte RAG-Modelle für allgemeine Anfragen und spezialisierte Reasoning-Modelle für komplexe Haftungsfragen.
  • Die Evaluierungsprotokolle müssen sich von reinen Multiple-Choice-Aufgaben hin zu generativen Begründungen und Multi-Turn-Konversationen entwickeln, um die Nachvollziehbarkeit der rechtlichen Argumentation sicherzustellen.
  • Ethisch ist ein „Human-in-the-Loop"-Ansatz weiterhin notwendig, um die Risiken von systemischer Fahrlässigkeit und juristischen Fehlentscheidungen zu minimieren.

Zusammenfassend demonstriert das Papier, dass für den Erfolg von Financial AI nicht nur das Training auf domänenspezifischen Daten entscheidend ist, sondern vor allem die Architektur der Inferenz (Reasoning) und die robuste Handhabung von Retrieval-Kontexten.