Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

이 논문은 퀘벡 보험 분야의 '권고 격차'를 해결하기 위해 AEPC-QA 벤치마크를 구축하고 51 개의 대규모 언어 모델을 평가한 결과, 추론 시간 추론의 우위, 검색 증강 생성 (RAG) 의 양면적 효과, 그리고 일반 대형 모델이 도메인 특화 모델보다 우수한 '전문화 역설' 등 세 가지 핵심 통찰을 도출했습니다.

핵심

이 논문은 **"캐나다 퀘벡 주의 보험 상담을 인공지능 (AI) 이 대신할 수 있을까?"**라는 아주 실용적이고 중요한 질문에서 시작합니다.

간단히 말해, 이 연구는 AI 가 복잡한 보험 약관을 이해하고 소비자에게 정확한 조언을 해줄 수 있는지, 그리고 어떤 AI 가 가장 적합한지를 실험해 본 결과입니다.

이 내용을 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 배경: "보험 약관이라는 거대한 미로"와 "조언의 공백"

퀘벡 주에서는 최근 법이 바뀌어, 보험사를 방문하지 않고도 온라인으로 모든 보험 계약을 체결할 수 있게 되었습니다. 하지만 문제는 보험 약관이 30,000 자나 되는 거대한 두꺼운 책이라는 점입니다. 일반인이 이걸 다 읽고 이해하기는 불가능에 가깝죠.

이로 인해 **"조언의 공백 (Advice Gap)"**이 생겼습니다. 전문가의 도움 없이 혼자서 복잡한 계약을 해석해야 하는 소비자들은 마치 미로에 갇힌 사람과 같습니다.

이때 AI(대형 언어 모델) 가 "미로 안내자"가 되어줄 수 있을까요? 하지만 보험은 실수가 치명적인 분야입니다. "아마도 이렇게 될 거야"라는 추측성 답변은 안 됩니다. 법적으로 100% 정확한 답변이어야 합니다.

2. 실험: "기억력 시험" vs "책상 위 참고서 활용"

연구진은 퀘벡의 공인된 보험 시험 문제 807 개를 만들어 51 개의 다양한 AI 모델들에게 시험을 보게 했습니다. 두 가지 방식으로 테스트했습니다.

• 비유 1: 암기력 시험 (Closed-book)

  • 상황: AI 가 아무런 자료 없이, 오직 **자신의 머릿속 지식 (기억)**만으로 문제를 풉니다.
  • 결과: 일부 최신 AI 는 머릿속에 많은 지식을 가지고 있어 잘 풀었지만, 많은 모델들은 헷갈려 했습니다.

• 비유 2: 참고서 활용 시험 (RAG - 검색 증강 생성)

  • 상황: AI 가 문제를 풀 때, **정답이 적힌 두꺼운 보험 법전 (참고서)**을 옆에 두고 찾아보며 답을 냅니다.
  • 결과: 이 방식이 흥미로운 반전을 보여줍니다.

3. 세 가지 놀라운 발견 (핵심 결론)

이 실험을 통해 세 가지 중요한 교훈이 나왔습니다.

① "생각하는 능력"이 "기억하는 능력"보다 중요하다

가장 잘한 AI 는 단순히 지식을 많이 외운 모델이 아니라, 문제를 풀기 전에 '생각하는 과정 (Chain-of-Thought)'을 거치는 모델들이었습니다.

• 비유: 단순히 책 내용을 통째로 외운 학생보다, 문제를 읽고 논리적으로 추론하는 과정을 거치는 학생이 훨씬 더 복잡한 문제를 잘 풀었습니다.
• 결론: 보험 상담에서는 '지식'보다 **'추론 능력'**이 더 중요합니다.

② "참고서"는 천재에게는 방해가 될 수도 있다 (가장 중요한 발견!)

대부분의 AI 는 참고서 (RAG) 를 주면 성적이 오릅니다. 하지만 일부 매우 똑똑한 AI 는 오히려 성적이 폭락했습니다.

• 비유: 어떤 천재 학생은 참고서를 옆에 두면 오히려 집중이 안 되어 엉뚱한 답을 쓰거나, "이건 법적인 조언이니까 내가 해줄 수 없어"라고 거부 반응을 보이며 시험을 포기해 버렸습니다.
• 이유: AI 가 참고서의 복잡한 내용을 너무 많이 읽다가 혼란을 겪거나 (주변 산만함), 안전 장치가 작동해 답변을 거부하는 경우가 있었습니다.
• 교훈: 똑똑한 AI 에게 무작정 자료를 주면 오히려 망칠 수 있으니, 매우 신중하게 설계해야 합니다.

③ "전문가"보다 "만능 재주꾼"이 더 낫다

퀘벡어 (프랑스어) 로 보험에 특화되도록 훈련된 작은 AI 모델들은 기대와 달리 성적이 낮았습니다. 반면, **전 세계 모든 언어와 지식을 배운 거대한 '만능 AI'**들이 훨씬 잘했습니다.

• 비유: 특정 지역 사투리만 배운 전문 강사보다, 전 세계의 논리 구조를 잘 이해하는 글로벌 인재가 복잡한 보험 문제를 더 잘 해결했습니다.
• 이유: 보험 문제는 단순한 용어 암기가 아니라, 복잡한 인과관계와 책임 소재를 추론하는 것이 핵심이기 때문입니다.

4. 결론: 아직은 "사람의 손"이 필요하다

이 연구는 AI 가 보험 상담을 완벽하게 대체할 준비가 아직 안 되었다고 말합니다.

• 현재 상태: 최고의 AI 는 약 79% 정도의 정확도를 보여줍니다. 이는 놀라운 수준이지만, 21% 의 실수는 보험이라는 분야에서는 치명적입니다. (실수 한 번에 소비자가 큰 금전적 피해를 입거나, 회사가 소송에 휘말릴 수 있습니다.)
• 미래 전망: AI 를 바로 투입하기보다는, AI 가 답을 내고 사람이 최종 확인을 하는 (Human-in-the-loop) 방식이 안전합니다. 또한, AI 가 참고서를 사용할 때 혼란을 겪지 않도록 시스템을 튜닝하는 연구가 더 필요합니다.

한 줄 요약:

"AI 는 이제 보험 약관을 읽을 수 있는 '똑똑한 비서'가 되었지만, 아직은 그 비서가 실수할 때를 대비해 사람이 최종 확인을 해주는 안전장치가 꼭 필요합니다."

기술 요약

1. 문제 정의 (Problem)

• 배경: 캐나다 퀘벡주의 'Bill 141'과 같은 입법 변화로 인해 보험 상품 판매가 완전히 디지털화되면서, 소비자가 전문적인 조언 없이 복잡한 금융 계약을 해석해야 하는 '조언 격차 (Advice Gap)' 가 발생했습니다.
• 도전 과제: 대형 언어 모델 (LLM) 이 자동화된 조언 서비스로 활용될 수 있지만, 보험 분야에서는 '설득력 있는' 답변이 아닌 법적으로 정확한 답변이 필수적입니다. 잘못된 정보 (할루시네이션) 는 보험료 미보장, 심각한 금전적 손실, 그리고 보험사에 대한 소송 (예: Moffatt v. Air Canada 판례) 으로 이어질 수 있습니다.
• 현재의 한계: 기존 법률 NLP 벤치마크는 대부분 영미법 (Common Law) 기반이며, 퀘벡의 민법 (Civil Code) 체계나 프랑스어 환경에 적합하지 않습니다. 또한, 외부 문서를 참조하는 RAG(검색 증강 생성) 기술이 항상 성능을 향상시키는 것이 아니라, 오히려 성능을 저하시킬 수 있는지에 대한 검증이 부족했습니다.

2. 방법론 (Methodology)

가. AEPC-QA 벤치마크 구축

• 데이터셋: 퀘벡 금융시장청 (AMF) 의 공인 보험 대리인 자격시험을 위한 25 권의 공식 인쇄용 학습지를 디지털화하여 807 개의 객관식 문제로 구성된 AEPC-QA라는 프라이빗 골드 스탠다드 벤치마크를 구축했습니다.
• 특징: 저작권 보호 및 데이터 오염 (Pre-training 데이터에 포함되지 않음) 을 방지하기 위해 비공개로 유지되었으며, 퀘벡 민법 체계에 맞춰 설계되었습니다.
• 통계: 총 96,000 개 이상의 토큰, 평균 문장 길이 18.95 단어, 가독성 점수 64.55 (전문 자격시험 수준).

나. 실험 설정

• 평가 대상: 51 개의 다양한 LLM(Proprietary 및 Open-source 포함) 을 평가했습니다.
  • 제외 사항: 영어권 Common Law 기반의 법률 특화 모델 (SaulLM 등) 은 퀘벡 민법 체계와 언어 (프랑스어) 가 달라 제외했습니다.
• 평가 시나리오:
  1. Closed-Book (닫힌 책): 모델의 내재된 지식 (Parametric Knowledge) 만으로 답변.
  2. RAG (검색 증강 생성): 'Quebec Automobile Insurance Expertise Reference Corpus (QAIERC)'라는 168,600 문장 규모의 공식 규제 문서 코퍼스를 기반으로, Dense Retriever(text-embedding-ada-002) 를 사용하여 관련 문맥을 추출하고 LLM 에 주입.
• 메트릭: 10-fold 교차 검증을 통한 정확도 (Accuracy) 및 통계적 유의성 (Z-test) 분석.

3. 주요 기여 (Key Contributions)

1. AEPC-QA 벤치마크 도입: 퀘벡 규제 인증 교재에서 유래한 807 개의 객관식 문제로 구성된 최초의 프라이빗 골드 스탠다드 벤치마크를 제시했습니다.
2. 광범위한 LLM 벤치마킹: 51 개의 LLM 을 Zero-shot 환경에서 Closed-book 및 RAG 두 가지 패러다임으로 종합적으로 비교 평가했습니다.
3. RAG 의 역설적 효과 규명: RAG 가 약한 모델에는 지식 평준화 (Knowledge Equalizer) 역할을 하지만, 특정 고도 모델에게는 '맥락 산만 (Context Distraction)' 을 유발하여 성능이 급락할 수 있음을 실증했습니다.

4. 주요 결과 및 통찰 (Results & Insights)

가. 추론 시간 (Inference-time) 추론의 우위

• Chain-of-Thought (CoT) 를 사용하는 추론 모델 (예: o3-2025-04-16, o1-2024-12-17) 이 일반 지시 튜닝 모델보다 압도적으로 높은 성능을 보였습니다.
• 성능: o3-2025-04-16 은 RAG 환경에서 78.68% 의 정확도를 기록하여 최상위권을 차지했습니다.
• 통찰: 법률 질문 답변의 핵심은 단순한 지식 회상이 아니라, 복잡한 시나리오에 법적 원칙을 적용하는 추론 능력에 달려 있음을 보여줍니다.

나. RAG 의 '지식 평준화'와 '맥락 산만' 현상

• 지식 평준화 (Knowledge Equalizer): 퀘벡 법률 지식이 부족한 모델 (예: DeepSeek-reasoner) 은 RAG 를 통해 정확도가 36.30% 에서 71.77% 로 35% 이상 급증했습니다. 이는 고비용 파인튜닝 없이도 강력한 추론 엔진이 적절한 문맥만 제공받으면 전문 모델과 경쟁할 수 있음을 의미합니다.
• 맥락 산만 (Context Distraction): 반대로, Closed-book 에서 높은 성능을 보이던 모델들 (예: Gemini-2.5-pro, Llama-3.3-70b-it) 은 RAG 환경에서 성능이 붕괴되었습니다.
  • Gemini-2.5-pro: 74.65% → 14.06% (무작위 추측보다 낮음).
  • 원인: 긴 설명 생성으로 인한 포맷 위반 (단일 문자 답변 요구사항 미충족) 및 안전성 필터 (Safety Refusal) 가 복잡한 법적 문맥을 위험한 질문으로 오인하여 답변을 거부함.

다. 전문화의 역설 (Specialization Paradox)

• 프랑스어 및 보험 도메인에 특화되어 파인튜닝된 소규모 모델 (예: French-Alpaca-Llama3-8b-it) 은 일반 목적의 초대규모 모델 (Generalist) 보다 성능이 현저히 낮았습니다.
• 결론: 금융 조언 작업에서는 특정 법률 용어에 대한 표면적 정합성보다 추상적인 책임과 인과관계에 대한 추론 능력이 더 중요합니다.

라. 독점 모델과 오픈 소스 모델의 격차

• 최상위 독점 모델 (Proprietary) 과 오픈 가중치 모델 간 약 20% 의 성능 격차가 존재하며, 고위험 금융 조언 분야에서는 오픈 소스 모델이 단독 자율 에이전트로 사용하기에는 아직 부족함이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 함의: 금융 AI 의 신뢰성은 모델의 내재 지식보다는 추론 능력과 강건한 RAG 파이프라인에 달려 있음을 시사합니다.
• 실무적 함의:
  • RAG 는 만능 해결책이 아니며, 모델별 특성에 따른 정밀한 튜닝 없이는 오히려 성능을 저해할 수 있습니다.
  • 실시간 고객 응대에는 경량 RAG 모델을, 복잡한 책임 판단에는 추론 모델 (CoT) 을 사용하는 계층적 배포 전략이 필요합니다.
• 윤리적 제언: 21% 의 오차율은 창의적 작업에서는 허용될 수 있으나, 금융 조언에서는 치명적입니다. 따라서 완전한 자율 배포 전에는 'Human-in-the-loop' 시스템이 필수적이며, 특히 퀘벡과 같은 민법권역에서는 해당 관할권에 맞는 데이터와 모델의 윤리적 정합성이 중요합니다.

이 연구는 금융 AI 가 실제 현장에 적용되기 위해서는 단순한 언어 생성 능력을 넘어, 법적 정확성, 관할권 적합성, 그리고 RAG 환경에서의 안정성을 rigorously 검증해야 함을 강조합니다.