ActuBench: A Multi-Agent LLM Pipeline for Generation and Evaluation of Actuarial Reasoning Tasks

1. 문제 정의 (Problem Statement)

• 복잡한 도메인: 보험계리학 (Actuarial Science) 은 수학적 추론, 금융 이론, 규제 프레임워크에 대한 깊은 이해, 그리고 모델 리스크 관리가 요구되는 기술적으로 매우 까다로운 전문 분야입니다.
• 평가 자료의 부재: 국제 보험계리학자 협회 (IAA) 교육 과정에 부합하는 고급 평가 문항 (객관식, 계산 문제, 서술형 추론) 을 제작하는 것은 비용이 많이 들고 시간이 오래 걸립니다. 숙련된 전문가가 문항을 작성해야 하며, 이는 매우 느린 과정입니다.
• 기존 벤치마크의 한계: 기존 연구들은 보험 분야 사용 사례를 조사하거나 (벤치마크 없이), 특정 하위 도메인만 타겟팅하거나, 중국어 데이터에 국한되어 있었습니다. IAA 교육 과정에 부합하는 영어권 LLM 벤치마크는 존재하지 않았습니다. 또한, 정적 벤치마크는 모델이 발전함에 따라 빠르게 포화 상태에 도달하여 변별력을 잃는 문제가 있습니다.

2. 방법론 (Methodology)

A. ActuBench 생성 파이프라인 (Multi-Agent LLM Pipeline)

ActuBench 는 IAA 학습 목표와 위키백과 기반 노트를 바탕으로 평가 문항을 자동 생성하고 검증하는 4 개의 에이전트 (Adapter) 로 구성된 멀티 에이전트 파이프라인입니다.

1. Agent A (문항 작성 및 수리):
   • 학습 목표를 바탕으로 키워드를 추출하고 위키백과를 검색하여 문항 초안 (Stem) 과 정답, 그리고 해설을 작성합니다.
   • 검증 에이전트 (Agent C) 의 실패 판정을 받으면 1 회성 (one-shot) 수리 루프를 통해 문항을 수정합니다.
   • 일반적으로 가장 강력한 추론 모델 (예: Claude Sonnet 4:thinking) 을 사용합니다.
2. Agent B (오답선 (Distractor) 작성):
   • 정답과 해설을 바탕으로 3 개의 오답선을 생성합니다. 각 오답선은 학습자의 흔한 오개념이나 계산 실수를 반영해야 합니다.
   • Agent C 의 검증 실패 시 1 회성 수리를 수행합니다.
   • 추론보다는 창의적 제시에 중점을 두어 비추론 모델 (예: Claude Sonnet 4) 을 사용합니다.
3. Agent C (독립 검증자 - 핵심 차별점):
   • 가장 중요한 방법론적 기여입니다. Agent A 나 B 와는 완전히 분리된 독립적인 에이전트입니다.
   • 생성된 문항 (Stem/정답) 과 오답선 집합을 각각 검증하며, 생성된 콘텐츠를 직접 작성하지 않습니다.
   • "생성 - 검증 비대칭성 (Verification-Generation Asymmetry)"을 활용하여, 생성 모델이 자신의 오류를 인지하기보다 다른 모델이 오류를 찾는 것이 더 효율적임을 입증합니다.
   • 실패 시 구조화된 실패 보고서를 생성하여 Agent A/B 에게 전달합니다.
4. Auxiliary Agent (비용 최적화 보조 에이전트):
   • 위키백과 요약 및 문항의 보험 분야 태그 (생명, 비생명, 리스크 관리 등) 할당을 담당합니다.
   • 저비용 고속 모델을 사용하여 전체 파이프라인의 비용을 절감합니다.

B. 이중 평가 프로토콜 (Dual Evaluation Protocol)

생성된 문항 풀 (Pool) 을 두 가지 방식으로 평가합니다.

1. MCQ (객관식) 벤치마크:
   • 4 지 선다 형식으로 모델이 정답을 선택하도록 합니다.
   • 100 개의 "경험상 가장 어려운 (Empirically Hardest)" 문항으로 구성됩니다. (초기 200 개 문항 중 모델들의 정답률이 가장 낮았던 100 개를 선별).
2. Judge (LLM-as-Judge) 벤치마크:
   • 객관식 지문 없이 모델이 서술형으로 추론 과정을 보여주고 정답을 도출하도록 합니다.
   • 별도의 '심판 (Judge)' LLM 이 모델의 서술형 답변과 정답을 비교하여 점수를 매깁니다.
   • 100 개의 객관식과 완전히 다른 100 개의 문항으로 구성되며, 주로 계산/추론이 필요한 문항으로 제한됩니다.

C. 실험 설정

• 대상 모델: 8 개 제공자 (Anthropic, OpenAI, Google, xAI, DeepSeek, Mistral, Cohere, 오픈소스 호스팅 등) 의 50 개 언어 모델 평가.
• 데이터: IAA 교육 과정 기반, 위키백과 사실 기반.

3. 주요 기여 (Key Contributions)

1. 독립 검증자가 있는 멀티 에이전트 생성 파이프라인: 생성과 검증을 분리하여 Agent C 가 독립적으로 검증하고 수리 루프를 주도함으로써, 자동화된 문항 생성의 품질을 획기적으로 높였습니다.
2. 이중 평가 프로토콜 (MCQ vs. Judge): 객관식과 서술형 (심판형) 평가를 병행하여 모델의 능력을 다각도로 측정하고, 두 방식 간의 순위 차이를 분석했습니다.
3. 실시간 웹 기반 벤치마크 뷰어: 생성된 200 개 문항과 50 개 모델의 모든 답변을 GitHub 체크아웃 없이 웹 인터페이스 (actubench.de) 에서 검색 및 확인 가능하게 공개했습니다.
4. 50 개 모델에 대한 경험적 평가: 다양한 가격대와 아키텍처를 가진 50 개 모델을 IAA 기준에 맞춰 평가한 최초의 연구입니다.
5. 비용 - 성능 파레토 최적점 발견: 로컬 호스팅 오픈 가중치 모델이 비용 대비 성능 면에서 최상위권을 차지함을 입증했습니다.

4. 주요 결과 (Results)

A. 비용 - 성능 분석 (Cost-Performance)

• 정답률 천장 (Ceiling): MCQ 벤치마크에서 4 개 모델 (Claude Opus 4:thinking, GPT-5-mini, o3, o4-mini) 이 **98%**의 정답률을 기록했습니다. 하지만 이 정답률을 달성하는 데 드는 비용은 10 배 이상 차이가 났습니다.
• 제로 비용 영역의 지배:
  • Cerebras 호스팅의 120B 파라미터 오픈소스 모델: 97% 정답률로 리더보드 최상위권 (1 문제 차이) 을 차지했으며, 비용은 거의 제로에 수렴했습니다.
  • 로컬 실행 Gemma 4 (Ollama): 소비자용 GPU 에서 실행하여 **85%**의 정답률을 기록하며, 추가 비용 없이 최상위 모델과 13%p 차이만 남겼습니다.
• 결론: 최상위 성능을 내는 '플래그십 추론 모델'보다 적절한 '비플래그십 모델'이나 오픈소스 모델이 훨씬 비용 효율적입니다.

B. MCQ vs. Judge 평가의 불일치

• MCQ 의 천장 효과: 객관식 (4 지 선다) 은 모델이 정답을 유도하지 못하더라도 오답을 제거하는 방식으로 높은 점수를 받을 수 있어 성능 천장을 인위적으로 높입니다.
• Judge 의 분화: 서술형 (Judge) 평가에서는 최상위 모델들의 정답률이 약 87% 로 떨어지고, 모델 간 격차가 명확해집니다.
• 역설적 현상: 하위 모델들은 오히려 Judge 평가에서 MCQ 보다 높은 점수를 받는 경우가 있었습니다. 이는 심판 LLM 이 수치적 허용 오차 (tolerance) 를 적용하기 때문이며, MCQ 가 하위 모델의 추론 부족을 더 명확히 드러낸다는 것을 의미합니다.

C. 추론 모드 (Reasoning Mode) vs. 일반 모드

• 추론 모드 (Thinking) 를 활성화하면 평균적으로 정답률이 3.5%p 상승했으나, 비용은 2.5 배 증가했습니다.
• 일부 모델 (Claude Opus) 은 큰 향상을 보였으나, 대부분의 모델은 미미한 향상이나 오히려 하락을 보였습니다.
• 결론: MCQ 와 같은 구조화된 작업에서는 추론 모드의 비용 대비 효율이 낮을 수 있으나, 복잡한 서술형 추론에서는 필수적입니다.

5. 의의 및 시사점 (Significance)

1. 보험계리학 AI 벤치마크의 표준화: IAA 교육 과정에 부합하는 최초의 영어권 LLM 벤치마크를 제시하여, 보험계리학 분야에서 LLM 의 능력을 체계적으로 평가할 수 있는 기준을 마련했습니다.
2. 실무적 적용 가이드:
   • 객관식/구조화 작업: 고비용의 플래그십 추론 모델 대신, 로컬 실행 가능한 오픈소스 모델이나 저비용 엔드포인트를 사용해도 거의 동급의 성능을 얻을 수 있습니다.
   • 서술형/추론 작업: 복잡한 문제 해결이 필요할 때는 고비용의 추론 모델이 여전히 필요합니다.
   • 하이브리드 아키텍처: 로컬에서 객관식 분류를 처리하고, 호스팅된 최상위 모델에서 복잡한 추론을 수행하는 방식이 비용과 성능의 최적 균형점이 될 수 있습니다.
3. 생성 - 검증 비대칭성의 입증: 생성 모델이 스스로 검증하는 것보다 독립적인 검증 에이전트가 오류를 찾는 것이 훨씬 효과적임을 실증적으로 증명했습니다. 이는 향후 자동화된 콘텐츠 생성 시스템 설계에 중요한 통찰을 제공합니다.
4. 데이터 오염 (Contamination) 대응: 동적 생성 파이프라인과 curated(선별된) 공개 데이터셋을 통해 기존 벤치마크의 데이터 오염 문제를 완화했습니다.

이 논문은 보험계리학이라는 고난도 도메인에서 LLM 의 능력을 평가하기 위한 방법론적 혁신과 실용적인 비용 - 성능 인사이트를 동시에 제공한다는 점에서 큰 의의를 가집니다.