INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models

기술 요약: INS-ActBench

문제 정의
대규모 언어 모델(LLM)은 금융 추론 분야에서 잠재력을 보여주었으나, 기존의 벤치마크는 도메인 지식, 수치 추론, 긴 문맥 이해, 도구 사용 등을 개별적으로 평가하는 경향이 있다. 이러한 파편화된 접근 방식은 의사결정이 맥락에 근거해야 하고, 계산적으로 재현 가능하며, 수치적으로 검증 가능해야 하는 보험계리 과학과 같은 고위험 분야에서 요구되는 통합적인 전문 워크플로우를 평가하는 데 한계가 있다. 현재의 보험계리 연구는 종종 개별적인 응용에 국한되어 있으며, 금융 벤치마크는 도메인 지식에서 사례 기반 추론을 거쳐 검증 가능한 전문적 실행으로 이어지는 과정을 체계적으로 평가하지 못하고 있다.

방법론
저자들은 16개 전문 보험계리 협회에서 공개한 시험 자료로부터 추출한 12,050개의 질문-답변 쌍으로 구성된 포괄적인 벤치마크인 INS-ActBench를 소개한다. 구축 파이프라인에는 체계적인 질문 선택, 과업 재구성, 형식 표준화 및 다단계 전문가 검증 과정이 포함되었다.

본 벤치마크는 세 가지 서브셋으로 구성된 점진적 역량 프레임워크를 중심으로 구조화되어 있다:

1. INS-Act-Know: 확률 및 통계, 경제 및 금융, 보험수리, 생명보험, 손해보험, 보험계리 모델링의 6개 하위 범주에 걸친 표준화된 보험계리 지식(개념, 원칙, 공식)을 평가한다. 질문은 단일 정답 형태의 객관식으로 표준화된다.
2. INS-Act-Case: 실제 보험 비즈니스 케이스에 대한 긴 문맥 추론을 평가한다. 기업 배경, 재무제제표, 운영 정보(최대 175K 토큰)를 활용하여 복잡한 조건 하에서의 증거 국지화(evidence localization) 및 판단 능력을 테스트한다. 질문은 다중 정답 형태의 객관식으로 변환된다.
3. INS-Act-Practice: 모델이 보험계리 요구사항을 실행 가능한 워크플로우로 변환해야 하는 도구 지향적 실무를 평가한다. 여기에는 엑셀 파일을 조작하기 위한 파이썬 코드를 생성하는 스프레드시트(SS) 과업과 통계 분석을 위한 R 코드를 생성하는 R-코드(R) 과업이 포함된다. 두 과업 모두 0.2%의 상대 오차 허용 범위를 가진 수치적으로 검증 가능한 출력을 요구한다.

평가는 9개의 대표적인 LLM(독점 모델 6개, 오픈 소스 모델 3개)과 5명의 인간 보험계리 전문가 그룹을 대상으로 수행되었다. 인간 전문가는 인터넷이나 LLM의 도움 없이 오프라인 도구(Excel, R, 교과서)를 사용하였다.

주요 결과
실험 결과, 표준화된 지식 숙달과 전문적 업무 역량 사이의 명확한 역량 경계가 드러났다:

• 지식 vs. 실행: 최첨단 독점 LLM(예: GPT-5.5, Gemini-3.1-Pro)은 INS-Act-Know에서 강력한 성능을 보이며 종종 샘플링된 인간 기준치를 상회한다. 그러나 INS-Act-Case와 INS-Act-Practice에서는 성능이 크게 저하되며, 이 영역에서는 인간 참여자들이 더 일관된 모습을 유지했다.
• 도구 사용: INS-Act-Practice의 에러 분석에 따르면, 실패는 단순한 도구 호출 실패보다는 주로 "모델링 및 계산 오류"(순수 보험계리 지식 문제)와 "함수 사용 오류"(도구와 지식이 혼합된 문제)에 집중되어 있다. 모델들은 도구 워크플로우를 시작할 수는 있으나, 이를 올바른 보험계리 절차로 변환하는 데 어려움을 겪는다.
• 수치 vs. 비수치: 최첨단 모델들은 단계가 잘 정의된 경우 공식 기반의 수치 추론을 잘 처리하지만, 성능이 낮은 모델들은 비수치적 질문에 비해 수치적 질문에서 상당한 정확도 저하를 보인다.
• 관할권 민감도: 성능은 서로 다른 보험계리 협회(SOA, IFoA, 기타)에 따라 크게 달라진다. 모델들은 표준화된 지식에는 더 높은 성능을 보이지만, 다양한 규제 맥락에서의 사례 분석 및 실무 과업에서는 더 큰 불일치를 보였으며, 이는 일반화된 규제 추론보다는 특정 학습 분포에 의존하고 있음을 시사한다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장한다:

1. 최초의 대규모 보험계리 벤치마크: INS-ActBench는 지식, 사례 추론, 도구 기반 실무를 아우르는 최초의 벤치마크로서, 통합된 전문 워크플로우를 평가하는 격차를 해소한다.
2. 체계적인 구축 파이프라인: 저자들은 16개 협회의 가공되지 않은 시험 자료를 12,050개의 표준화된 인스턴스로 변환하는 파이프라인을 개발하여 재현성을 보장하고 데이터 오염을 최소 최소화하였다.
3. 역량 격차에 대한 실증적 증거: 본 연구는 LLM이 표준화된 보험계리 계산 및 지식 검색 능력은 향상되고 있으나, 신뢰할 수 있는 전문적 지원을 위해서는 더 강력한 맥락 통합, 도구 기반 실행, 그리고 다양한 규제 환경에서의 일관성이 필요하다는 재현 가능한 증거를 제공한다.

저자들은 INS-ActBench를 신뢰할 수 있는 전문적 지원을 위한 보험계리 LLM 개발의 토대로 설정하며, 향후 발전 방향이 시험 스타일의 지식 수행을 넘어 실제 보험 워크플로우에서의 신뢰할 수 있는 의사결정 지원으로 나아가야 함을 강조한다. 본 벤치마크는 실제 금융 결정이나 전문 자격 취득의 근거로 사용되기보다는, 추론, 도구 사용 및 관할권 민감적 해석에서의 실패 모드를 식별하기 위해 설계되었다.