Validating Large Language Model Extraction of Actuarial Variables from Unstructured Claims Documents

기술 요약: 비정형 클레임 문서로부터의 보험계리 변수 추출을 위한 대규모 언어 모델(LLM) 검증

문제 정의
예비비 설정(reserving), 요율 산정(ratemaking), 클레임 관리와 같은 보험계리 기능은 역사적으로 구조화된 수치 데이터에 의존해 왔다. 그러나 클레임 생애주기에서는 방대한 양의 비정형 텍스트(의료 기록, 조정사 노트, 녹취록 등)가 생성되며, 여기에는 예측 정보가 포함되어 있으나 높은 비용, 일관성 부족, 확장성 결여로 인해 활용되지 못한 채 남아 있다. 대규모 언어 모델(LLM)은 광범위한 엔지니어링 없이도 다양한 형식을 처리하고 맥락적 모호성을 해소할 수 있는 솔루션을 제공하지만, 문헌상에는 이러한 문서로부터 구조화된 보험계리 변수를 추출하기 위한 엄격한 검증 프레임워크가 부족하다. 구체적으로, 이러한 추출을 어떻게 검증할 것인지 또는 고도의 이해관계가 걸린 보험계리 애플리케이션에 배포하기 위해 어떤 신뢰도 임계값이 적절한지에 대한 확립된 표준이 없다.

방법론
저자들은 산재 보험 클레임에서 14가지 핵심 보험계리 변수(예: 클레임 심각도, 부상 심각도, 소송 리스크)를 추출하도록 설계된 2단계 LLM 파이프라인의 공식 검증 연구를 수행하였다.

• 추출 파이프라인:
  • 1단계 (문서 수준): 맞춤형 프롬프트를 사용하여 개별 문서(의료 기록, 노트 등)를 처리한다. 출력값에는 필수적인 근거 제시(evidence citation)를 포함한 근거(rationale), 근거 유형(직접 인용 vs. 유도됨), 그리고 신뢰도 점수[0, 1]가 포함된다. 이는 구조화된 사고 체계(chain-of-thought) 추론을 강제한다.
  • 2단계 (클레임 수준 합성): 문서의 권위(예: 전화 녹취보다 합의 노트를 더 높게 가중치 부여), 신뢰도 점수, 시간적 감쇠, 변수별 중요도를 가중치로 사용하는 복합 스코어링을 사용하여 1단계 추출값을 집계한다. 출력값은 통제된 어휘집(controlled vocabularies)으로 제한된다.
• 데이터: 검증에는 Synthea FHIR 번들을 통해 생성된 20개의 합성 클레임을 활용하였다. 이 번들은 알려진 정답(ground-truth) 임상 특성을 제공하며, LLM 생성을 통해 추가적인 문서 유형이 보강되었다. 이러한 접근 방식은 공유 가능하고 개인정보 보호 규정을 준수하며 정답 값이 알려진 데이터를 확보할 수 있게 하였다.
• 검증 프로토콜: QUEST 프레임워크(Tam et al.)를 변형하여, 두 명의 독립적인 임상 검토자(PharmD)가 20개 클레임에 대해 10개 차원을 기준으로 5점 리커트 척도를 사용하여 LLM 출력값을 평가하였다. 차원은 품질/정확성, 안전성/윤리, 이해/추론을 다룬다.
  • 2점 이상의 불일치가 발생할 경우 제3의 검토자가 최종 판정(adjudication)을 수행한다.
  • 3개 이상의 차원에서 의견이 갈리는 클레임은 기본 점수를 모르는 상태에서 제3 검토자에 의한 전체 판정 과정을 거친다.
• 분석: 간격 일치도(inter-rater reliability)는 200개의 쌍을 이룬 평가에 대해 이차 가중 코헨 카파(quadratic weighted Cohen's kappa, κw)를 사용하여 측정하였다. 또한 연구는 정확한 일치율, 불일치 비율 및 판정 항목에서의 검토자 비대칭성을 분석하였다.

주요 기여

1. 파이프라인 아키텍처: 환각(hallucination) 위험을 줄이고 규제 감사 추적을 생성하기 위한 설계 특징(필수 근거, 신뢰도 점수, 통제된 어휘집)을 갖춘 2단계 추출 파이프라인에 대한 설명.
2. 검증 프로토콜: 보험계리 변수 추출을 위해 조정된 차원별 검증 프레임워크를 제시하며, 특정 루브릭 차원과 원칙에 따른 검토자 간 신뢰도를 보고함.
3. 검토자 비대칭성 특성화: 검증 설계에서 흔히 간과되는 실무적 특징인 검토자 간의 체계적인 점수 비대칭성을 식별함.

결과

• 전반적인 신뢰도: 전체 이차 가중 카파 값은 0.53으로, 보통 수준의 일치를 나타냈다. 정확한 일치는 항목의 51.5%에서 발생했으며, 19.0%의 항목은 2점 이상의 차이를 보였다.
• 차원별 변동:
  • 높은 일치: 관련성(Relevance, 정확 일치 75%) 및 적절성(Appropriateness, 정확 일치 45%) 차원은 높은 정렬을 보였으나, 범위 제한(검토자들이 일관되게 높은 점수를 부여함)으로 인해 일부 카파 값이 0을 기록했다.
  • 낮은 일치: 실패 사례를 평가하는 차원(정보 누락, 맥락적 이해, 환각)에서 가장 높은 불일치를 보였다. 정보 누락은 음의 카파(-0.08)를 기록하여 우연에 의한 일치보다 낮은 수준을 보였으며, 40%의 항목이 2점 이상의 차이를 보였다. 환각 차원은 실질적인 차원 중 가장 낮은 정확 일치율(20%)을 보였다.
• 검토자 비대칭성: 검토자 1은 검토자 2보다 일관되게 낮은 점수를 부여했다. 판정된 항목에서 검토자 1은 판정 점수와의 평균 절대 거리(1.87 vs. 0.80)가 더 멀었으며, 15개 항목 중 12개에서 판정값보다 낮은 점수를 부여했다. 이는 무작위 오차가 아닌 체계적인 보수적 편향임을 시사한다.
• 신뢰도 점수: 파이프라인의 자가 보고 신뢰도 점수는 변수 유형과 관계없이 균일하게 높게(사분위 범위 0.85–0.90) 나타나, 불확실한 추출을 구분하는 분류(triage) 메커니즘으로서의 효용성이 제한적임을 보여주었다.

의의 및 주장
본 논문은 현재의 LLM 추출 능력이 트리아지(triage) 애플리케이션(예: 집중 인적 검토가 필요한 클레임을 플래깅하는 작업)에는 충분히 신뢰할 만하다고 결론짓는다(오류가 발생했을 때의 비용이 낮은 경우). 그러나 저자들은 누락 및 환각 차원의 성능이 약하기 때문에, 준비금 모델이나 손실 개발 계산에 직접 입력하는 것은 추가적인 검증이 필요하다고 주장한다.

연구는 관찰된 검토자 비대칭성이 향후 연구에서 점수가 미리 지정된 앵커 클레임을 사용한 교정(calibration) 연습이 공식 검증 점수 부여 전에 선행되어야 함을 시사한다고 강조한다. 또한, 신뢰도 점수의 제한된 범위는 효과적인 필터링 임계값을 만들기 위해 사후 교정이 필요함을 시사한다. 저자들은 본 연구를 산재 보험 외의 다양한 보험 종목에 적용 가능한, 재현 가능한 미래 보험계리 LLM 검증의 템플릿으로 위치시킨다.