Claim Automation using Large Language Model

논문 요약: 보험 청구 자동화를 위한 대규모 언어 모델 (LLM) 활용

이 연구는 규제된 환경과 데이터 민감도가 높은 보험 산업 (특히 자동차 보증 청구) 에서 대규모 언어 모델 (LLM) 의 배포 한계를 극복하고, 비정형 청구 내역을 구조화된 수정 조치 (Corrective Action) 추천으로 변환하는 로컬 배포형 거버넌스 인식 (Governance-aware) 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

• 전통적 접근의 한계: 기존 보험 계리 (Actuarial) 모델은 주로 구조화된 데이터에 의존하며, 비정형 텍스트 (청구 설명, 진단 노트 등) 를 활용하기 위해 수동으로 특징을 추출하거나 (Text-to-Feature) 단순한 임베딩을 사용했습니다. 이 방식은 언어의 맥락적 뉘앙스와 인과 관계를 잃어버리게 만듭니다.
• 범용 LLM 의 한계: 최근 범용 LLM(예: GPT-4 등) 은 텍스트 이해 능력이 뛰어나지만, 보험과 같은 규제 산업에 적용할 때 다음과 같은 문제가 발생합니다.
  • 도메인 불일치: 일반 인터넷 데이터로 학습된 모델은 보험 청구의 특정 업무 로직이나 용어에 적합하지 않습니다.
  • 거버넌스 및 보안: 클라우드 API 기반 배포는 데이터 프라이버시, 투명성, 감사 가능성 (Auditability) 측면에서 규제 요구사항을 충족하기 어렵습니다.
  • 할루시네이션 및 구조적 불안정: 모델이 원하는 형식 (예: JSON, 특정 스키마) 을 따르지 않거나, 사실과 다른 내용을 생성할 수 있어 자동화 파이프라인에 통합하기 어렵습니다.

2. 방법론 (Methodology)

2.1. 프레임워크 개요

• 로컬 배포: 외부 API 의존을 배제하고, DeepSeek-R1-Distill-Llama-8B(80 억 파라미터) 모델을 온프레미스 (On-premises) 환경에 배포하여 데이터 보안을 확보합니다.
• 모듈형 중간 작업 설계: LLM 을 직접적인 금융 예측 (End-to-End) 에 사용하는 대신, 비정형 텍스트 (Complaint, Cause) 를 입력받아 **구조화된 수정 조치 (Correction)**를 생성하는 중간 단계로 제한합니다. 이는 기존 청구 워크플로우와 계리 모델링을 분리하여 검증 가능성을 높입니다.

2.2. 모델 아키텍처 및 미세 조정 (Fine-tuning)

• LoRA (Low-Rank Adaptation): 전체 모델 파라미터를 재학습하는 대신, 사전 학습된 가중치를 고정하고 저랭크 어댑터 (Low-rank adapters) 만 학습하여 효율성을 높입니다.
  • 학습 데이터: PCMI Corporation 에서 제공된 약 200 만 건의 자동차 보증 청구 데이터 (Complaint, Cause, Correction 튜플).
  • 전처리: 기술자별 약어, 오타, 불필요한 관리 코멘트 등을 제거하고 도메인 특화 사전으로 정규화하는 파이프라인을 구축했습니다.
  • 학습 목표: 비정형 텍스트를 입력으로 받아 기술자가 기록한 수정 조치 (Corrective Action) 를 생성하는 조건부 언어 생성 (Conditional Language Generation) 문제를 해결합니다.

2.3. 평가 체계 (Evaluation Framework)
단순한 정확도뿐만 아니라 **실무 유용성 (Usability)**과 **정확도 (Accuracy)**를 다차원으로 평가합니다.

• Usability:
  • 형식 준수 (Format Compliance): 정의된 스키마를 엄격히 따르는지 확인.
  • 응답 유효성 (Response Validity): 파싱 가능하고 실행 가능한 정보를 포함하는지 확인.
• Accuracy: 유효한 응답에 대해 인간 전문가의 평가 (Gold Standard) 와 비교하여 의미론적 일치도를 측정.
• 평가 지표: 편집 거리, BLEU, BERT Similarity, BLEURT 와 같은 자동 지표와 인간 평가 (Human Evaluation) 를 결합하여 상관관계를 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 도메인 적응형 LLM 워크플로우 제안: 보험 산업의 규제와 거버넌스 요구사항을 충족하는 로컬 배포형 LLM 아키텍처를 설계했습니다.
2. LoRA 기반 도메인 미세 조정의 효과 입증: 범용 모델이나 프롬프트 엔지니어링만으로는 달성할 수 없는, 도메인 특화 데이터에 대한 분포 정렬 (Distribution Alignment) 을 성공적으로 수행했습니다.
3. 다차원 평가 프레임워크 개발: 구조적 유효성, 의미론적 정렬, 분포 일관성을 종합적으로 평가하는 새로운 방법론을 제시하여 LLM 의 보험 적용 가능성을 검증했습니다.

4. 실험 결과 (Results)

4.1. 성능 비교 (Usability & Accuracy)
연구는 4 가지 모델 변형을 비교했습니다:

• M1 (Base): 기본 DeepSeek-R1 (프롬프트 없음, 파인튜닝 없음)
• M2 (Prompt): 기본 모델 + 형식 강제 프롬프팅
• M3 (Instruct): Qwen-Instruct 모델 + 프롬프팅
• M4 (Fine-tuned): DeepSeek-R1 + 도메인 데이터 LoRA 파인튜닝

모델	형식 준수율 (%)	유효성 (%)	정확도 (유효 응답 기준, %)	정확도 (고품질 하위집합, %)
M1 (Base)	0.0	8.0	56.0	64.3
M2 (Prompt)	6.5	29.5	64.4	71.2
M3 (Instruct)	86.5	97.5	62.1	68.4
M4 (Fine-tuned)	100.0	100.0	81.5	92.0

• 형식 준수: 파인튜닝된 모델 (M4) 은 **100%**의 형식 준수율을 보였으며, 이는 프롬프팅이나 인스트럭션 튜닝만으로는 달성하기 어려운 결과입니다.
• 정확도: 파인튜닝 모델은 약 80% 의 사례에서 실제 정답 (Ground Truth) 과 거의 동일한 수정 조치를 생성했습니다. 특히 고품질 데이터셋 (HQ) 기준 정확도는 **92.0%**에 달했습니다.
• 분포 정렬: 파인튜닝 모델은 범용 모델에 비해 의미론적 유사도 (Semantic Similarity) 분포가 인간 전문가의 판단과 훨씬 더 밀접하게 일치함을 보였습니다.

4.2. 분석

• 범용 모델은 일반적인 기술적 타당성은 있지만, 보험 청구의 구체적인 업무 로직 (Operational Logic) 과는 불일치하는 경우가 많았습니다.
• 파인튜닝은 모델이 도메인 특유의 분포를 학습하여, 확률 질량을 실제 업무에서 유효한 출력으로 재분배하게 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 규제 준수 가능한 LLM 도입: 이 연구는 LLM 을 보험 업무에 도입할 때 데이터 프라이버시와 모델 거버넌스를 어떻게 유지할 수 있는지 실증적으로 증명했습니다.
• 모듈형 접근의 중요성: LLM 을 블랙박스 형태의 최종 의사결정 엔진이 아닌, 청구 조정자 (Claim Adjuster) 를 지원하는 구조화된 중간 작업 모듈로 위치시킴으로써 검증 가능성과 해석 가능성을 확보했습니다.
• 실무적 시사점: 단순한 프롬프트 엔지니어링이나 외부 API 의존은 복잡한 보험 청구 자동화에는 부적합하며, **도메인 특화 데이터에 대한 미세 조정 (Fine-tuning)**이 필수적임을 보여줍니다.
• 미래 방향: 향후 이 시스템을 실제 운영에 배포하고, 인간 전문가의 피드백을 통한 온라인 학습 (Online Learning) 및 RAG(검색 증강 생성) 를 활용한 부품/노동 비용 추정 등으로 확장할 계획입니다.

이 논문은 보험 산업에서 LLM 의 신뢰성과 실용성을 높이기 위한 이론적, 실증적 토대를 마련했다는 점에서 중요한 의의를 가집니다.