Synthetic data for ratemaking: imputation-based methods vs adversarial networks and autoencoders

이 논문은 보험료 산정을 위한 합성 데이터 생성 기법으로 심층 생성 모델 (VAE, CTGAN) 과 비교하여 다변량 연쇄 방정식 (MICE) 기반 방법이 변수 분포와 다변량 관계를 잘 보존하면서도 구현이 용이하고 GLM 모델 성능 향상에 효과적임을 입증했습니다.

핵심

이 논문은 보험 회사의 **'데이터 요리사 (Actuary, 보험계리사)'**들이 겪는 고민과 그 해결책을 다루고 있습니다.

🍳 문제 상황: "비밀 레시피는 공개할 수 없어요!"

보험회사는 자동차 보험료를 계산할 때 수많은 데이터 (운전자의 나이, 차종, 사고 기록 등) 를 사용합니다. 하지만 이 데이터는 고객의 사생활이 담겨 있어 외부에 공개할 수 없습니다. 또한, 새로운 보험 상품을 만들 때 과거 데이터가 부족할 수도 있습니다.

이때 필요한 것은 **"가짜 데이터 (Synthetic Data)"**입니다. 실제 데이터와 통계적으로 똑같은 성질을 가지지만, 실제 사람은 존재하지 않는 가상의 데이터 말입니다. 마치 실제 고기 맛이 나는 식물성 고기처럼요.

하지만 이 '식물성 고기'를 만드는 방법에는 두 가지 큰 파벌이 있었습니다.

1. 고급 셰프 (딥러닝 모델): GAN(적대적 신경망) 이나 VAE(변분 오토인코더) 같은 복잡한 인공지능을 사용합니다.
2. 현실적인 요리사 (MICE): 결측치 채우기 (Imputation) 기술을 기반으로 한 전통적인 통계 방법입니다.

이 논문은 **"어떤 방법이 더 맛있는 (정확한) 가짜 데이터를 만들어낼까?"**를 비교 실험했습니다.

---

🥊 대결 구도: "고급 로봇 vs 현실적인 도구"

연구진은 프랑스의 실제 자동차 보험 데이터 (freMTPL2freq) 를 바탕으로 10 가지 방법을 시험해 보았습니다.

1. 고급 로봇들 (GAN, VAE 등)

• 특징: 매우 복잡한 신경망을 사용합니다. 마치 초고성능 3D 프린터처럼 데이터를 뚝딱 만들어냅니다.
• 장점: 이론적으로는 아주 정교할 수 있습니다.
• 단점:
  • 조작이 어렵습니다: 설정을 잘못하면 실패하거나, 너무 오래 걸립니다.
  • 특이한 데이터 처리가 약합니다: 예를 들어 '차량 브랜드'처럼 종류가 너무 많은 (고차원) 데이터를 다룰 때, 실제 분포를 잘 따라가지 못해 맛이 이상해지기도 합니다.
  • 유지보수 비용: 전문가가 없으면 돌릴 수 없습니다.

2. 현실적인 요리사 (MICE 기반 방법)

• 특징: 데이터의 빈칸을 채우는 방식 (Imputation) 을 반복해서 사용합니다. 마치 퍼즐 조각을 맞춰가는 과정처럼, "이 차의 나이가 30 대라면, 보통 어떤 브랜드를 탈까?"를 반복해서 학습하며 데이터를 채워 넣습니다.
• 장점:
  • 사용이 매우 쉽습니다: R 이라는 프로그램에 이미 잘 만들어져 있는 도구 (패키지) 를 쓰면 됩니다.
  • 성능이 놀랍습니다: 복잡한 인공지능보다 실제 데이터의 맛 (통계적 분포) 을 더 잘 보존했습니다.
  • 예측 정확도: 이 가짜 데이터로 보험료를 계산하는 모델을 훈련시켰을 때, 실제 데이터로 만든 모델과 거의 똑같은 결과를 냈습니다.

---

📊 실험 결과: "가짜 데이터로 실력을 늘릴 수 있을까?"

연구진은 또 다른 중요한 질문을 던졌습니다. "실제 데이터에 가짜 데이터를 섞어서 (증강) 더 많이 훈련하면, 보험료 계산 모델이 더 똑똑해질까?"

• 결과: 아니요, 오히려 나빠졌습니다.
• 이유: 가짜 데이터가 아무리 많아도, 실제 데이터의 '진짜 맛'을 완벽하게 재현할 수는 없습니다. 가짜 데이터를 섞으면 모델이 혼란을 겪어, 실제 데이터만 썼을 때보다 정확도가 떨어지는 경우가 많았습니다.
• 비유: 훌륭한 요리사가 레시피를 익히는데, 맛있는 가짜 고기를 섞어 넣으면 오히려 진짜 고기의 맛을 잊어버리고 요리 실력이 떨어지는 것과 같습니다.

---

💡 결론: "복잡한 것보다 쉬운 것이 최고다"

이 논문의 핵심 메시지는 다음과 같습니다.

1. MICE(결측치 채우기) 방식이 승리했다: 복잡한 딥러닝 모델 (GAN, VAE) 보다, 통계학의 고전적인 방법인 MICE 기반의 방법이 더 쉽고, 더 정확하며, 더 신뢰할 수 있는 가짜 데이터를 만들어냈습니다.
2. 사용의 편의성: 보험계리사들은 매일 바쁩니다. 복잡한 AI 모델을 세팅할 시간이 없습니다. MICE 방식은 설치만 하면 바로 쓸 수 있는 '오프더셸프 (Off-the-shelf)' 솔루션처럼 편리합니다.
3. 데이터 증강의 주의: 가짜 데이터를 무작정 섞어 쓰는 것은 위험할 수 있습니다. 실제 데이터가 부족할 때는 가짜 데이터로 양을 늘리기보다, 가짜 데이터만 따로 만들어 연구용 (모델 테스트 등) 으로 쓰는 것이 더 안전하고 효과적입니다.

한 줄 요약:

"복잡하고 비싼 AI 로봇으로 가짜 데이터를 만들 필요 없이, **현실적이고 간단한 통계 도구 (MICE)**로 만들면 보험회사도 연구자도 더 쉽고 정확하게 데이터를 다룰 수 있다."

이 연구는 보험 업계가 데이터의 사생활 문제를 해결하면서도, 정확한 가격 책정을 유지할 수 있는 현실적인 길을 제시했습니다.

기술 요약

논문 개요

이 논문은 보험 요율 결정 (ratemaking) 을 위한 고품질 데이터의 부족과 프라이버시 문제를 해결하기 위해 합성 데이터 (Synthetic Data) 생성 기법을 비교 분석합니다. 특히, 기존에 주로 연구된 심층 생성 모델 (GAN, VAE 등) 과 대조적으로, 연쇄 방정식 다변량 대체 (MICE, Multivariate Imputation by Chained Equations) 기반의 방법을 새로운 대안으로 제시하고 벤치마크합니다.

1. 문제 정의 (Problem)

• 데이터 접근성 제한: 보험사는 경쟁 우위, 프라이버시, 보안 문제로 인해 실제 데이터를 공개하거나 공유하는 것을 꺼립니다. 이로 인해 학술 연구나 새로운 모델 개발을 위한 고품질 공개 데이터셋이 부족합니다.
• 새로운 시장/제품의 데이터 부재: 새로운 보험 상품 출시 시 충분한 실제 데이터가 존재하지 않아 모델 학습이 어렵습니다.
• 기존 생성 모델의 한계: 기존 연구 (Kuo, 2020; Côté et al., 2025; Jamotton & Hainaut, 2024 등) 에서 사용된 GAN 이나 VAE 기반 모델은 실제 데이터의 분포를 잘 모방하지만, 매번 데이터셋에 맞춰 많은 커스터마이징이 필요하여 실무에서의 '사용 편의성 (ease of use)'이 낮고, 고차원 범주형 변수 처리에 어려움을 겪는 경우가 많습니다.

2. 방법론 (Methodology)

저자들은 freMTPL2freq (프랑스 제 3 자 책임 보험 데이터셋) 를 기반으로 10 가지 이상의 생성 기법을 비교 평가했습니다.

A. 평가 지표

1. 데이터 충실도 (Data Fidelity):
   • 변수의 한계 분포 (Marginal distribution) 보존 정도 (MAE, MAPE).
   • 변수 간의 다변량 관계 (Pairwise relationships, 상관관계) 보존 정도.
2. 모델 일관성 (Model Consistency):
   • 합성 데이터로 학습된 일반화 선형 모델 (GLM) 과 실제 데이터로 학습된 GLM 의 계수 (Coefficients) 일치도 (M1, M2 지표).
   • 예측 성능 (Poisson Deviance, RMSE).
3. 사용 편의성: 구현 복잡도, 전처리 필요성, 튜닝 난이도.

B. 비교 대상 기법

1. GAN 기반:
   • CTGAN (Conditional Tabular GAN)
   • CTGAN + 오토인코더 (AE) 결합 (고차원 범주형 변수 처리 개선)
   • MC-WGAN-GP (Côté et al., 2025)
   • Tabulator (GAIN 기반, Neves et al., 2022)
2. MICE 기반 (Imputation-based):
   • MICE PART SYN: 원본 데이터의 25% 를 유지하고 75% 를 MICE-RF 로 대체.
   • MICE FULL SYN: 원본 데이터 전체를 MICE-RF 로 대체 (완전 합성).
   • MICE TABULATOR: Neves et al. 의 Tabulator 구조를 GAIN 대신 MICE-RF 로 구현.
   • MICE VV: Volker & Vink (2021) 의 열 단위 대체 방식.
3. 하이브리드 및 기타:
   • CTGAN + MICE (수치형 변수 보정)
   • VAE (Jamotton & Hainaut, 2024)

C. 실험 설계

• Ground Truth 설정: 실제 관측된 청구 횟수 대신, 알려진 선형 및 상호작용 (Interaction) 공식을 사용하여 Poisson 분포에서 합성된 '진짜' 청구 횟수를 생성하여 GLM 의 계수 추정 정확도를 평가했습니다.
• 데이터 증강 (Augmentation): 원본 데이터에 합성 데이터를 추가하여 GLM 예측 성능이 향상되는지 확인했습니다.

3. 주요 기여 (Key Contributions)

1. MICE 기반 방법론의 제안 및 벤치마크: 보험 요율 결정 분야에서 MICE-RF (Random Forest 기반) 를 활용한 생성 방법이 심층 생성 모델 (GAN, VAE) 과 경쟁력 있으며, 오히려 더 높은 사용 편의성을 가진다는 것을 입증했습니다.
2. 광범위한 비교 연구: 기존 문헌의 방법론 (CTGAN, MC-WGAN-GP, VAE) 과 새로운 MICE 기반 방법, 그리고 이들의 하이브리드 변형까지 총 10 가지 접근법을 동일한 데이터셋과 평가 지표로 체계적으로 비교했습니다.
3. 데이터 증강 효과 분석: 합성 데이터를 원본 데이터에 추가하여 GLM 을 학습시키는 것이 계수 추정 정확도나 예측 성능을 개선한다는 일반적인 가설을 반박했습니다. 오히려 합성 데이터 비율이 증가할수록 GLM 계수 추정 오차가 선형적으로 증가함을 발견했습니다.

4. 결과 (Results)

성능 평가

• 모델 계수 정확도 (M1, M2): MICE PART SYN과 MICE FULL SYN이 가장 우수한 성능을 보였습니다. 이 방법들은 실제 데이터로 학습된 GLM 의 계수와 가장 유사한 계수를 생성했습니다. 반면, CTGAN 과 COTE MC WGAN GP 는 계수 추정 오차가 가장 컸습니다.
• 변수 선택 (Variable Selection): MICE 기반 방법은 올바른 변수를 선택하고 불필요한 변수를 포함하는 비율이 가장 낮았습니다. CTGAN 기반 방법은 잘못된 변수를 포함하거나 상호작용 항을 놓치는 경향이 있었습니다.
• 데이터 분포 보존:
  • 범주형 변수: 오토인코더 (AE) 를 결합한 CTGAN 이 범주형 열 생성에 유리했으나, 전체적인 데이터 충실도에서는 MICE 가 더 우세했습니다.
  • 수치형 변수: MICE 는 수치형 변수의 분산 (Variance) 을 실제 데이터보다 약간 과소평가하는 경향이 있었으나, 상관관계 구조를 잘 보존했습니다.
• 데이터 증강 효과: 원본 데이터에 합성 데이터를 추가하여 학습한 GLM 은 순수 원본 데이터로 학습한 모델보다 성능이 떨어지거나 개선되지 않았습니다. 합성 데이터 비율이 20% 이상으로 증가하면 GLM 계수 추정 오차가 급격히 커지는 경향이 관찰되었습니다.

사용 편의성

• MICE: R 패키지 mice 를 사용하면 전처리나 복잡한 튜닝 없이 '아웃 - 오브 - 더 - 박스 (out-of-the-box)'로 사용 가능하여 실무 actuaries 에게 가장 접근성이 높았습니다.
• GAN/VAE: Python 환경에서의 구현, 행렬 분할, 타입 캐스팅, 신경망 구조 설계 등 추가적인 설정과 전문 지식이 필요하여 구현 복잡도가 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 가치: 이 연구는 복잡한 심층 생성 모델이 항상 최선은 아님을 보여주었습니다. 보험 요율 결정과 같은 구조화된 표형 데이터 (Tabular Data) 에 대해서는 MICE-RF가 구현의 용이성과 높은 정확도를 동시에 만족하는 최적의 대안임을 입증했습니다.
• 데이터 증강에 대한 경고: 단순히 합성 데이터를 원본 데이터에 섞어 학습하는 것이 모델 성능을 향상시킨다는 보장이 없으며, 오히려 실제 데이터의 분포를 왜곡하여 GLM 계수 추정을 불안정하게 만들 수 있음을 경고했습니다.
• 향후 연구 방향: 비즈니스 제약 조건 (예: 나이 제한) 을 MICE 프레임워크에 통합하는 방법, 소규모 데이터셋에서의 증강 효과, 그리고 합성 데이터가 인과 관계 (Causal structure) 를 얼마나 보존하는지에 대한 심층 연구가 필요하다고 제언했습니다.

요약하자면, 이 논문은 보험 데이터 생성 분야에서 MICE 기반의 간결하고 강력한 방법이 GAN/VAE 같은 최신 딥러닝 기법보다 실제 적용 측면에서 더 우수할 수 있음을 실증적으로 증명했습니다.