Insurance Pricing Optimization via Off-Policy Evaluation

기술 요약: 오프폴리시 평가를 통한 보험 가격 최적화

문제 정의
전통적인 보험 가격 책정은 위험 기반 원칙 (예: GLM, GAM) 에 의존하여 보험数理적 공정성과 지급 능력을 보장하지만, 종종 가입자의 가격 민감도와 수요 역학을 간과합니다. 다른 산업에서는 동적 가격 책정과 강화 학습 (RL) 이 주목을 받고 있지만, 보험数理 과학 분야에서의 적용은 제한적이며, 종종 "예측 후 최적화 (PTO)" 프레임워크에 의존합니다. 이러한 PTO 접근법은 먼저 역사적 데이터로부터 수요 함수를 추정한 후, 그 추정에 기반하여 가격을 최적화합니다. 그러나 수요 모델이 잘못 지정되었거나 역사적 가격 정책이 선택 효과를 유발하는 경우 이러한 방법은 편향에 취약하여 체계적으로 비최적의 결정과 과장된 수익 추정으로 이어집니다.

본 논문은 보험 가격 책정을 오프폴리시 평가 설정 내의 확률적 제어 문제로 규정합니다. 목표는 잠재적으로 다른 비최적 로깅 정책 $\tilde{\pi}$ 하에서 수집된 역사적 데이터를 사용하여 기대 보상 (예: 이익) $V(\pi)$ 을 최대화하는 가격 정책 $\pi$ 를 찾는 것입니다. 이 프레임워크는 가격 결정 행동을 특징 $X$ 를 가진 가입자에게 취해진 행동 $A$ 로 간주하여 보상 $R$ 을 생성합니다. 주요 과제는 단일 가입자에 대한 데이터가 일반적으로 하나의 행동 하에서만 이용 가능하다는 점으로, 새로운 실험 없이 반사실적 정책의 가치를 추정할 수 있는 방법이 필요합니다.

방법론
본 논문은 다음과 같은 네 부분으로 구성된 방법론적 프레임워크를 제안합니다:

1. 커널화된 역선별 확률 (IPS) 추정기:
   저자들은 고전적인 IPS 방법을 확장한 새로운 추정기를 소개합니다. 고전적인 IPS 는 로깅 정책의 행동과 목표 정책의 행동 간의 정확한 일치를 의존하여 (일치하지 않는 데이터를 폐기하고 높은 분산을 겪음), 제안된 커널화된 IPS 추정기는 행동 공간의 국소적 구조를 활용합니다.

   • 메커니즘: 행동 변수에 대한 국소 회귀 구조를 가정합니다 (예: 기대 보상이 가격에 따라 매끄럽게 변함). 이는 역사적 공간 $\mathcal{A}$ 의 행동을 새로운 목표 공간 $\bar{\mathcal{A}}$ (해상도나 범위가 다를 수 있음) 로 매핑하는 커널 행렬 $K(x)$ 를 구성합니다.
   • 구축: 커널은 관측된 보상과 국소 회귀 모델 (예: 행동에 대한 선형 또는 2 차) 간의 불일치를 최소화하는 가중 최소제곱 문제를 통해 유도됩니다.
   • 특성: mild 한 국소 회귀 가정 하에서, 추정기는 불편성이 입증됩니다. 또한, 데이터를 폐기하는 대신 인접한 행동 간에 정보를 집계함으로써 고전적인 IPS 에 비해 분산 감소를 달성합니다. 논문은 분산 최적 커널 (조건부 보상 공분산 행렬의 역행렬 사용) 을 특징화하고, 실제 수행에서 유사한 성능을 보이는 계산 효율적인 "naive" 커널 (대각선 가중치 사용) 을 제안합니다.

2. 정책 최적화 접근법:
   가치 추정치를 기반으로, 논문은 최적 가격 정책 $\pi^*$ 를 계산하기 위한 두 가지 방법을 조사합니다:

   • 데이터 공유 Lasso (DSL): 정책 최적화를 정규화된 회귀 문제로 공식화하는 해석 가능한 접근법입니다. 이는 개별 보상에 대한 명시적 의존성을 제거하여 커널화된 IPS 추정기를 근사하고, Lasso 정규화를 사용하여 전역 선형 모델로부터 행동별 편차를 풉니다.
   • 신경망 (NN) 매개변수화: 순방향 신경망이 가입자 특징을 행동 확률로 매핑하는 (소프트맥스 출력을 통해) 유연한 비모수적 접근법입니다. 네트워크는 커널화된 IPS 추정치를 직접 최대화하기 위해 확률적 경사 상승을 통해 훈련됩니다.

3. 합성 환경:
   이 방법들은 통제된 합성 여행 보험 환경에서 평가됩니다. 데이터 생성은 선형 및 고차 상호작용 (목적지에 대한 잠재 변수 포함) 을 포함하는 가격 민감도 수요 모델을 기반으로 고객이 구매를 결정하는 현실적인 시나리오를 모방합니다. 기대 보상에 대한 기준 진실 (ground truth) 이 알려져 있어 엄격한 벤치마킹이 가능합니다.

주요 결과
합성 데이터에 대한 경험적 실험은 다음과 같은 결과를 도출합니다:

• 분산 감소: 커널화된 IPS 추정기는 모든 표본 크기에서 고전적인 IPS 추정기에 비해 Root Mean Square Error (RMSE) 를 현저히 감소시킵니다. 고전적인 IPS 추정기와 동일한 정확도를 약 절반의 표본 크기로 달성합니다.
• Naive 대 최적 커널: 계산 효율적인 "naive" 커널 (대각선 가중치) 은 테스트된 설정에서 공분산 추정이 필요한 분산 최적 커널과 거의 동일하게 수행되어, 복잡한 모멘트 추정 없이 실용적인 확장성을 시사합니다.
• 외삽 능력: 고전적인 IPS 와 달리, 커널화된 추정기는 역사적 데이터를 넘어 확장된 행동 공간 (예: 데이터가 $\pm 20\%$ 만 커버할 때 $\pm 30\%$ 의 가격 조정) 에서 정책을 평가할 수 있습니다. 수요 모델의 비선형 절단 효과로 인해 극단부에서 정확도가 저하되지만, 이 방법은 성공적으로 보간하고 적절하게 외삽합니다.
• 정책 최적화 성능:
  • 신경망: NN 정책은 특히 선형 모델이 놓치는 복잡하고 고차적인 상호작용이 데이터 생성 과정에 포함될 때, 이론적 최적에 비해 가장 작은 성능 격차를 일관되게 달성합니다.
  • 데이터 공유 Lasso: DSL 은 행동별 편차를 가진 해석 가능한 선형 구조를 제공하며, 가치 추정에서의 모델 오지정성에 대한 더 나은 견고성을 가지지만 고전적인 PTO 접근법과 경쟁력 있는 성능을 보입니다.
  • PTO 의 편향: 연구는 동일한 수요 모델을 최적화와 가치 추정에 모두 사용할 때 고전적인 "예측 후 최적화" 접근법이 선택 편향을 겪어 정책 성능을 과대평가한다는 것을 확인합니다. 오프폴리시 커널화된 IPS 추정기는 이러한 편향을 피합니다.

의의 및 주장
본 논문은 실험과 배포를 분리하는 데이터 기반 보험 가격 책정을 위한 원칙적이고 위험이 낮은 경로를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 오프라인 최적화: 단일 무작위 데이터 수집 단계를 통해 무제한의 반사실적 가격 전략을 평가할 수 있게 하여, 보험 산업의 온라인 A/B 테스트에 따른 높은 비용과 운영 제약을 회피합니다.
2. 분산 감소 및 외삽: 커널화된 IPS 추정기는 추정기 분산을 줄이고 새롭거나 더 세분화된 행동 공간에서 정책을 평가하기 위한 통계적으로 엄격한 방법을 제공하여, 표준 오프폴리시 방법의 주요 한계를 해결합니다.
3. 견고성: 가치 추정 (불편성 오프폴리시 추정기를 통해) 과 정책 최적화 단계를 분리함으로써, "예측 후 최적화" 루프에 내재된 편향을 완화합니다.
4. 실용적 적용 가능성: 계산 효율적인 근사법 (naive 커널, Lasso) 이 잘 수행된다는 시연은 해석 가능성과 계산 효율성이 최우선인 실제 보험数理 응용 분야에서 이 프레임워크가 실행 가능함을 시사합니다.

저자들은 유연한 신경망이 복잡한 수요 역학을 포착하는 데 있어 우수한 성능을 제공하지만, 제안된 프레임워크는 특히 수요 민감도가 중요한 요소인 설정에서 전통적인 위험 기반 가격 책정에 대한 견고하고 불편성 있는 대안을 제공한다고 결론지었습니다.