Insurance Pricing Optimization via Off-Policy Evaluation

Resumen Técnico: Optimización de Precios de Seguros mediante Evaluación Fuera de Política

Formulación del Problema
La fijación de precios tradicional en seguros se basa en principios de riesgo (por ejemplo, GLM, GAM) que garantizan la equidad actuarial y la solvencia, pero a menudo descuidan la sensibilidad al precio de los asegurados y la dinámica de la demanda. Aunque la fijación de precios dinámica y el aprendizaje por refuerzo (RL) han ganado terreno en otras industrias, su aplicación en la ciencia actuarial sigue siendo limitada, dependiendo frecuentemente de marcos de "predecir luego optimizar" (PTO). Estos enfoques PTO estiman primero una función de demanda a partir de datos históricos y luego optimizan los precios basándose en esa estimación. Sin embargo, tales métodos son susceptibles a sesgos si el modelo de demanda está mal especificado o si las políticas de precios históricas inducen efectos de selección, lo que conduce a decisiones sistemáticamente subóptimas y a estimaciones de ingresos infladas.

Este trabajo enmarca la fijación de precios de seguros como un problema de control estocástico dentro de un entorno de evaluación fuera de política. El objetivo es encontrar una política de precios $\pi$ que maximice la recompensa esperada (por ejemplo, beneficio) $V(\pi)$ utilizando datos históricos recopilados bajo políticas de registro $\tilde{\pi}$ que pueden ser diferentes y subóptimas. El marco trata las decisiones de precios como acciones $A$ tomadas sobre asegurados con características $X$, generando recompensas $R$. Un desafío clave es que los datos para cualquier asegurado individual suelen estar disponibles bajo una sola acción, lo que hace necesarias métodos para estimar el valor de políticas contrafactuales sin nuevos experimentos.

Metodología
El artículo propone un marco metodológico de cuatro partes:

1. Estimador de Puntuación de Propensión Inversa (IPS) Kernelizado:
   Los autores introducen un estimador novedoso que extiende el método IPS clásico. Mientras que el IPS clásico depende de coincidencias exactas entre las acciones de la política de registro y las acciones de la política objetivo (descartando datos no coincidentes y sufriendo una alta varianza), el estimador IPS kernelizado propuesto explota la estructura local en el espacio de acciones.

   • Mecanismo: Asume una estructura de regresión local en la variable de acción (por ejemplo, las recompensas esperadas varían suavemente con el precio). Construye una matriz de kernel $K(x)$ que mapea acciones desde el espacio histórico $\mathcal{A}$ a un nuevo espacio objetivo $\bar{\mathcal{A}}$ (que puede diferir en resolución o rango).
   • Construcción: El kernel se deriva mediante un problema de mínimos cuadrados ponderados que minimiza la discrepancia entre las recompensas observadas y un modelo de regresión local (por ejemplo, lineal o cuadrático en las acciones).
   • Propiedades: Bajo una suposición suave de regresión local, se demuestra que el estimador es insesgado. Además, logra una reducción de la varianza en comparación con el IPS clásico al agregar información a través de acciones vecinas en lugar de descartar datos. El artículo caracteriza un kernel óptimo de varianza (utilizando la inversa de la matriz de covarianza condicional de recompensas) y propone un kernel "ingenuo" computacionalmente eficiente (utilizando pesos diagonales) que tiene un rendimiento comparable en la práctica.

2. Enfoques de Optimización de Políticas:
   Basándose en las estimaciones de valor, el artículo investiga dos métodos para calcular la política de precios óptima $\pi^*$:

   • Lasso de Datos Compartidos (DSL): Un enfoque interpretable que formula la optimización de la política como un problema de regresión regularizado. Aproxima el estimador IPS kernelizado eliminando la dependencia explícita de las recompensas individuales, resolviendo desviaciones específicas de la acción de un modelo lineal global utilizando regularización Lasso.
   • Parametrización de Redes Neuronales (NN): Un enfoque flexible y no paramétrico donde una red neuronal feedforward mapea las características del asegurado a probabilidades de acción (mediante una salida softmax). La red se entrena mediante ascenso de gradiente estocástico para maximizar directamente la estimación IPS kernelizada.

3. Entorno Sintético:
   Los métodos se evalúan en un entorno controlado de seguros de viaje sintético. La generación de datos imita un escenario realista donde los clientes deciden comprar basándose en un modelo de demanda sensible al precio que involucra interacciones lineales y de orden superior (incluyendo una variable latente para el destino). Se conoce la verdad fundamental de las recompensas esperadas, lo que permite una evaluación rigurosa.

Resultados Clave
Los experimentos empíricos en los datos sintéticos arrojan los siguientes hallazgos:

• Reducción de Varianza: El estimador IPS kernelizado reduce significativamente el Error Cuadrático Medio (RMSE) en comparación con el estimador IPS clásico en todos los tamaños de muestra. Logra la misma precisión que el estimador IPS clásico con aproximadamente la mitad del tamaño de muestra.
• Kernel Ingenuo vs. Óptimo: El kernel "ingenuo" computacionalmente eficiente (pesos diagonales) tiene un rendimiento casi idéntico al kernel óptimo de varianza (que requiere estimación de covarianza) en el entorno probado, lo que sugiere escalabilidad práctica sin estimación de momentos compleja.
• Capacidad de Extrapolación: A diferencia del IPS clásico, el estimador kernelizado puede evaluar políticas en espacios de acción que se extienden más allá de los datos históricos (por ejemplo, ajustes de precios de $\pm 30\%$ cuando los datos solo cubren $\pm 20\%$). Aunque la precisión se degrada en los extremos debido a efectos de truncamiento no lineal en el modelo de demanda, el método interpola con éxito y extrapola moderadamente.
• Rendimiento de Optimización de Políticas:
  • Redes Neuronales: Las políticas de NN logran consistentemente la brecha de rendimiento más pequeña en relación con el óptimo teórico, particularmente cuando el proceso de generación de datos incluye interacciones complejas y de orden superior que los modelos lineales pasan por alto.
  • Lasso de Datos Compartidos: DSL proporciona una estructura lineal interpretable con desviaciones específicas de la acción, desempeñándose de manera competitiva con el enfoque PTO clásico pero con una mejor robustez ante la mala especificación del modelo en la estimación de valor.
  • Sesgo en PTO: El estudio confirma que el enfoque clásico de "predecir luego optimizar" sufre de sesgo de selección cuando se utiliza el mismo modelo de demanda tanto para la optimización como para la estimación de valor, lo que conduce a una sobreestimación del rendimiento de la política. El estimador IPS kernelizado fuera de política evita este sesgo.

Significado y Afirmaciones
El artículo afirma proporcionar una vía fundamentada y de bajo riesgo para la fijación de precios de seguros basada en datos que separa la experimentación del despliegue. Sus contribuciones principales son:

1. Optimización Offline: Habilitar la evaluación de un número ilimitado de estrategias de precios contrafactuales utilizando una sola fase de recopilación de datos aleatorizados, evitando los altos costos y las restricciones operativas de las pruebas A/B en línea en seguros.
2. Reducción de Varianza y Extrapolación: El estimador IPS kernelizado ofrece un método estadísticamente riguroso para reducir la varianza del estimador y evaluar políticas en espacios de acción nuevos o de mayor granularidad, abordando una limitación clave de los métodos fuera de política estándar.
3. Robustez: Al desacoplar la estimación de valor (mediante estimadores fuera de política insesgados) del paso de optimización de la política, el marco mitiga el sesgo inherente a los bucles de "predecir luego optimizar".
4. Aplicabilidad Práctica: La demostración de que aproximaciones computacionalmente eficientes (kernels ingenuos, Lasso) funcionan bien sugiere que el marco es viable para aplicaciones actuariales del mundo real donde la interpretabilidad y la eficiencia computacional son primordiales.

Los autores concluyen que, si bien las redes neuronales flexibles ofrecen un rendimiento superior en la captura de dinámicas de demanda complejas, el marco propuesto proporciona una alternativa robusta e insesgada a la fijación de precios basada en riesgos tradicional, particularmente en entornos donde la sensibilidad a la demanda es un factor crítico.