Is TabPFN the Silver Bullet for Insurance Pricing?

Resumen Técnico: ¿Es TabPFN la bala de plata para la tarificación de seguros?

Enunciado del Problema
La tarificación de seguros no vida tradicionalmente se basa en Modelos Lineales Generalizados (GLM) para modelar la frecuencia y la severidad de siniestros, a menudo complementados por Máquinas de Gradiente Reforzado (como XGBoost) como la alternativa principal de aprendizaje automático. Aunque estos métodos son transparentes y bien comprendidos, requieren preprocesamiento, ajuste y optimización de hiperparámetros específicos del conjunto de datos. Recientemente, los Modelos Fundacionales Tabulares (TFM), específicamente TabPFN, han surgido como un cambio de paradigma. Entrenados en millones de conjuntos de datos sintéticos utilizando Redes Ajustadas con Datos Previos (PFN), TabPFN utiliza el aprendizaje en contexto (ICL) para aproximar distribuciones predictivas posteriores sin necesidad de entrenamiento específico del conjunto de datos. Sin embargo, las evaluaciones comparativas existentes para TabPFN se centran en la precisión general de la predicción y carecen de evidencia sobre su idoneidad para los requisitos actuariales específicos de la tarificación de seguros, como el ajuste distribucional y la latencia operativa.

Metodología
Este documento proporciona la primera evaluación empírica de TabPFN para la tarificación de seguros de automóviles, comparándolo con modelos GLM y XGBoost estándar.

• Conjuntos de datos: El estudio utiliza dos conjuntos de datos públicos de Responsabilidad Civil Automóvil (MTPL): el francés freMTPL2 y el belga beMTPL97.
• Modelos:
  • Líneas base: Un GLM de Poisson para frecuencia y un GLM de Gamma para severidad; XGBoost para ambas tareas.
  • TabPFN: Se probaron dos versiones: TabPFN-v2.6 (escalable a 100k muestras) y TabPFN-v3 (escalable a 1M muestras, proporcionando características < 200).
• Diseño Experimental:
  • Preprocesamiento: TabPFN opera sobre entradas crudas; GLM y XGBoost recibieron codificación ordinal para categóricos ordenados y codificación one-hot para categóricos nominales.
  • Validación: Se utilizó validación cruzada de 5 pliegues.
  • Tamaños de Contexto: Para el modelado de frecuencia, TabPFN se evaluó con tamaños de contexto (entrenamiento) variables: 2.000, 5.000, 10.000, 50.000, 100.000 y el conjunto de entrenamiento completo. El modelado de severidad utilizó el tamaño de contexto máximo.
  • Métricas:
    • Precisión Predictiva: Error Cuadrático Medio (RMSE), ponderado por exposición para frecuencia y sin ponderar para severidad.
    • Ajuste Distribucional: Desviación de Poisson para frecuencia y desviación de Gamma para severidad.
    • Costo Operativo: Tiempo de inferencia (para TabPFN) y tiempo combinado de entrenamiento/inferencia (para las líneas base).

Resultados Clave

• Rendimiento Predictivo (Frecuencia): TabPFN no supera consistentemente a las líneas base establecidas. En tamaños de contexto grandes (≥50.000), TabPFN-v2.6 logró un RMSE más bajo que XGBoost en ambos conjuntos de datos, pero no logró superar a GLM. TabPFN-v3 tuvo un rendimiento similar al de las líneas base en datos franceses pero peor en datos belgas.
• Ajuste Distribucional (Frecuencia): GLM logró consistentemente la mejor desviación de Poisson. TabPFN-v2.6 mostró alta sensibilidad al tamaño del contexto; el rendimiento de la desviación fue no monótono, empeorando en tamaños intermedios (2k–10k) antes de mejorar en tamaños más grandes (50k–100k). TabPFN-v3 exhibió una desviación relativamente estable pero alta (pobre) en todos los tamaños de contexto. La varianza entre pliegues para TabPFN fue significativamente mayor que para GLM o XGBoost, particularmente con tamaños de contexto más pequeños.
• Modelado de Severidad: Ambas versiones de TabPFN tuvieron un rendimiento inferior en comparación con GLM y XGBoost. GLM tuvo el mejor rendimiento en datos belgas, mientras que XGBoost destacó en datos franceses. Los modelos TabPFN exhibieron una mayor varianza en la desviación de Gamma entre pliegues.
• Costo Computacional: El tiempo de inferencia de TabPFN crece abruptamente con el tamaño del contexto. Incluso en tamaños de contexto pequeños, el costo de inferencia de TabPFN supera sustancialmente el tiempo combinado de entrenamiento e inferencia de GLM y XGBoost. En los límites de capacidad, la inferencia tarda varios minutos, lo que la hace inadecuada para entornos de tarificación en tiempo real de alto rendimiento. TabPFN-v3 mostró tiempos de inferencia más bajos que v2.6, pero sacrificó precisión en conjuntos de datos más pequeños.

Contribuciones Clave

1. Primera Evaluación Empírica: Este documento ofrece la evaluación comparativa inicial de TabPFN específicamente para la tarificación de seguros no vida, yendo más allá de las evaluaciones comparativas generales de regresión para abordar métricas específicas actuariales (desviación) y restricciones (latencia).
2. Sensibilidad al Tamaño del Contexto: El estudio destaca que el rendimiento de TabPFN es altamente sensible al tamaño del conjunto de datos de entrenamiento en contexto, con tamaños intermedios que potencialmente producen ajustes distribucionales poco fiables.
3. Verificación de la Realidad Operativa: El documento demuestra que, a pesar de la promesa de "sin entrenamiento" de los modelos fundacionales, el costo computacional del aprendizaje en contexto crea un cuello de botella para las aplicaciones de seguros en tiempo real, donde GLM y XGBoost siguen siendo superiores en eficiencia.

Significado y Afirmaciones
El documento concluye que, aunque los Modelos Fundacionales Tabulares representan una dirección prometedora, particularmente para entornos con escasez de datos, TabPFN no es actualmente un reemplazo viable para los métodos actuariales establecidos en la tarificación de seguros. El modelo no logra superar consistentemente a GLM o XGBoost, exhibe una mayor varianza en las predicciones y sufre de tiempos de inferencia prohibitivos para la implementación en tiempo real.

Los autores sugieren modestamente que los modelos fundacionales aún podrían encontrar utilidad en otras partes de la cadena de valor de los seguros, como la detección de fraudes (clasificación/detección de anomalías), la previsión de provisiones para siniestros o las proyecciones de mortalidad, pero su formulación actual no resuelve el problema central de la tarificación. Se propone trabajo futuro para investigar el ajuste fino de estos modelos con conocimiento actuarial y analizar su interpretabilidad en relación con los impulsores del riesgo.