Validating Large Language Model Extraction of Actuarial Variables from Unstructured Claims Documents

Resumen Técnico: Validación de la Extracción de Variables Actuariales de Documentos de Siniestros No Estructurados mediante Modelos de Lenguaje de Gran Escala (LLM)

Planteamiento del Problema
Las funciones actuariales, tales como la constitución de reservas, la tarificación y la gestión de siniestros, han dependido históricamente de datos numéricos estructurados. Sin embargo, el ciclo de vida de los siniestros genera una vasta cantidad de texto no estructurado (registros médicos, notas de ajustadores, transcripciones) que contiene información predictiva que permanece mayoritariamente sin explotar debido al alto costo, la inconsistencia y la falta de escalabilidad del procesamiento manual. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen una solución para manejar formatos variados y la disambiguación contextual sin necesidad de una ingeniería extensiva, la literatura carece de marcos de validación rigurosos para la extracción de variables actuariales estructuradas de estos documentos. Específicamente, no existe un estándar establecido sobre cómo validar dicha extracción ni qué umbrales de fiabilidad son apropiados para su despliegue en aplicaciones actuariales de alto riesgo.

Metodología
Los autores llevaron a cabo un estudio de validación formal de un pipeline de LLM de dos etapas diseñado para extraer 14 variables actuariales centrales (p. ej., severidad del siniestro, severidad de la lesión, riesgo de litigio) de siniestros de compensación laboral.

• Pipeline de Extracción:
  • Etapa 1 (Nivel de Documento): Procesa documentos individuales (registros médicos, notas, etc.) utilizando prompts personalizados. Los resultados incluyen una justificación obligatoria con citación de evidencia, un tipo de justificación (verbatim o derivada) y una puntuación de confianza [0, 1]. Esto impone un razonamiento de cadena de pensamiento (chain-of-thought) estructurado.
  • Etapa 2 (Síntesis a Nivel de Siniestro): Agrega las extracciones de la Etapa 1 utilizando una puntuación compuesta que pondera la autoridad del documento (p. ej., las notas de liquidación tienen un peso mayor que las transcripciones telefónicas), las puntuaciones de confianza, la decadencia temporal y la importancia específica de la variable. Los resultados están limitados a vocabularios controlados.
• Datos: La validación utilizó 20 siniestros sintéticos generados a partir de paquetes FHIR de Synthea. Estos paquetes proporcionaron características clínicas de verdad fundamental (ground-truth) conocidas, las cuales fueron aumentadas con tipos de documentos adicionales mediante la generación por LLM. Este enfoque aseguró datos compartibles y conformes con la privacidad con valores de verdad conocidos.
• Protocolo de Validación: Adaptado del marco QUEST (Tam et al.), dos revisores clínicos independientes (PharmDs) calificaron la salida del LLM en 20 siniestros a través de 10 dimensiones utilizando una escala Likert de 5 puntos. Las dimensiones cubrieron Calidad/Precisión, Seguridad/Ética y Comprensión/Razonamiento.
  • Los desacuerdos de dos o más puntos activaron la adjudicación de un tercer revisor.
  • Los siniestros con tres o más dimensiones divergentes fueron sometidos a una adjudicación completa por parte del tercer revisor, quien no conocía las puntuaciones primarias.
• Análisis: La fiabilidad inter-evaluador se midió mediante el kappa de Cohen ponderado cuadrático (κw) en 200 evaluaciones pareadas. El estudio también analizó las tasas de acuerdo exacto, las proporciones de divergencia y la asimetría de los evaluadores en los ítems adjudicados.

Contribuciones Clave

1. Arquitectura del Pipeline: Descripción de un pipeline de extracción de dos etapas con características de diseño (justificaciones obligatorias, puntuación de confianza, vocabularios controlados) destinadas a reducir el riesgo de alucinación y crear pistas de auditoría regulatoria.
2. Protocolo de Validación: Un marco de validación formal a nivel de dimensión adaptado para la extracción de variables actuariales, reportando la fiabilidad inter-evaluador a través de rúbricas y principios específicos.
3. Caracterización de la Asimetría del Evaluador: Identificación de una asimetría sistemática en la calificación entre revisores, una característica práctica del diseño de validación que suele pasarse por alto en la literatura actuarial.

Resultados

• Fiabilidad General: El kappa cuadrático ponderado general fue de 0.53, lo que indica un acuerdo moderado. El acuerdo exacto ocurrió en el 51.5% de los ítems, mientras que el 19.0% de los ítems divergieron por dos o más puntos.
• Variación Dimensional:
  • Acuerdo Fuerte: Las dimensiones relativas a la Relevancia (75% exacto) y la Adecuación (45% exacto) mostraron una fuerte alineación, aunque algunos valores de kappa fueron cero debido a la restricción de rango (los revisores calificaron consistentemente alto).
  • Acuerdo Débil: Las dimensiones que evalúan fallos (Información Faltante, Comprensión Contextual, Alucinación) mostraron la mayor divergencia. Información Faltante tuvo un kappa negativo (−0.08), indicando un acuerdo por debajo del azar, con un 40% de los ítems divergiendo por dos o más puntos. Alucinación tuvo el menor acuerdo exacto (20%) entre las dimensiones sustantivas.
• Asimetría del Evaluador: El Revisor 1 calificó consistentemente más bajo que el Revisor 2. En los ítems adjudicados, el Revisor 1 estuvo más alejado de la puntuación adjudicada (distancia absoluta media de 1.87 vs. 0.80) y calificó por debajo del valor adjudicado en 12 de 15 ítems, lo que sugiere un sesgo conservador sistemático en lugar de un error aleatorio.
• Puntuaciones de Confianza: Las puntuaciones de confianza auto-reportadas por el pipeline fueron uniformemente altas (rango intercuartílico 0.85–0.90) independientemente del tipo de variable, lo que limita su utilidad como mecanismo de triaje para distinguir extracciones inciertas.

Significancia y Reivindicaciones
El artículo concluye que las capacidades actuales de extracción de los LLM son suficientemente fiables para aplicaciones de triaje (p. ej., marcar siniestros para una revisión humana elevada) donde el costo de un error de marcado es bajo. Sin embargo, los autores afirman que la entrada directa en modelos de reservas o cálculos de desarrollo de pérdidas requiere una validación adicional debido al desempeño más débil en las dimensiones de omisión y alucinación.

El estudio enfatiza que la asimetría observada entre evaluadores implica que los ejercicios de calibración utilizando siniestros de anclaje con puntuaciones predefinidas deben preceder a la calificación de validación formal en estudios futuros. Además, el rango restringido de las puntuaciones de confianza sugiere la necesidad de una calibración post-hoc para crear umbrales de filtrado efectivos. Los autores posicionan este trabajo como un modelo replicable para la futura validación de LLM en el sector actuarial, aplicable a diversas líneas de negocio más allá de la compensación laboral.