Claim Automation using Large Language Model

Título: Automatización de Reclamaciones utilizando Modelos de Lenguaje Grande (LLM)

1. Planteamiento del Problema

La práctica actuarial tradicional ha dependido casi exclusivamente de datos estructurados, ignorando la riqueza semántica y causal contenida en textos narrativos no estructurados (como descripciones de reclamaciones y diagnósticos médicos).

• Limitaciones de los enfoques anteriores: Los métodos tradicionales de Procesamiento de Lenguaje Natural (NLP) convertían el texto en características numéricas ingenierizadas ("text-to-feature"), lo que perdía matices contextuales y dependencias semánticas.
• Desafíos de los LLMs generales: Aunque los Modelos de Lenguaje Grande (LLM) de propósito general ofrecen razonamiento contextual, su despliegue mediante APIs comerciales presenta riesgos críticos para el sector asegurador: falta de alineación con el dominio específico, opacidad en la inferencia, alucinaciones y problemas de gobernanza y privacidad de datos.
• Necesidad: Se requiere un sistema que pueda operar localmente, sea transparente, auditable y capaz de generar recomendaciones de acciones correctivas estructuradas a partir de narrativas de reclamaciones de garantía no estructuradas.

2. Metodología

Los autores proponen un marco de automatización de reclamaciones con despliegue local y adaptado al dominio, utilizando el modelo DeepSeek-R1-Distill-Llama-8B.

• Arquitectura y Despliegue:

  • Despliegue Local: El modelo se ejecuta on-premises para garantizar que los datos sensibles permanezcan dentro del perímetro de la organización, cumpliendo con estrictas normas de gobernanza.
  • Tarea Intermedia Modular: En lugar de un modelo de extremo a extremo para predicciones financieras, el LLM se asigna a una tarea intermedia específica: generar un resumen estructurado de "acción correctiva" basado en narrativas de "Queja" y "Causa". Esto aísla la comprensión lingüística de la modelación financiera posterior.

• Adaptación del Dominio (Fine-Tuning):

  • Se utiliza Low-Rank Adaptation (LoRA) para ajustar el modelo preentrenado con aproximadamente 2 millones de reclamaciones de garantía históricas de PCMI Corporation.
  • Se aplican adaptadores LoRA a las proyecciones de atención (query, value) y capas feedforward, optimizando solo los parámetros de baja dimensión mientras se mantienen congelados los pesos base.
  • Entrenamiento: Se emplea un objetivo de generación de lenguaje condicional enmascarado, donde la pérdida se calcula únicamente sobre los tokens de respuesta (acción correctiva), no sobre la instrucción.

• Estrategia de Evaluación Multidimensional:

  • Se evalúa el sistema bajo dos dimensiones: Usabilidad (cumplimiento de formato y validez de la respuesta) y Precisión (alineación semántica con la referencia humana).
  • Se comparan cuatro variantes: Modelo base sin ajuste, Modelo con prompting, Modelo instruido (Qwen) y el modelo propuesto con fine-tuning específico.
  • Se utilizan métricas automatizadas (similitud de edición, BLEU, BERTScore, BLEURT, LLM-as-a-Judge) validadas contra una evaluación humana de referencia ("gold standard").

3. Contribuciones Clave

1. Marco de Gobernanza Actuarial: Propone un enfoque de "tarea intermedia modular" que integra LLMs en flujos de trabajo aseguradores sin comprometer la transparencia ni el control, separando la interpretación lingüística de la modelación financiera.
2. Evidencia Empírica de Alineación de Distribuciones: Demuestra que el fine-tuning específico del dominio no solo mejora la precisión, sino que reconfigura fundamentalmente la distribución de salida del modelo para alinearse con los procesos operativos reales y las lógicas de negocio, superando a los modelos de propósito general.
3. Evaluación Rigurosa: Desarrolla un marco de evaluación que combina métricas automáticas con juicio humano, demostrando que las métricas basadas en representaciones semánticas contextuales (como BERT Cosine Similarity) correlacionan mejor con la evaluación humana que las métricas superficiales.
4. Despliegue Práctico y Privado: Valida la viabilidad de usar modelos de código abierto ajustados localmente para manejar datos sensibles de la industria aseguradora, evitando los riesgos de las APIs externas.

4. Resultados

Los experimentos se realizaron sobre un conjunto de datos de prueba de 200 casos verificados por humanos y un conjunto de evaluación más amplio.

• Usabilidad (Cumplimiento de Formato):

  • El modelo base (M1) y el modelo con solo prompting (M2) tuvieron tasas de cumplimiento de formato extremadamente bajas (0% y 6.5% respectivamente), generando salidas no parsables.
  • El modelo instruido (M3) mejoró significativamente (86.5%), pero aún fallaba ocasionalmente.
  • El modelo ajustado (M4) logró un 100% de cumplimiento de formato y validez, demostrando que el fine-tuning es esencial para la automatización estructurada.

• Precisión (Alineación Semántica):

  • En el subconjunto de alta calidad (HQ), los modelos no ajustados oscilaron entre un 56% y un 71% de precisión.
  • El modelo ajustado (M4) alcanzó un 92.0% de precisión, superando significativamente a los modelos de propósito general y a los modelos instruccionales.
  • El análisis de distribución mostró que el modelo ajustado desplaza su distribución de similitud semántica hacia la derecha, alineándose estrechamente con las acciones correctivas reales.

• Análisis de Errores: Los errores restantes en el modelo ajustado no mostraron colapsos estructurales, sino variaciones de granularidad o ruido en los datos de origen, sugiriendo que el modelo es estable y robusto.

5. Significado e Impacto

Este estudio proporciona evidencia teórica y empírica de que la adaptación de dominio mediante fine-tuning es indispensable para aplicaciones de IA en sectores regulados como el seguro.

• Superación de la Ingeniería de Características: Permite pasar de la compresión de texto a características numéricas a un razonamiento directo de texto a texto, capturando matices operativos que los métodos tradicionales pierden.
• Viabilidad Operativa: Demuestra que los LLMs pueden integrarse de manera segura y gobernada en flujos de trabajo críticos, actuando como un bloque de construcción confiable para la toma de decisiones acelerada por ajustadores de reclamaciones.
• Futuro: El marco sienta las bases para sistemas más complejos que incluyan estimación de mano de obra y piezas mediante generación aumentada por recuperación (RAG) y reservas actuariales basadas en redes neuronales, manteniendo la interpretabilidad y el cumplimiento normativo.

En resumen, el trabajo valida que un modelo de lenguaje ajustado localmente con datos específicos del dominio es superior a las soluciones comerciales de "caja negra" para la automatización de reclamaciones de seguros, ofreciendo un equilibrio óptimo entre rendimiento, control y gobernanza.