INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models

Resumen Técnico: INS-ActBench

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado potencial en el razonamiento financiero, los bancos de pruebas existentes suelen evaluar el conocimiento de dominio, el razonamiento numérico, la comprensión de contexto largo y el uso de herramientas de forma aislada. Este enfoque fragmentado no logra evaluar los flujos de trabajo profesionales integrados requeridos en campos de alto riesgo como la ciencia actuarial, donde las decisiones deben estar fundamentadas en el contexto, ser computacionalmente reproducibles y numéricamente verificables. Los estudios actuariales actuales suelen limitarse a aplicaciones individuales, y los bancos de pruebas financieros no evalúan sistemáticamente la progresión desde el conocimiento de dominio hacia el razonamiento basado en casos y, finalmente, hacia la ejecución profesional verificable.

Metodología
Los autores presentan INS-ActBench, un banco de pruebas integral construido a partir de 12,050 pares de preguntas y respuestas derivados de materiales de exámenes públicos publicados por 16 asociaciones actuariales profesionales. El proceso de construcción involucró la selección sistemática de preguntas, la reestructuración de tareas, la estandarización de formatos y una verificación experta multietapa.

El banco de pruebas se estructura en torno a un marco de capacidad progresivo que comprende tres subconjuntos:

1. INS-Act-Know: Evalúa el conocimiento actuarial estandarizado (conceptos, principios, fórmulas) a través de seis subcategorías: Probabilidad y Estadística, Economía y Finanzas, Matemática Actuarial, Seguros de Vida, Seguros de No Vida y Modelado Actuarial. Las preguntas se estandarizan en formatos de opción múltiple de respuesta única.
2. INS-Act-Case: Evalúa el razonamiento de contexto largo sobre casos de negocio de seguros realistas. Utiliza antecedentes de la empresa, estados financieros e información operativa (hasta 175K tokens) para probar la localización de evidencia y el juicio bajo condiciones complejas. Las preguntas se convierten a formatos de opción múltiple de respuesta múltiple.
3. INS-Act-Practice: Evalúa la práctica orientada a herramientas donde los modelos deben traducir los requisitos actuariales en flujos de trabajo ejecutables. Esto incluye tareas de Hoja de Cálculo (SS) (generación de código Python para manipular archivos Excel) y tareas de Código R (R) (generación de código R para análisis estadístico). Ambas requieren salidas numéricamente verificables con una tolerancia de error relativo del 0.2%.

La evaluación cubrió nueve LLMs representativos (seis propietarios, tres de código abierto) y una línea base de cinco expertos actuarios humanos. Los expertos humanos utilizaron herramientas offline (Excel, R, libros de texto) sin asistencia de internet o de LLMs.

Resultos Clave
Los experimentos revelan un límite claro de capacidad entre el dominio del conocimiento estandarizado y la competencia en el trabajo profesional:

• Conocimiento vs. Ejecución: Los LLMs propietarios de frontera (ej. GPT-5.5, Gemini-3.1-Pro) tienen un desempeño sólido en INS-Act-Know, superando a menudo la línea base humana muestreada. Sin embargo, su desempeño disminuye sustancialmente en INS-Act-Case y INS-Act-Practice, donde los participantes humanos se mantienen más consistentes.
• Uso de Herramientas: En INS-Act-Practice, el análisis de errores indica que las fallas se concentran principalmente en "errores de modelado y cálculo" (problemas de conocimiento actuarial puro) y "errores de uso de funciones" (problemas mixtos de herramienta/conocimiento), más que en simples fallas de llamada a la herramienta. Los modelos pueden iniciar flujos de trabajo de herramientas, pero luchan por traducirlos en procedimientos actuariales correctos.
• Numérico vs. No Numérico: Los modelos de frontera maneccionan bien el razonamiento numérico basado en fórmulas cuando los pasos están bien definidos, pero los modelos más débiles muestran caídas significativas de precisión en preguntas numéricas en comparación con las no numéricas.
• Sensibilidad Jurisdiccional: El desempeño varía significamente entre diferentes asociaciones actuariales (SOA, IFoA, Otros). Los modelos funcionan mejor en conocimiento estandarizado, pero muestran mayor inconsistencia en el análisis de casos y tareas de práctica a través de diferentes contextos regulatorios, lo que sugiere una dependencia de distribuciones de entrenamiento específicas en lugar de un razonamiento regulatorio generalizado.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Primer Banco de Pruebas Actuarial a Gran Escala: INS-ActBench es el primer banco de pruebas que abarca conocimiento, razonamiento de casos y práctica basada en herramientas, abordando la brecha en la evaluación de flujos de trabajo profesionales integrados.
2. Pipeline de Construcción Sistemático: Los autores desarrollaron un pipeline para transformar materiales de examen brutos de 16 asociaciones en 12,050 instancias estandarizadas, asegurando la reproducibilidad y minimizando la contaminación de datos.
3. Evidencia Empírica de Brechas de Capacidad: El estudio proporciona evidencia reproducible de que, si bien los LLMs son cada vez más capaces en el cálculo actuarial estandarizado y la recuperación de conocimiento, la asistencia profesional confiable requiere una integración contextual más fuerte, ejecución basada en herramientas y consistencia a través de diversos entornos regulatorios.

Los autores posicionan a INS-ActBench como una base para desarrollar LLMs actuariales hacia una asistencia profesional confiable, enfatizando que el progreso futuro debe ir más allá del desempeño de conocimiento tipo examen hacia un soporte de decisiones confiable en flujos de trabajo de seguros del mundo real. El banco de pruebas está diseñado para identificar modos de falla en el razonamiento, el uso de herramientas y la interpretación sensible a la jurisdicción, en lugar de servir como base para decisiones financieras reales o calificación profesional.