INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models

Resumo Técnico: INS-ActBench

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado potencial no raciocínio financeiro, os benchmarks existentes tipicamente avaliam conhecimento de domínio, raciocínio numérico, compreensão de contexto longo e uso de ferramentas de forma isolada. Essa abordagem fragmentada falha em avaliar os fluxos de trabalho profissionais integrados exigidos em campos de alto risco como a ciência atuarial, onde as decisões devem ser fundamentadas no contexto, computacionalmente reproduzíveis e numericamente verificáveis. Os estudos atuariais atuais são frequentemente limitados a aplicações individuais, e os benchmarks financeiros não avaliam sistematicamente a progressão do conhecimento de domínio para o raciocínio baseado em casos e, finalmente, para a execução profissional verificável.

Metodologia
Os autores introduzem o INS-ActBench, um benchmark abrangente construído a partir de 12.050 pares de perguntas e respostas derivados de materiais de exames públicos divulgados por 16 associações atuariais profissionais. O pipeline de construção envolveu seleção sistemática de questões, reestruturação de tarefas, padronização de formato e verificação de especialistas em múltiplas etapas.

O benchmark é estruturado em torno de um framework de capacidade progressiva composto por três subconjuntos:

1. INS-Act-Know: Avalia o conhecimento atuarial padronizado (conceitos, princípios, fórmulas) através de seis subcategorias: Probabilidade e Estatística, Economia e Finanças, Matemática Atuarial, Seguro de Vida, Seguro de Não-Vida e Modelagem Atuarial. As questões são padronizadas em formatos de múltipla escolha de resposta única.
2. INS-Act-Case: Avalia o raciocínio de contexto longo sobre casos de negócios de seguros realistas. Utiliza históricos de empresas, demonstrações financeiras e informações operacionais (até 175K tokens) para testar a localização de evidências e o julgamento sob condições complexas. As questões são convertidas para formatos de múltipla escolha de múltiplas respostas.
3. INS-Act-Practice: Avalia a prática orientada a ferramentas, onde os modelos devem traduzir requisitos atuariais em fluxos de trabalho executáveis. Isso inclui tarefas de Planilha (SS) (geração de código Python para manipular arquivos Excel) e tarefas de código R (R) (geração de código R para análise estatística). Ambas exigem saídas numericamente verificáveis com uma tolerância de erro relativo de 0,2%.

A avaliação cobriu nove LLMs representativos (seis proprietários, três de código aberto) e uma linha de base de cinco especialistas atuariais humanos. Os especialistas humanos utilizaram ferramentas offline (Excel, R, livros didáticos) sem acesso à internet ou assistência de LLM.

Resultos Principais
Experimentos revelam uma clara fronteira de capacidade entre o domínio do conhecimento padronizado e a competência no trabalho profissional:

• Conhecimento vs. Execução: LLMs proprietários de fronteira (ex: GPT-5.5, Gemini-3.1-Pro) apresentam desempenho forte em INS-Act-Know, frequentemente excedendo a linha de base humana amostrada. No entanto, seu desempenho declina substancialmente em INS-Act-Case e INS-Act-Practice, onde os participantes humanos permanecem mais consistentes.
• Uso de Ferramentas: Em INS-Act-Practice, a análise de erros indica que as falhas estão concentradas principalmente em "erros de modelagem e cálculo" (questões puras de conhecimento atuarial) e "erros de uso de função" (questões mistas de ferramenta/conhecimento), em vez de simples falhas de chamada de ferramenta. Os modelos podem frequentemente iniciar fluxos de trabalho de ferramentas, mas lutam para traduzi-los em procedimentos atuariais corretos.
• Numérico vs. Não-Numérico: Modelos de fronteira lidam bem com o raciocínio numérico baseado em fórmulas quando os passos estão bem definidos, mas modelos mais fracos mostram quedas significativas de precisão em questões numéricas em comparação com as não numéricas.
• Sensibilidade Jurisdicional: O desempenho varia significamente entre diferentes associações atuariais (SOA, IFoA, Outras). Os modelos performam melhor em conhecimento padronizado, mas mostram maior inconsistência em análises de caso e tarefas práticas através de diferentes contextos regulatórios, sugerindo uma dependência de distribuições de treinamento específicas em vez de um raciocínio regulatório generalizado.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Primeiro Benchmark Atuarial de Larga Escala: O INS-ActBench é o primeiro benchmark que abrange conhecimento, raciocínio de caso e prática baseada em ferramentas, abordando a lacuna na avaliação de fluxos de trabalho profissionais integrados.
2. Pipeline de Construção Sistemática: Os autores desenvolveram um pipeline para transformar materiais brutos de exames de 16 associações em 12.050 instâncias padronizadas, garantindo reprodutibilidade e minimizando a contaminação de dados.
3. Evidência Empírica de Lacunas de Capacidade: O estudo fornece evidências reproduzíveis de que, embora os LLMs sejam cada vez mais capazes de cálculo atuarial padronizado e recuperação de conhecimento, a assistência profissional confiável requer uma integração contextual mais forte, execução baseada em ferramentas e consistência através de diversos contextos regulatórios.

Os autores posicionam o INS-ActBench como uma fundação para o desenvolvimento de LLMs atuariais voltados para o suporte profissional confiável, enfatizando que o progresso futuro deve ir além do desempenho de conhecimento estilo exame em direção ao suporte à decisão confiável em fluxos de trabalho de seguros do mundo real. O benchmark é projetado para identificar modos de falha em raciocínio, uso de ferramentas e interpretação sensível à jurisdição, em vez de servir como base para decisões financeiras reais ou qualificação profissional.