ActuBench: A Multi-Agent LLM Pipeline for Generation and Evaluation of Actuarial Reasoning Tasks

Resumo Técnico: ActuBench

1. O Problema

A ciência atuarial é um domínio altamente técnico que exige raciocínio matemático preciso, familiaridade com teorias financeiras e de seguros, e sensibilidade a quadros regulatórios complexos. Atualmente, não existe um benchmark (conjunto de testes) em inglês alinhado ao Syllabus de Educação da International Actuarial Association (IAA) para avaliar a capacidade de Modelos de Linguagem Grandes (LLMs) nessas tarefas.
Os desafios existentes incluem:

• Custo de Criação: A elaboração de questões de avaliação avançadas por especialistas humanos é lenta e cara.
• Limitações de Benchmarks Atuais: Estudos anteriores focam em subdomínios quantitativos estreitos, usam apenas dados em chinês ou não oferecem verificação independente.
• Risco de Contaminação: Benchmarks estáticos tornam-se obsoletos rapidamente à medida que os modelos são treinados com seus dados.

O objetivo do ActuBench é preencher essa lacuna criando um pipeline automatizado para gerar e avaliar itens de avaliação atuarial de alto nível, permitindo uma medição reprodutível e escalável das capacidades dos LLMs.

2. Metodologia

O ActuBench utiliza um pipeline multi-agente baseado em LLMs, projetado para separar as funções de geração, construção de distratores e verificação independente. O processo segue um fluxo linear com etapas de reparo limitadas:

• Arquitetura Multi-Agente (4 Papéis):

  1. Agente A (Gerador): Responsável por extrair palavras-chave, buscar informações na Wikipedia e rascunhar o item (pergunta e resposta correta). Geralmente usa modelos de "raciocínio" (ex: claude-sonnet-4-6:thinking).
  2. Agente B (Distratores): Especializado em criar três opções incorretas (distratores) plausíveis, baseadas em equívocos comuns. Usa modelos não focados em raciocínio profundo.
  3. Agente C (Verificador Independente): O diferencial metodológico principal. Este agente não gera conteúdo; ele verifica independentemente o item e os distratores. Se falhar, dispara um loop de reparo de "um tiro" (one-shot) para o Agente A ou B. O uso de um modelo diferente para verificação evita "pontos cegos" compartilhados.
  4. Agente Auxiliar: Um modelo de baixo custo e alta velocidade que resume notas da Wikipedia e atribui etiquetas de setor (ex: Vida, Não-Vida, Risco Empresarial).

• Protocolo de Avaliação Dupla:
  Os modelos são testados em dois modos complementares sobre 100 itens cada (totalizando 200 itens, gerados a partir de objetivos de aprendizado da IAA):

  1. Modo MCQ (Múltipla Escolha): O modelo escolhe entre 4 opções. O item é randomizado para evitar viés de posição.
  2. Modo Judge (LLM como Juiz): O modelo responde em texto livre. Um LLM "juiz" avalia a resposta baseada na resposta correta conhecida, sem re-solver o problema, focando na correspondência da resposta extraída.

• Seleção de Itens:
  Os benchmarks utilizam uma estratégia de "100 mais difíceis empiricamente". Após uma geração inicial, apenas os itens onde a precisão coletiva dos modelos foi mais baixa são mantidos, garantindo que o teste permaneça discriminativo na fronteira do estado da arte.

3. Principais Contribuições

1. Pipeline de Geração com Verificador Independente: Uma arquitetura onde a verificação é separada da geração, utilizando um agente dedicado (Agente C) que detecta a maioria dos erros na primeira tentativa, permitindo reparos automatizados.
2. Protocolo de Avaliação Dual: A comparação entre o modo MCQ (reconhecimento + eliminação) e o modo Judge (derivação do zero), demonstrando que eles produzem rankings significativamente diferentes.
3. Interface Web Pública e Interativa: Todos os 200 itens, respostas de 50 modelos e dados de custo estão disponíveis em uma interface web navegável (https://actubench.de/en/), eliminando a necessidade de checkout de repositórios para inspeção.
4. Avaliação Empírica em Larga Escala: Teste de 50 modelos de 8 provedores diferentes (Anthropic, OpenAI, Google, xAI, DeepSeek, Mistral, Cohere e modelos de pesos abertos como Gemma e Llama), incluindo variantes de "raciocínio" e "padrão".
5. Descoberta de Eficiência de Custo: Evidência de que modelos de pesos abertos hospedados localmente ou em endpoints otimizados atingem a fronteira de custo-desempenho, competindo com modelos proprietários caros.

4. Resultados Chave

• Verificação é Essencial: O Agente C (verificador) sinalizou a maioria dos itens rascunhados no primeiro passe (mais de 60% no nível do item). A maioria desses erros foi resolvida em um único ciclo de reparo, validando a eficácia do pipeline multi-agente.
• Fronteira de Custo-Desempenho (Pareto):
  • Modelos de pesos abertos hospedados (ex: GPT-OSS-120B no Cerebras e Gemma 4 rodando localmente via Ollama) dominam a região de custo quase zero.
  • O modelo 120B do Cerebras atingiu 97% de precisão no benchmark MCQ com custo marginal próximo de zero, ficando a apenas um item do topo da liderança.
  • O Gemma 4 local atingiu 85% de precisão com custo zero.
• Divergência entre MCQ e Judge:
  • O modo MCQ infla o teto de desempenho. No topo, modelos atingem ~98% no MCQ, mas caem para ~87% no modo Judge.
  • O modo MCQ permite que modelos "adivinhem" ou eliminem opções, enquanto o modo Judge exige derivação real.
  • Modelos menores podem performar melhor no modo Judge do que no MCQ devido à tolerância numérica do juiz, enquanto o MCQ expõe falhas de eliminação.
• Modos de Raciocínio: A ativação de modos de "raciocínio" (thinking) trouxe ganhos modestos em média (+3,5 pontos percentuais) para o custo, exceto em casos específicos (ex: Claude Opus saltou de 85% para 98%). No entanto, os modelos de topo absoluto no benchmark MCQ são majoritariamente variantes de raciocínio.

5. Significado e Implicações

• Para a Comunidade Atuarial: O ActuBench fornece a primeira ferramenta padronizada em inglês para avaliar LLMs contra o currículo da IAA, permitindo que profissionais e reguladores entendam as capacidades reais da IA em tarefas complexas de seguros e finanças.
• Para a Pesquisa de LLMs: O estudo demonstra que a separação estrita de papéis (gerador vs. verificador) é crucial para a qualidade de dados sintéticos. Além disso, desafia a suposição de que apenas modelos proprietários massivos e caros são viáveis para tarefas especializadas de alto nível.
• Implantação Prática: Para tarefas estruturadas (como múltipla escolha), modelos menores e locais são suficientes e economicamente superiores. Para raciocínio aberto e derivação complexa, modelos de fronteira (especialmente com modos de raciocínio) ainda são necessários, sugerindo arquiteturas híbridas para aplicações reais.

Em suma, o ActuBench estabelece um novo padrão para a avaliação de IA em domínios técnicos rigorosos, combinando geração automatizada robusta com verificação independente e uma análise detalhada do trade-off entre custo e capacidade de raciocínio.