Agentic AI and Retrieval-Augmented Models in Straight-Through Underwriting

Resumo Técnico: IA Agêntica e Modelos de Recuperação Aumentada na Subscrição Direta (Straight-Through Underwriting)

Definição do Problema
O artigo aborda o desafio de automatizar a subscrição direta (STU - straight-through underwriting) para apólices de proprietário de pequenas empresas (BOPs) comerciais. A automação tradicional baseada em regras carece de flexibilidade ao processar dados não estruturados (ex: narrativas de negócios, notas de subscrição), enquanto modelos de linguagem de grande escala (LLMs) isolados sofrem com alucinações, falta de fundamentação factual e incapacidade de lidar com raciocínio de múltiplas etapas ou informações ausentes de forma confiável. O problema central é projetar um sistema que possa interpretar fontes de dados heterogêneas, aplicar regras complexas de guias de subscrição e determinar quando uma decisão deve ser tomada automaticamente versus quando deve ser encaminhada para revisão humana, mantendo toda a transparência e auditabilidade exigidas pela prática atuarial.

Metodologia
Os autores propõem e avaliam um framework de IA agêntica que integra a Geração Aumentada por Recuperação (RAG) com orquestração de múltiplos agentes. O estudo utiliza um ambiente experimental sintético, porém realista, para garantir a reprodutibilidade e a privacidade, uma vez que dados reais de subscrição comercial não podem ser compartilhados.

1. Construção do Conjunto de Dados:

   • Um guia de subscrição sintético de 143 páginas foi gerado, cobrindo 127 tipos de negócios com critérios de elegibilidade, exclusões e limites específicos.
   • Foram criadas 635 solicitações em cinco categorias de cenários: (1) Em conformidade, (2) Violação de etapa única, (3) Raciocínio de múltiplas etapas (exige fatos derivados), (4) Informação ausente (recuperável via dados de terceiros) e (5) Informação ausente (irrecuperável, exigindo encaminhamento humano).
   • As justificativas da verdade fundamental (ground-truth) foram validadas manualmente para garantir consistência lógica.

2. Pipelines Experimentais:
   Três pipelines de subscrição distintos foram implementados e comparados usando Python, LangChain e LangGraph, avaliados em dois modelos de base (gpt-4o-mini e gpt-5.2):

   • Baseline de LLM Único: Um modelo de passagem única tomando decisões baseadas em texto estático da solicitação e um contexto fixo do guia.
   • RAG Ingênuo (Naive RAG): Um sistema padrão de geração aumentada por recuperação que recupera passagens relevantes do guia com base na solicitação, mas carece de orquestração de fluxo de trabalho explícita.
   • RAG Agêntico (Proposto): Um sistema de múltiplos agentes orquestrado via um fluxo de trabalho de estado (LangGraph) composto por três agentes especializados:
     • Agente 1 (Roteamento): Realiza verificações iniciais de apetite e roteia casos claros de aceitação/rejeição ou casos incertos.
     • Agente 2 (Esclarecimento): Diagnostica informações ausentes, acionando a recuperação direcionada do guia ou de fontes simuladas de dados de terceiros.
     • Agente 3 (Reflexão): Valida a lógica de múltiplas etapas (ex: calcular metragem quadrada derivada ou participação de receita) e sintetiza uma justificativa estruturada antes da decisão final.

Principais Contribuições

• Design de Framework: O artigo define uma arquitetura "agêntica" prática para fluxos de trabalho atuariais que vai além de simples ciclos de prompt-resposta para incluir planejamento, uso de ferramentas (recuperação, busca de dados) e reflexão.
• Benchmark Sintético: A criação de um conjunto de dados BOP sintético controlado, especificamente projetado para testar o raciocínio de múltiplas etapas e o tratamento de informações ausentes, preenchendo uma lacuna nos benchmarks públicos disponíveis para automação de seguros.
• Comparação Empírica: Uma comparação rigorosa demonstrando que, embora o RAG melhore a fundamentação factual, ele é insuficiente para tarefas de raciocínio complexo sem a orquestração estrutural fornecida por um fluxo de trabalho agêntico.

Resultos Experimentais
O estudo avaliou os pipelines com base na precisão da decisão, desempenho por cenário, similaridade da justificativa (similaridade de cosseno com razões validadas por humanos) e latência.

• Precisão Geral: O pipeline de RAG Agêntico alcançou a maior precisão de decisão geral (86,5% com gpt-5.2), superando o baseline de LLM Único (77,6%) e o RAG Ingênuo (76,9%).
• Desempenho por Cenário:
  • Raciocínio de Múltiplas Etapas: O sistema agêntico mostrou ganhos significativos (78,0%) em comparação ao baseline (70,1%) e ao RAG Ingênuo (66,1%), indicando que fluxos de trabalho estruturados são necessários para derivar fatos de textos não estruturados.
  • Informação Ausente (Irrecuperável): O sistema agêntico identificou corretamente a necessidade de encaminhamento humano em 84,3% dos casos onde a informação decisiva estava ausente, enquanto os sistemas de LLM Único e RAG Ingênuo frequentemente forçaram decisões incorretas de aceitação/rejeição (precisão de 56,7% e 53,5%, respectivamente).
  • Qualidade da Justificativa: O pipeline de RAG Agêntico produziu explicações com a maior similaridade semântica com as justificativas validadas por humanos (0,779 de similaridade de cosseno), sugerindo que a etapa de reflexão melhora a qualidade da justificativa da decisão.
• Compromissos (Trade-offs): O pipeline agêntico incorreu em maior latência (4,72 segundos por solicitação) em comparação ao LLM Único (1,64s) e ao RAG Ingênuo (2,14s), refletindo o custo das etapas adicionais de recuperação e reflexão.

Significado e Alegações
O artigo afirma que o principal valor da IA agêntica na subscrição não reside em substituir o julgamento humano, mas em estruturar o processo de decisão para lidar com a complexidade e a incerteza. Os autores asseveram que:

1. A recuperação sozinha é insuficiente: Simplesmente fornecer contexto (RAG) não garante que o modelo consiga identificar quais fatos são decisivos ou como combiná-los.
2. O escalonamento explícito é crítico: Arquiteturas agênticas são mais valiosas quando podem reconhecer os limites das evidências disponíveis e rotear casos para revisão humana, reduzindo assim o risco de decisões diretas sem suporte.
3. Governança e Auditabilidade: Ao dividir o processo em etapas distintas (roteamento, esclarecimento, reflexão), o sistema cria um rastro de auditoria transparente que se alinha aos padrões atuariais de transparência e responsabilidade.

Os autores mantêm-se modestos quanto ao escopo de seus achados, observando que os resultados baseiam-se em dados sintéticos e regras estilizadas. Eles posicionam o trabalho como uma prova de conceito para um fluxo de trabalho consciente da governança, em vez de um framework de conformidade pronto para produção, enfatizando que o sistema é projetado para apoiar e triar o trabalho, não para suplantar a expertise atuarial.