Claim Automation using Large Language Model

Título: Automação de Sinistros (Claims) usando Grandes Modelos de Linguagem (LLMs)

1. Problema e Motivação

A prática atuarial tradicional depende quase exclusivamente de dados estruturados, ignorando a riqueza de informações contidas em textos narrativos não estruturados (como descrições de sinistros e diagnósticos médicos), onde reside a "verdade fundamental" do risco.

• Limitações das Abordagens Anteriores:
  • Paradigma Texto-para-Recursos (Text-to-Feature): Métodos tradicionais de NLP comprimem texto em características numéricas manuais ou embeddings, perdendo nuances contextuais e raciocínio causal.
  • Paradigma LLM de Propósito Geral: O uso de LLMs comerciais via API (como GPT-4) enfrenta desafios de alinhamento de domínio, falta de transparência, risco de alucinações e, crucialmente, problemas de governança e privacidade de dados em setores regulados como o seguro.
• Objetivo: Desenvolver um sistema de automação de sinistros que seja localmente implantado, governável e capaz de gerar recomendações de ações corretivas estruturadas a partir de narrativas não estruturadas, superando as limitações de compressão de dados e de governança.

2. Metodologia

Os autores propõem um framework de automação baseado em quatro princípios de design e uma implementação técnica específica:

• Arquitetura e Implantação:

  • Modelo Base: Utilização do DeepSeek-R1-Distill-Llama-8B, um modelo de raciocínio derivado da família LLaMA.
  • Implantação Local: O modelo é hospedado on-premises (localmente) para garantir privacidade total dos dados sensíveis e reprodutibilidade, atendendo a rigorosos padrões de governança de risco de modelos.
  • Tarefa Intermediária: Em vez de prever resultados financeiros diretamente (caixa preta), o modelo atua como um módulo intermediário: gera um resumo estruturado de ações corretivas baseado em narrativas de reclamação e causa.

• Adaptação de Domínio (Fine-Tuning):

  • Técnica: Uso de LoRA (Low-Rank Adaptation) para ajustar o modelo pré-treinado. Apenas matrizes de baixo rank (A e B) são treinadas, mantendo os pesos base congelados.
  • Dados: Fine-tuning realizado em um corpus proprietário de 2 milhões de sinistros de garantia automotiva da PCMI Corporation.
  • Pré-processamento: Pipeline determinístico para limpar ruídos industriais (abreviações, erros de digitação, duplicatas) e padronizar as narrativas em tuplas (Reclamação – Causa – Correção).
  • Treinamento: Otimização da verossimilhança negativa mascarada, focando apenas na geração da ação corretiva (segmento de resposta), ignorando tokens de instrução.

• Estratégia de Avaliação Multidimensional:

  • Métricas Automatizadas: Incluem similaridade de superfície (distância de edição, BLEU), similaridade lexical-semântica (BERT cosine, BERTScore) e avaliadores baseados em modelos (BLEURT, LLM-as-a-Judge).
  • Avaliação Humana: Considerada o "padrão-ouro", utilizando uma rubrica ordinal (0.0 a 1.0) para avaliar o alinhamento semântico e a utilidade prática da ação corretiva gerada.
  • Métricas de Governança: Avaliação separada de Usabilidade (conformidade de formato e validade da resposta) e Precisão (alinhamento semântico com a referência).

3. Contribuições Chave

1. Framework de Governança Consciente: Propõe uma arquitetura local e auditável que integra LLMs em fluxos de trabalho de seguros regulados, resolvendo problemas de privacidade e transparência.
2. Evidência Empírica de Alinhamento de Domínio: Demonstra que o fine-tuning específico de domínio não apenas melhora a precisão, mas realinha fundamentalmente a distribuição de saída do modelo com os processos operacionais reais, superando modelos de propósito geral e prompting simples.
3. Metodologia de Avaliação Rigorosa: Desenvolve um framework de avaliação que combina métricas automatizadas escaláveis com julgamento humano, decompondo o desempenho em usabilidade estrutural e precisão semântica.
4. Paradigma Modular: Defende o uso de LLMs como módulos intermediários de compreensão linguística dentro de pipelines atuariais, em vez de motores de decisão financeira de ponta a ponta.

4. Resultados

O estudo comparou quatro configurações de modelos (M1 a M4) em um conjunto de teste de 200 casos verificados por humanos:

• Usabilidade (Conformidade de Formato e Validade):

  • M1 (Base sem ajuste): 0% de conformidade de formato; 8% de validade. O modelo gera texto livre e não estruturado.
  • M2 (Base + Prompting): 6,5% de conformidade; 29,5% de validade. O prompting ajuda, mas não garante estrutura.
  • M3 (Modelo Instruído Qwen + Prompting): 86,5% de conformidade; 97,5% de validade. Melhora significativa, mas ainda falha ocasionalmente.
  • M4 (DeepSeek-R1 + Fine-tuning LoRA): 100% de conformidade de formato e 100% de validade. O modelo gera estritamente o esquema definido.

• Precisão (Alinhamento Semântico):

  • Nos modelos não ajustados (M1-M3), a precisão em subconjuntos válidos variou entre 56% e 64%.
  • O modelo ajustado (M4) atingiu 81,5% de precisão no conjunto total e 92,0% no subconjunto de alta qualidade (HQ).
  • Análise de Distribuição: O modelo ajustado mostrou um deslocamento sistemático para a direita na distribuição de similaridade semântica (BERT Cosine), indicando que ele internalizou as lógicas operacionais específicas do setor, enquanto os modelos genéricos permanecem alinhados a distribuições de dados da internet mais ruidosas.

5. Significado e Conclusão

O artigo prova que, para aplicações em seguros e atuária, a simples dependência de LLMs de propósito geral via API ou o uso de prompt engineering é insuficiente para tarefas críticas que exigem precisão estrutural e governança de dados.

• Conclusão Principal: O fine-tuning adaptativo de domínio é essencial para alinhar a distribuição de saída do modelo com dados operacionais reais, transformando o LLM em uma ferramenta confiável e governável.
• Impacto Futuro: O trabalho estabelece as bases para a integração segura de IA generativa em fluxos de trabalho de seguros, permitindo automação acelerada de decisões de ajustadores, com planos futuros para expandir o sistema para estimativas de mão de obra e peças (via RAG) e reservas atuariais.

Em suma, o estudo oferece evidências teóricas e empíricas de que a adaptação de domínio via fine-tuning local é o caminho viável para desbloquear o potencial dos LLMs em ambientes regulados e sensíveis a dados.