Validating Large Language Model Extraction of Actuarial Variables from Unstructured Claims Documents

Resumo Técnico: Validação da Extração de Variáveis Atuariais de Documentos de Sinistros Não Estruturados por Grandes Modelos de Linguagem

Definição do Problema
As funções atuariais, como provisões (reserving), precificação (ratemaking) e gestão de sinistros, historicamente dependeram de dados numéricos estruturados. No entanto, o ciclo de vida dos sinistros gera uma vasta quantidade de textos não estruturados (registros médicos, notas de peritos, transcrições) contendo informações preditivas que permanecem amplamente subutilizadas devido ao alto custo, inconsistência e falta de escalabilidade do processamento manual. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução para lidar com formatos variados e desambiguação contextual sem a necessidade de engenharia extensiva, a literatura carece de frameworks de validação rigorosos para a extração de variáveis atuariais estruturadas desses documentos. Especificamente, não há um padrão estabelecido sobre como validar tal extração ou quais limiares de confiabilidade são apropriados para implantação em aplicações atuariais de alto risco.

Metodologia
Os autores conduziram um estudo de validação formal de um pipeline de LLM de dois estágios projetado para extrair 14 variáveis atuariais principais (ex: severidade do sinistro, severidade da lesão, risco de litígio) de sinistros de acidentes de trabalho.

• Pipeline de Extração:
  • Estágio 1 (Nível do Documento): Processa documentos individuais (registros médicos, notas, etc.) utilizando prompts personalizados. Os outputs incluem uma justificativa obrigatória com citação de evidências, um tipo de justificativa (verbatim ou derivada) e um score de confiança [0, 1]. Isso impõe o raciocínio de cadeia de pensamento (chain-of-thought) estruturado.
  • Estágio 2 (Síntese de Nível de Sinistro): Agrega as extrações do Estágio 1 usando pontuação composta que pondera a autoridade do documento (ex: notas de acordo têm peso maior que transcrições de chamadas telefônicas), scores de confiança, decaimento temporal e importância específica da variável. Os outputs são restritos a vocabulários controlados.
• Dados: A validação utilizou 20 sinistros sintéticos gerados a partir de bundles FHIR do Synthea. Esses bundles forneceram características clínicas de verdade fundamental (ground-truth) conhecidas, as quais foram aumentadas com tipos adicionais de documentos via geração por LLM. Essa abordagem garantiu dados compartilháveis e em conformidade com a privacidade, com valores de verdade conhecidos.
• Protocolo de Validação: Adaptado do framework QUEST (Tam et al.), dois revisores clínicos independentes (PharmDs) pontuaram o output do LLM em 20 sinistros em 10 dimensões usando uma escala Likert de 5 pontos. As dimensões cobriram Qualidade/Precisão, Segurança/Ética e Compreensão/Raciocínio.
  • Discrepâncias de dois ou mais pontos disparavam uma adjudicação por um terceiro revisor.
  • Sinistros com três ou mais dimensões divergentes passaram por adjudicação completa pelo terceiro revisor, que estava cego aos scores primários.
• Análise: A confiabilidade inter-avaliador foi medida usando o kappa de Cohen quadrático ponderado (κw) em 200 avaliações pareadas. O estudo também analisou taxas de concordância exata, proporções de divergência e assimetria de avaliadores em itens adjudicados.

Principais Contribuições

1. Arquitetura do Pipeline: Descrição de um pipeline de extração de dois estágios com recursos de design (justificativas obrigatórias, pontuação de confiança, vocabulários controlados) destinados a reduzir o risco de alucinação e criar trilhas de auditoria regulatória.
2. Protocolo de Validação: Um framework de validação formal, em nível de dimensão, adaptado para a extração de variáveis atuariais, reportando a confiabilidade inter-avaliador através de rubricas e princípios específicos.
3. Caracterização da Assimetria de Avaliadores: Identificação de uma assimetria sistemática de pontuação entre os revisores, uma característica prática de design de validação frequentemente negligenciada na literatura atuarial.

Resultos

• Confiabilidade Geral: O kappa quadrático ponderado geral foi de 0,53, indicando concordância moderada. A concordância exata ocorreu em 51,5% dos itens, enquanto 19,0% dos itens divergiram por dois ou mais pontos.
• Variação Dimensional:
  • Forte Concordância: Dimensões relativas à Relevância (75% de concordância exata) e Adequação (45% de concordância exata) mostraram alinhamento forte, embora alguns valores de kappa tenham sido zero devido à restrição de intervalo (revisores pontuaram consistentemente alto).
  • Fraca Concordância: Dimensões que avaliam falhas (Informação Ausente, Compreensão Contextual, Alucinação) apresentaram a maior divergência. Informação Ausente teve um kappa negativo (−0,08), indicando concordância abaixo do acaso, com 40% dos itens divergindo por dois ou mais pontos. Alucinação teve a menor concordância exata (20%) entre as dimensões substantivas.
• Assimetria de Avaliadores: O Revisor 1 pontuou consistentemente mais baixo que o Revisor 2. Nos itens adjudicados, o Revisor 1 estava mais distante do score adjudicado (distância absoluta média de 1,87 vs. 0,80) e pontuou abaixo do valor adjudicado em 12 de 15 itens, sugerindo um viés conservador sistemático em vez de erro aleatório.
• Scores de Confiança: Os scores de confiança autorreportados pelo pipeline foram uniformemente altos (intervalo interquartil 0,85–0,90) independentemente do tipo de variável, limitando sua utilidade como mecanismo de triagem para distinguir extrações incertas.

Significância e Alegações
O artigo conclui que as capacidades atuais de extração de LLM são suficientemente confiáveis para aplicações de triagem (ex: sinalizar sinistros para revisão humana elevada) onde o custo de um alerta incorreto é baixo. No entanto, os autores afirmam que a entrada direta em modelos de provisão ou cálculos de desenvolvimento de perdas exige validação adicional, devido ao desempenho mais fraco nas dimensões de omissão e alucinação.

O estudo enfatiza que a assimetria de avaliadores observada implica que exercícios de calibração usando sinistros âncora com scores pré-especificados devem preceder a pontuação de validação formal em estudos futuros. Além disso, o intervalo restrito dos scores de confiança sugere a necessidade de calibração pós-hoc para criar limiares de filtragem eficazes. Os autores posicionam este trabalho como um template replicável para futuras validações de LLM atuariais, aplicável a várias linhas de negócio além de acidentes de trabalho.