A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

Este artigo apresenta um benchmark executável e auditável para análise de lacunas e sobreposições em contratos de seguro de vida, demonstrando que a modelagem explícita via ontologias e bases de conhecimento melhora a consistência e a rastreabilidade das justificativas em comparação com abordagens baseadas apenas em texto.

O essencial

Imagine que você tem uma pilha de 10 contratos de seguro de vida diferentes. Cada um é escrito de forma um pouco distinta, com regras complexas sobre o que é coberto e o que não é. Agora, imagine que você precisa responder a uma pergunta específica: "Se o segurado cometer suicídio 13 meses após a contratação, quais desses 10 seguros pagam o benefício e quais se recusam a pagar?"

Esse é o desafio central que os autores deste artigo resolveram. Eles criaram um "campo de provas" (um benchmark) para testar se as Inteligências Artificiais (IAs) conseguem entender essas regras de verdade, ou se elas apenas "adivinham" com base no que leram.

Aqui está a explicação do trabalho, usando analogias simples:

1. O Problema: O Caos dos Contratos

Pense nos contratos como receitas de bolo.

• A Receita A diz: "Se o bolo queimar, jogue fora."
• A Receita B diz: "Se o bolo queimar, espere 10 minutos e veja se fica bom."
• A Receita C não menciona nada sobre bolo queimado.

Se você perguntar a um chef (uma IA) o que fazer com um bolo queimado, ele pode dar uma resposta baseada no que ele "acha" que é certo, mas não necessariamente no que a receita diz. No mundo dos seguros, isso é perigoso. Se a IA errar, você pode perder seu dinheiro ou seu seguro.

Os autores queriam saber: Como testar se uma IA está realmente lendo a regra ou apenas chutando?

2. A Solução: O "Tradutor" e o "Livro de Regras"

Para resolver isso, eles criaram três coisas principais:

• Os 10 Contratos (As Receitas): Eles criaram 10 contratos de seguro de vida sintéticos (fictícios, mas realistas), cobrindo desde seguros simples até os mais complexos.
• O Ontologia (O Dicionário de Regras): Eles transformaram a linguagem difícil dos contratos em um "dicionário de regras" formal (chamado de Ontologia ou TBox). É como se eles tivessem criado um código universal onde "Suicídio" é sempre li:SuicideExclusion e "12 meses" é sempre um número exato. Nada de ambiguidade.
• O Banco de Dados (A Prateleira): Eles colocaram os dados dos 10 contratos dentro desse dicionário (chamado de ABox). Agora, em vez de ler texto, a máquina consulta uma base de dados estruturada.

3. O Teste: 58 Cenários (As Perguntas)

Eles criaram 58 situações hipotéticas (como "suicídio em 13 meses", "empréstimo contra o valor do seguro", etc.) e perguntaram: "Quais contratos cobrem isso?"

Eles testaram duas abordagens:

1. O "Leitor Rápido" (IA de Texto Puro): Uma IA moderna (como o ChatGPT) que apenas lê o texto do contrato e tenta responder.
2. O "Detetive Lógico" (Baseado em Ontologia): Um sistema que usa o "dicionário de regras" e faz perguntas matemáticas precisas (SPARQL) para a base de dados.

4. O Resultado: A Diferença entre "Adivinhar" e "Provar"

Aqui está a parte mais interessante, onde as analogias brilham:

• O "Leitor Rápido" (IA de Texto):

  • Como age: É como um estudante que leu o livro de regras, mas às vezes se confunde. Se a regra não diz explicitamente "proibido", ele pode assumir que é proibido por segurança.
  • O Erro: Muitas vezes, quando o contrato não menciona uma regra específica (ex: não tem uma cláusula sobre álcool no sangue), a IA de texto assume que não há cobertura (nega o pedido). Mas, na verdade, se não há proibição escrita, o seguro deve pagar!
  • A Falha: Ela não consegue explicar por que decidiu aquilo de forma lógica. Ela apenas "sente" que é assim.

• O "Detetive Lógico" (Ontologia):

  • Como age: É como um juiz que só olha para a lei escrita. Se a lei não diz "proibido", ele não pode negar.
  • A Vantagem: Ele é 100% consistente. Se você fizer a mesma pergunta 10 vezes, ele dá a mesma resposta.
  • A Prova: O grande diferencial é que ele aponta o dedo para a linha exata do contrato que justifica a resposta. Ele diz: "Paguei porque a cláusula 7.1 não proíbe suicídio após 12 meses".

5. A Conclusão: Por que isso importa?

O artigo mostra que, para coisas sérias como seguros, leis e saúde, não basta a IA ser "inteligente" ou falar bem. Ela precisa ser confiável e explicável.

• A Analogia Final:
  • A IA de texto é como um advogado talentoso, mas que às vezes inventa fatos para ganhar o caso.
  • A Ontologia é como um sistema judicial automatizado, onde cada decisão é baseada em uma lei clara e você pode ver o processo inteiro.

Os autores dizem que, embora as IAs de texto sejam boas em conversas, elas falham quando precisam de precisão cirúrgica em regras complexas. O "Benchmark" que eles criaram é como um teste de direção para ver se o carro (a IA) consegue seguir as regras de trânsito (os contratos) sem bater.

Em resumo: Eles criaram um jogo onde você pode testar se uma máquina realmente entende as regras do jogo ou se está apenas tentando adivinhar. E descobriram que, para garantir justiça e precisão, é melhor ter um sistema que segue as regras passo a passo (Ontologia) do que um que apenas tenta adivinhar o final da história (Texto Puro).

Resumo técnico

Título: Um Benchmark para Análise de Lacunas e Sobreposições como Teste de Prontidão de Tarefa para Grafos de Conhecimento (KG)

1. O Problema

A avaliação da qualidade de Grafos de Conhecimento (KGs) tem evoluído de critérios puramente estruturais e lógicos para uma perspectiva orientada a tarefas. O desafio central reside em determinar se uma representação baseada em ontologia consegue responder a "questões de competência" (competency questions) que os usuários realmente precisam, de forma reprodutível, explicável e rastreável a evidências.

Especificamente, o artigo foca na análise de lacunas (gaps) e sobreposições (overlaps) em documentos semelhantes a políticas (ex: contratos de seguro). O problema é identificar, para um determinado cenário, quais documentos suportam uma condição (sobreposição) e quais não (lacuna).

• Limitação das abordagens atuais: A maioria dos métodos baseados em LLMs (Large Language Models) opera sobre texto não estruturado, o que pode levar a inconsistências, falta de justificativas rastreáveis e dificuldade em lidar com nuances estruturais complexas de contratos.
• Necessidade: Existe uma lacuna em recursos padronizados que conectem texto natural, representações formais (ontologias) e "ground truth" (verdade fundamental) vinculada a evidências para testar a prontidão de tarefas de KGs.

2. Metodologia

Os autores propõem um benchmark executável e auditável composto por três componentes interligados, focados no domínio de seguros de vida:

• A. Corpus de Contratos:

  • Dez contratos de seguros de vida sintéticos, mas diversificados e simplificados, cobrindo diferentes tipos de produtos (termo, vida inteira, universal variável, etc.).
  • Os contratos foram gerados com auxílio de IA e validados por um especialista do domínio para garantir plausibilidade legal e consistência interna.
  • Os contratos variam em complexidade (Simples, Moderado, Complexo) e apresentam variações estruturais críticas (ex: períodos de exclusão de suicídio de 12 vs. 24 meses).

• B. Ontologia e Base de Conhecimento (TBox e ABox):

  • TBox (Terminologia): Uma ontologia OWL formalizada que define classes (ex: Policy, Exclusion, Rider), propriedades e restrições. Utiliza padrões de engenharia de ontologia, como hierarquia de subclasse e partição de valores (ex: tipos de benefícios de suicídio enumerados).
  • ABox (Instâncias): Uma base de conhecimento instanciada onde cada contrato (C1-C10) é representado por indivíduos.
  • Rastreabilidade: Cada instância no ABox é anotada com propriedades de rastreabilidade (sourceContractID, sourceContractSection, coverageSourceText), vinculando fatos diretamente ao texto original do contrato.

• C. Suite de Questões de Competência (Cenários):

  • 58 cenários estruturados (JSON) que representam perguntas típicas de partes interessadas (ex: "O segurado comete suicídio 13 meses após a emissão").
  • Para cada cenário, há um "Ground Truth" duplo: duas consultas SPARQL (uma para cobertura, outra para negação) e resultados manuais verificados por especialista (Coberto, Negado, Não Aplicável).
  • Cada resultado inclui trechos do contrato que justificam a decisão.

3. Contribuições Principais

1. Corpus Curado: Liberação de 10 contratos de seguros de vida diversificados, validados por especialistas, projetados para cobrir padrões de cláusulas variados.
2. Ontologia Verificada: Fornecimento de uma TBox e ABox alinhados, permitindo análise determinística baseada em consultas.
3. Benchmark de Cenários: Um conjunto de 58 cenários com "ground truth" de nível de cláusula, permitindo a avaliação de rastreabilidade e diagnóstico de erros.
4. Avaliação Comparativa: Uma comparação empírica entre um pipeline baseado apenas em texto (LLMs) e um pipeline orientado a ontologia (SPARQL sobre KG), demonstrando o valor da modelagem explícita.

4. Resultados

Os autores compararam três LLMs de ponta (Claude Sonnet 4.6, ChatGPT-5.3, Gemini-3) contra o pipeline baseado em ontologia (Ground Truth):

• Desempenho dos LLMs:

  • Precisão: O modelo Claude obteve o melhor desempenho (87,76%), seguido por ChatGPT (72,93%) e Gemini (65,17%).
  • Inconsistência: Houve baixa concordância entre os modelos em cenários complexos (apenas 48,8% de concordância total correta).
  • Tipos de Erro: O erro mais comum foi classificar cenários como "NÃO APLICÁVEL" (Not Applicable) como "NEGADO" (Denied). Os LLMs tendem a interpretar a ausência de uma cláusula específica como uma negação, enquanto a lógica do benchmark considera que, se não há exclusão, a cobertura padrão se aplica.
  • Complexidade: A taxa de erro aumentou significativamente em contratos mais complexos (ex: Vida Universal Variável, Sobrevivência Conjunta), onde a estrutura do contrato é crucial.
  • Justificativas: Os LLMs frequentemente forneciam citações de texto genéricas ou não relacionadas diretamente à decisão, falhando em fornecer evidências rastreáveis e precisas.

• Desempenho do Pipeline Baseado em Ontologia:

  • Garantiu consistência estrutural: a mesma lógica de consulta foi aplicada uniformemente a todos os contratos.
  • Forneceu evidências automáticas e rastreáveis: cada resultado de consulta SPARQL vinha acompanhado das metadados de origem exatos do contrato.
  • Lidou corretamente com a distinção entre "não aplicável" (estrutura do produto não se encaixa) e "negado" (exclusão explícita).

5. Significância e Conclusão

O artigo demonstra que a análise de lacunas e sobreposições é um teste eficaz de "prontidão de tarefa" para KGs.

• Validação da Abordagem Híbrida: Embora os LLMs sejam capazes de aproximar julgamentos de cobertura em casos simples, eles falham em garantir consistência e justificativas estruturadas em cenários complexos que exigem manipulação estrita de escopo contratual.
• Papel da Ontologia: A modelagem explícita força a resolução de ambiguidades e a declaração de restrições de domínio, permitindo análises determinísticas e auditáveis.
• Reutilizabilidade: O benchmark serve como um modelo reutilizável para avaliar a qualidade de KGs em outros domínios regulatórios (saúde, finanças) e para tarefas downstream como aprendizado de ontologia, preenchimento de KGs e perguntas baseadas em evidências.
• Futuro: O trabalho sugere pipelines neuro-simbólicos, onde LLMs podem extrair recursos estruturados para alimentar a lógica do KG, combinando a fluência linguística neural com a consistência lógica dos grafos de conhecimento.

Em resumo, o benchmark prova que, em domínios de alto risco onde a justificativa e a precisão são críticas, a representação estruturada baseada em ontologia supera a inferência puramente neural baseada em texto.