A Benchmark for Gap and Overlap Analysis as a Test of KG Task Readiness

Este artículo presenta un benchmark ejecutable y auditable para evaluar la preparación de los grafos de conocimiento mediante el análisis de brechas y superposiciones en contratos de seguros, demostrando que un enfoque basado en ontologías ofrece mayor consistencia y trazabilidad que los modelos de lenguaje puro.

Lo esencial

Imagina que los Contratos de Seguro de Vida son como recetas de cocina muy complicadas. Cada receta (contrato) dice exactamente qué ingredientes (coberturas) incluye y cuáles no (exclusiones). A veces, dos recetas parecen iguales, pero una dice "no sirve si el pastel se quema en 10 minutos" y la otra dice "no sirve si se quema en 20 minutos".

El problema es que los humanos (y hasta las inteligencias artificiales avanzadas) a veces se confunden leyendo estas recetas. ¿Cubre este contrato mi situación? ¿O me dejará tirado?

Este artículo presenta una herramienta nueva para resolver este caos, llamada "Análisis de Brechas y Superposiciones". Aquí te lo explico con una analogía sencilla:

1. El Problema: La "Búsqueda en el Bosque"

Imagina que tienes 10 libros de recetas diferentes (los 10 contratos de seguro). Un cliente llega y dice: "Me suicidé 13 meses después de comprar el seguro. ¿Me pagan?".

• El enfoque antiguo (Solo Texto/LLM): Le das el libro a un robot muy inteligente (como un Chatbot). El robot lee todo el texto rápido y te dice: "Creo que sí te pagan". Pero si le preguntas "¿Por qué?", el robot podría inventar una razón o citar una página que no tiene nada que ver. Es como si el robot adivinara la respuesta basándose en su "intuición" en lugar de buscar la regla exacta.
• El enfoque nuevo (Grafo de Conocimiento/KG): En lugar de leer el libro entero, primero convertimos las recetas en un mapa de Lego muy estricto. Cada pieza del contrato (la edad, la causa de muerte, el tiempo) es un bloque de Lego con una forma específica.

2. La Solución: El Mapa de Lego (El Grafo de Conocimiento)

Los autores crearon un "mapa" digital (llamado Ontología o TBox) que organiza toda la información de los contratos de forma lógica, como si fuera un organigrama perfecto. Luego, llenaron este mapa con los datos reales de los 10 contratos (el ABox).

Lo genial de este mapa es que tiene etiquetas de evidencia. Si el mapa dice "Sí, se paga", puedes hacer clic en esa respuesta y ver exactamente la frase del contrato original que lo justifica. Es como si cada respuesta viniera con su propio "papelito de prueba" adjunto.

3. La Prueba: Los 58 Escenarios

Para ver si su mapa funcionaba, crearon 58 situaciones de prueba (como: "¿Qué pasa si muero en un accidente de coche borracho?" o "¿Qué pasa si pido un préstamo contra el seguro?").

• La prueba de fuego: Le dieron estas 58 situaciones a dos equipos:
  1. Equipo A (Solo Texto): Usó Inteligencia Artificial moderna (LLMs) que solo lee el texto.
  2. Equipo B (Mapa de Lego): Usó el sistema de mapas estricto (Grafo de Conocimiento) con consultas de datos (SPARQL).

4. Los Resultados: ¿Quién ganó?

• El Equipo A (IA de Texto): Fue bastante bueno en casos fáciles (acertó el 72-87% de las veces). Pero en casos difíciles o complejos, empezó a alucinar. A veces decía "No se paga" solo porque no encontró la palabra exacta en el texto, aunque la regla implícita dijera lo contrario. Además, a veces todos los robots de IA daban respuestas diferentes para la misma pregunta.
• El Equipo B (Mapa de Lego): Fue perfectamente consistente. Como el mapa está construido con reglas lógicas estrictas, la misma pregunta siempre da la misma respuesta, sin importar qué contrato sea. Y lo más importante: siempre podía mostrar la prueba exacta (la cláusula específica del contrato) que justificaba la respuesta.

5. La Analogía Final: El Detective vs. El Intuitivo

• La IA de Texto es como un detective intuitivo: Ve el caso, usa su experiencia y dice "¡Esto parece un robo!". A veces acierta, pero a veces se equivoca porque no revisó todas las pruebas minuciosamente.
• El Grafo de Conocimiento es como un detective forense con un laboratorio: No adivina. Sigue un procedimiento paso a paso, compara cada pieza de evidencia con una regla escrita y, si encuentra una coincidencia, presenta el informe con la evidencia física adjunta.

¿Por qué es importante esto?

En el mundo real (seguros, leyes, medicina), no podemos permitirnos que una IA "adivine" si nos va a pagar o no. Necesitamos certeza y explicaciones.

Este artículo nos dice: "Oigan, si queremos que la Inteligencia Artificial sea útil en cosas serias, no basta con que sea buena leyendo; necesitamos que estructure la información como un mapa lógico, para que sus respuestas sean consistentes y siempre pueda decirnos '¿Por qué?' con pruebas reales".

Es como pasar de tener un montón de papeles desordenados en una mesa, a tener un sistema de archivos digital donde, si buscas algo, el sistema te lo encuentra, te dice dónde está y te muestra el documento original. ¡Eso es lo que hacen los autores aquí!

Resumen técnico

Resumen Técnico: Un Benchmark para el Análisis de Brechas y Superposiciones como Prueba de Preparación de Tareas en Grafos de Conocimiento

1. El Problema

La evaluación de la calidad de los Grafos de Conocimiento (KG) ha evolucionado desde criterios puramente estructurales y lógicos hacia una perspectiva orientada a tareas. El desafío central es determinar si una representación basada en ontologías puede responder a las "preguntas de competencia" que realmente importan a los usuarios, de manera reproducible, explicable y trazable a la evidencia.

En dominios regulados como el de los seguros, los documentos (contratos) contienen reglas complejas, exclusiones y condiciones. Las partes interesadas necesitan comparar múltiples documentos para un escenario dado: ¿qué documentos lo cubren (superposición/overlap) y cuáles no (brecha/gap)?

• Limitación actual: Las evaluaciones existentes a menudo carecen de recursos alineados que conecten el texto natural con representaciones formales y verdades fundamentales (ground truth) consultables.
• Riesgo de los LLM: Los Modelos de Lenguaje Grandes (LLM) pueden inferir resultados directamente del texto, pero carecen de consistencia en el manejo estricto de la estructura contractual, el alcance y la justificación basada en evidencia, especialmente en casos complejos.

2. Metodología

Los autores proponen un benchmark ejecutable y auditable diseñado para evaluar la preparación de tareas de un KG en el dominio de seguros de vida. La metodología se basa en tres componentes interconectados:

• A. Corpus de Contratos:

  • Se crearon 10 contratos de seguros de vida sintéticos pero diversos (desde términos simples hasta productos universales indexados y variables).
  • Fueron generados con asistencia de IA (Claude Sonnet 4.6) y validados rigurosamente por un experto en el dominio para asegurar plausibilidad legal y coherencia interna.
  • Los contratos varían en complejidad, cubriendo exclusiones (ej. suicidio con periodos de 12 vs. 24 meses), periodos de gracia y beneficios.

• B. Ontología y Base de Conocimiento (TBox y ABox):

  • TBox (Esquema): Se desarrolló una ontología en OWL/Turtle que formaliza los conceptos del dominio (pólizas, partes, coberturas, exclusiones, riders). Utiliza patrones de ingeniería de ontologías como la partición de valores (ej. tipos de beneficios por suicidio) y restricciones de dominio/rango explícitas.
  • ABox (Instancias): Se instanció una base de conocimiento con un individuo por contrato (C1-C10). Cada instancia está enlazada a propiedades que trazan la evidencia: sourceContractID, sourceContractSection y coverageSourceText (texto literal del contrato). Esto garantiza que cualquier resultado de consulta sea trazable al texto original.

• C. Suite de Competencias (Escenarios):

  • Se definieron 58 escenarios estructurados (preguntas de competencia) que representan situaciones comunes y casos límite (ej. suicidio a los 13 meses, préstamos sobre pólizas, muerte simultánea).
  • Para cada escenario, se crearon dos consultas SPARQL: una para identificar contratos que cubren el caso y otra para los que lo deniegan.
  • Se estableció una verdad fundamental (ground truth) verificada por expertos, etiquetando cada par (escenario, contrato) como: CUBIERTO, DENEGADO o NO APLICABLE.

3. Contribuciones Clave

1. Corpus Curado: Liberación de 10 contratos de seguros de vida diversos y validados por expertos, diseñados para cubrir patrones de cláusulas variados pero manejables.
2. Ontología Verificada: Una ontología de dominio (TBox) alineada con una base de conocimientos instanciada (ABox) que permite análisis deterministas basados en consultas.
3. Benchmark de Escenarios: Una suite de 58 escenarios con verdades fundamentales a nivel de contrato y extractos de cláusulas a nivel de evidencia, permitiendo la trazabilidad y el diagnóstico.
4. Evaluación Comparativa: Un marco para comparar pipelines puramente neuronales (LLM) contra pipelines basados en ontologías, demostrando el valor de la modelado explícito para la consistencia y la auditoría.

4. Resultados

El estudio comparó un pipeline basado únicamente en texto (usando LLMs como ChatGPT-5.3, Gemini-3 y Claude Sonnet-4.6) contra un pipeline impulsado por la ontología (consultas SPARQL sobre el KG).

• Precisión de los LLM:

  • Claude Sonnet 4.6 obtuvo el mejor rendimiento con un 87.76% de precisión.
  • ChatGPT-5.3 alcanzó el 72.93%.
  • Gemini-3 obtuvo el 65.17%.
  • Aunque los LLMs entienden el lenguaje, muestran inconsistencia en escenarios complejos y una alta variabilidad en el razonamiento.

• Tipos de Errores:

  • El error más común fue clasificar casos como NO APLICABLE (cuando el contrato no tiene cláusulas específicas) como DENEGADO. Los LLMs tienden a interpretar la ausencia de una cláusula de exclusión como una denegación, mientras que la lógica del benchmark indica que si no hay exclusión, la cobertura estándar aplica.
  • Los errores aumentaron significativamente en los contratos más complejos (ej. seguros de vida universales variables o conjuntos).

• Ventaja del Enfoque Ontológico:

  • El pipeline basado en KG fue 100% consistente y determinista.
  • Proporcionó evidencia trazable automática para cada resultado (citando la sección exacta del contrato).
  • Evitó suposiciones implícitas o heurísticas que llevaron a los LLMs a conclusiones plausibles pero incorrectas.

5. Significado e Impacto

• Validación de la Preparación de Tareas: El benchmark demuestra que el análisis de brechas y superposiciones es una prueba efectiva para evaluar si un KG está listo para tareas reales. No se trata solo de tener datos, sino de poder responder preguntas específicas con evidencia.
• Complementariedad Neuro-Simbólica: El trabajo resalta que los LLMs son útiles para la fluidez lingüística, pero las representaciones estructuradas (KG) son esenciales para la consistencia, la trazabilidad y la auditoría en dominios de alto riesgo.
• Reutilizabilidad: Aunque se centra en seguros de vida, la estructura del benchmark (texto alineado, ontología verificada, ABox anotado y consultas ejecutables) sirve como una plantilla reutilizable para evaluar la calidad de KGs en otros dominios regulatorios (salud, finanzas).
• Herramienta para el Futuro: El recurso facilita tareas posteriores como el aprendizaje de ontologías, la población automática de KGs y la respuesta a preguntas basada en evidencia, cerrando la brecha entre la inferencia neural y la lógica formal.

En conclusión, el artículo establece que para aplicaciones críticas donde la justificación y la precisión son vitales, la inversión en modelado ontológico explícito supera a la inferencia puramente textual, proporcionando un sistema de razonamiento auditable y reproducible.