OntoExtend: A Framework for Requirement-driven and Scalable Ontology Extension with LLMs

Resumen Técnico: OntoExtend: Un marco para la extensión de ontologías dirigida por requisitos y escalable con LLMs

Declaración del Problema
La extensión de ontologías —el proceso de enriquecer una ontología existente para satisfacer requisitos funcionales emergentes— es tradicionalmente una tarea que consume muchos recursos y es propensa a errores. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado potencial en la generación de ontologías desde cero, los enfoques actuales rara vez vinculan explícitamente las tareas de extensión a requisitos específicos o modelos base reutilizables. Además, los métodos existentes suelen carecer de una evaluación sistemática de los resultados de los LLMs. Un desafío técnico significativo surge de la escala de las ontologías de entrada; estas frecuentemente contienen cientos de clases y propiedades que exceden las limitaciones de la ventana de contexto de los LLMs actuales. Incluso cuando las ontologías caben dentro de ventanas de contexto grandes, los LLMs pueden ser confundidos por detalles irrelevantes, produciendo salidas erróneas o inconsistentes. Existe una brecha en la literatura sobre cómo los LLMs pueden extender ontologías de entrada maduras reutilizando elementos existentes mientras modelan requisitos adicionales proporcionados como Preguntas de Competencia (CQs).

Metodología: El Marco OntoExtend
Los autores proponen OntoExtend, un marco de generación aumentada por recuperación (RAG) diseñado para extender ontologías basadas en nuevos requisitos. El sistema opera a través de tres subsistemas principales:

1. Recuperador de Ontologías (Ontology Retriever): Para abordar las limitaciones de contexto, este módulo construye un índice semántico de la ontología de entrada. Analiza entidades OWL (clases, propiedades, anotaciones) y las serializa en cadenas delimitadas por tuberías (pipes) que contienen URIs, etiquetas, comentarios y relaciones estructurales (por ejemplo, dominio/rango). Estos elementos se integran en vectores densos utilizando un modelo de incrustación de frases configurable (específicamente text-embedding-ada-002 en los experimentos principales) y se almacenan en un índice FAISS. Cuando un usuario proporciona una CQ, esta se integra en el mismo espacio vectorial, y el recuperador devuelve los elementos de la ontología más relevantes (top-k). Esto asegura que la generación esté fundamentada en la terminología y los patrones de modelado existentes.
2. Extensor de Ontologías (Ontology Extender): Este módulo ensambla el prompt para el LLM. Agrupa los elementos recuperados por origen, los renderiza como fragmentos Turtle y construye un bloque de prefijo unificado para resolver conflictos de namespaces. Crucialmente, el prompt incluye la CQ y el contexto recuperado, junto con restricciones de modelado específicas (por ejemplo, requerir formas SHACL para uso industrial o restricciones OWL para uso en proyectos de la UE). El LLM genera un fragmento candidato de la TBox. Un validador de dos etapas verifica la corrección sintáctica (analizador Turtle) y la adherencia a las convenciones de modelado (por ejemplo, declaraciones explícitas de dominio/rango).
3. Integrador de Ontologías (Ontology Integrator): Este módulo incorpora el fragmento validado en la ontología de entrada. Realiza la deduplicación (eliminando axiomas, clases y prefijos repetidos) y concatena el fragmento limpio. Opcionalmente, los fragmentos generados pueden re-indexarse para servir como contexto para CQs subsecuentes, aunque esto se desactivó en la evaluación para asegurar una evaluación independiente.

Configuración Experimental
El marco fue evaluado en dos casos de uso del mundo real:

• Onto-DESIDE: Una red de ontologías de un proyecto público de la UE centrada en la interoperabilidad de datos de economía circular (20 CQs).
• Ontología Industrial Bosch: Una ontología interna que sigue un perfil de manufactura (19 CQs).

El conjunto de datos se creó eliminando sistemáticamente clases y propiedades de las ontologías originales y formulando CQs para sondear estos componentes faltantes. El estudio comparó configuraciones de recuperación (modelos de incrustación y separadores de texto) y LLMs (o1-preview y GPT-5). Las métricas de evaluación incluyeron validez estructural (escáner de fallos OOPS!, razonador Pellet, verificación de sintaxis), adecuación funcional (verificación de CQ vía SPARQL, conteo de elementos superfluos) y una encuesta basada en usuarios realizada a seis ingenieros de ontologías calificando la Corrección y Completitud en una escala Likert de 5 puntos.

Resultos Clave

• Calidad Estructural: Los fragmentos generados exhibieron casi ningún error de sintaxis. La integración con OOPS! reveló que OntoExtend introdujo muy pocos fallos de modelado nuevos en comparación con trabajos existentes, que a menudo reportan fallos críticos o importantes. Se observaron problemas menores (por ejemplo, falta de anotaciones en el caso industrial debido a la replicación del estilo de entrada), pero eran sencillos de corregir.
• Adecuación Funcional: Ambos LLMs lograron una verificación de CQ del 100%, lo que significa que todas las extensiones generadas modelaron correctamente los requisitos. La tasa de elementos superfluos (clases o propiedades innecesarias) fue extremadamente baja (<2%), una mejora significativa respecto a estudios previos que reportaban aproximadamente un 30%.
• Evaluación Humana: Los ingenieros de ontologías calificaron los fragmentos de manera alta. Para la ontología industrial, los fragmentos requirieron cambios mínimos o nulos (Media de Completitud ~4.5). Para el proyecto de la UE, las puntuaciones fueron ligeramente menores (Media de Completitud ~3.1), atribuido a la naturaleza abierta de las CQs que requirieron más decisiones de modelado por parte de la herramienta. Los ingenieros señalaron que, si bien la salida era generalmente correcta sintáctica y semánticamente, a veces requería una revisión moderada respecto a las convenciones de nomenclatura, declaraciones de dominio/rango o vinculación con elementos existentes.

Significancia y Reivindicaciones
El artículo afirma que OntoExtend ofrece un nivel de automatización prácticamente útil para la extensión de ontologías en el mundo real. Su principal significancia radica en cambiar el rol del ingeniero de ontologías de la autoría manual de axiomas a la revisión y edición ligera de borradores, reduciendo así la barrera de entrada para los expertos en el dominio. Los autores postulan que OntoExtend funciona eficazmente como un "asistente de redacción" que es sensible a la especificidad de las CQs de entrada y al perfil de modelado.

El estudio sugiere además que el rendimiento del LLM puede servir como un indicador indirecto de la calidad de los requisitos y los artefactos ontológicos; cuando las CQs son precisas y están bien estructuradas, las extensiones resultantes son de mayor calidad con menos errores de modelado. Por el contrario, la ambigüedad en los requisitos conduce a puntuaciones más bajas, resaltando que el éxito del marco depende de la calidad de las especificaciones de entrada. Los autores concluyen que, si bien el marco es efectivo para requisitos precisos, sigue siendo sensible a la formulación de las CQs de entrada y requiere supervisión humana para su integración.