From Prompt to Graph: Comparing LLM-Based Information Extraction Strategies in Domain-Specific Ontology Development

Resumen Técnico: Del Prompt al Grafo: Comparación de Estrategias de Extracción de Información Basadas en LLM para el Desarrollo de Ontologías de Dominio Específico

Planteamiento del Problema
Las ontologías son críticas para estructurar el conocimiento de dominio con el fin de facilitar la interoperabilidad, el intercambio de datos y el razonamiento, particularmente en sectores industriales complejos como la fabricación de fundición. Sin embargo, la construcción de ontologías tradicional es laboriosa, costosa y depende en gran medida de la anotación manual de documentación fragmentada y no estructurada. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen potencial para automatizar la extracción de conocimiento, la investigación existente carece de comparaciones directas entre diferentes enfoques basados en LLM. Además, muchas ontologías de fabricación existentes son informales, carecen de triples de conceptos-relaciones completos, y estudios previos suelen asumir el acceso a conjuntos de datos grandes y bien estructurados, lo cual no es típico en los entornos de fabricación tradicionales.

Metodología
Este estudio propone un marco de aprendizaje de ontologías semiautomático para extraer términos y relaciones de textos específicos de un dominio (artículos académicos y libros técnicos) utilizando datos limitados. La investigación evalúa y compara tres estrategias distintas basadas en LLM:

1. Método impulsado por LLM preentrenado: Utiliza un modelo preentrenado general (ChatGPT 4.1 mini) guiado por prompts optimizados basados en la metodología de Cadena de Pensamiento (CoT). Este método extrae términos y relaciones directamente sin ejemplos anotados por humanos, basándose en el conocimiento inherente del modelo.
2. Método de Aprendizaje en Contexto (ICL): Un proceso de dos pasos (extracción de términos seguido de la extracción de relaciones) que utiliza ejemplos $k$-shot de un pequeño conjunto de entrenamiento para guiar al LLM. Para asegurar la relevancia semántica, el estudio emplea el modelo Universal AnglE Embedding (UAE)-Large-V1 para recuperar los $k$ ejemplos más similares (establecido en $k=16$) de cada entrada de prueba.
3. Método de Ajuste Fino (Fine-tuning): Un enfoque de ajuste fino supervisado de dos pasos donde dos modelos personalizados (uno para la extracción de términos y otro para la extracción de sinónimos/relaciones) son entrenados con el conjunto de datos etiquetados completo. Este método actualiza los parámetros del modelo para adaptar el modelo base (OpenAI GPT-4.1-mini) al dominio específico de la fundición sin requerir ejemplos $k$-shot durante la inferencia.

Configuración Experimental
El estudio se centró en el dominio de la fundición, guiado por seis conceptos de alto nivel: materiales, proceso de fundición, propiedad del producto, parámetro de fundición, defecto de fundición y equipo de fundición.

• Datos: Se curó un conjunto de datos de entrenamiento de 173 textos cortos y un conjunto de datos de prueba de 30 párrafos largos.
• Anotación: Expertos humanos etiquetaron manualmente 538 términos y 321 triples de relaciones en el conjunto de entrenamiento, y 590 términos y 481 relaciones en el conjunto de prueba.
• Evaluación: El rendimiento se midió utilizando Precisión, Exhaustividad (Recall) y F1-score. El conocimiento extraído se estructuró como triples (sujeto, objeto, relación) y se implementó en una base de datos de grafos Neo4j.

Resultos Clave

• LLM Preentrenado: Logró aproximadamente un 77.3% de precisión en la extracción de términos y un 79.5% en la extracción de relaciones. Sin embargo, extrajo significativamente menos entidades (142 términos, 36 relaciones) en comparación con la verdad de campo (ground truth) y careció de información posicional, lo que impidió el cálculo de la Exhaustividad y el F1-score. Fue propenso a las alucinaciones y a las clasificaciones irrelevantes.
• Método ICL: Extrajo 421 términos (Precisión: 79.8%, Exhaustividad: 56.9%, F1: 66.4%) y 424 triples de relaciones (Precisión: 63.9%, Exhaustividad: 56.3%, F1: 59.9%). Aunque fue efectivo para textos largos, sufrió de una nomenclatura de relaciones inconsistente (por ejemplo, variaciones de sinónimos para la misma relación) y un pobre reconocimiento de sinónimos (identificando solo 1 de 22 pares anotados).
• Método de Ajuste Fino (Fine-tuning): Demostró el rendimiento superior en todas las métricas. Logró un F1-score de extracción de términos de 90.6% (Precisión: 93.8%, Exhaustividad: 87.6%) y un F1-score de extracción de relaciones de 79.5% (Precisión: 86.7%, Exhaustividad: 73.4%). Mostró una mayor consistencia en la nomenclatura de relaciones y un reconocimiento de sinónimos significativamente mejor (identificando 10 de 22 pares).

Construcción de la Ontología
Se seleccionó el método de ajuste fino para construir la ontología de fundición final. Tras consolidar los sinónimos y eliminar duplicados, se retuvieron 273 conceptos únicos y 620 relaciones validadas. La validación de expertos confirmó una precisión de conceptos del 97% y una precisión de relaciones del 93%. La ontología resultante se visualizó en Neo4j, demostrando una organización jerárquica de la terminología de fundición.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Una evaluación comparativa de tres métodos basados en LLM (prompting preentrenado, ICL y ajuste fino) para la extracción de términos y relaciones en un entorno de dominio específico con datos limitados.
2. La propuesta de una estrategia de extracción de relaciones basada en prompts diseñada para mejorar la construcción de ontologías en aplicaciones de fabricación.
3. El desarrollo de una ontología de fundición de alta calidad y validada, derivada de literatura académica y técnica, abordando la brecha de las ontologías informales en la fabricación.

El estudio concluye que, si bien los modelos preentrenados sirven como un punto de partida útil y el ICL ofrece eficiencia de costos, el enfoque de ajuste fino es el más efectivo para el desarrollo de ontologías de alta calidad cuando los recursos lo permiten. Los autores señalan que el estudio está limitado por el tamaño pequeño del conjunto de datos y sugieren que el trabajo futuro debería validar estos métodos en corpora más grandes y diversos para evaluar su escalabilidad en entornos industriales reales.