Tacit Knowledge Extraction via Logic Augmented Generation and Active Inference

Resumen Técnico: Extracción de Conocimiento Tácito mediante Generación Aumentada por Lógica e Inferencia Activa

Enunciado del Problema
El conocimiento procedimental—saber cómo realizar tareas—es central para la experiencia humana en dominios como la fabricación, la reparación y el ensamblaje. Sin embargo, este conocimiento suele ser "tácito", dependiendo de suposiciones implícitas, habilidades corporales, restricciones contextuales y juicios basados en la experiencia que rara vez se documentan. Aunque los Grafos de Conocimiento (KG) y las ontologías ofrecen un marco para representaciones interpretables por máquinas, las pipelines de extracción actuales enfrentan dos limitaciones críticas:

1. Incompletitud: Capturan principalmente información explícitamente declarada u observable, fallando en representar las herramientas implícitas, los prerrequisitos y las restricciones necesarias para una ejecución exitosa.
2. Fiabilidad: La generación sin restricciones por parte de Modelos de Lenguaje Grandes (LLM) a menudo introduce alucinaciones, esquemas inconsistentes y entidades no respaldadas, lo que dificulta la validación o el razonamiento sobre los grafos resultantes.

Metodología
Los autores proponen un marco neuro-simbólico que integra la Generación Aumentada por Lógica (LAG) con una estrategia inspirada en la Inferencia Activa para construir Grafos de Conocimiento fundamentados en ontologías a partir de fuentes instruccionales (videos y transcripciones).

1. Ontología de Referencia: El sistema utiliza una ontología personalizada diseñada para modelar flujos de trabajo procedimentales. Las clases clave incluyen Proceso, Paso, Operación, Artefacto, Herramienta, Objetivo y Contenido. La ontología impone tipado estricto y relaciones secuenciales (por ejemplo, siguientePaso, anteriorPaso) y preserva enlaces de procedencia a los medios de origen.
2. Pipeline de Generación Aumentada por Lógica (LAG):
   • Entrada: Videos instruccionales o sus transcripciones ASR.
   • Restricción: El LLM es guiado por una ontología de referencia y prompts específicos para generar únicamente afirmaciones del Framework de Descripción de Recursos (RDF) que instancian el esquema objetivo.
   • Validación: Los grafos generados se validan contra la ontología utilizando restricciones SHACL para garantizar la validez estructural y la ausencia de clases o propiedades no definidas.
   • Salida: Un archivo Turtle validado cargado en un almacén de tripletes GraphDB.
3. Riqueza Inspirada en la Inferencia Activa:
   • Para abordar la incompletitud de LAG (especialmente cuando faltan pistas visuales en modos solo de transcripción), se aplica una segunda fase de razonamiento.
   • Mecanismo: Tomando prestados conceptos de la teoría de la Inferencia Activa (observación, inferencia de estados ocultos, reconstrucción de políticas y razonamiento sobre affordances), se solicita al LLM que infiera "estados ocultos" necesarios para que las acciones observadas sean físicamente posibles.
   • Objetivos de Inferencia: El modelo identifica herramientas implícitas, artefactos, restricciones contextuales, advertencias y creencias previas (por ejemplo, inferir que "apretar un tornillo" implica el uso de un destornillador compatible).
   • Rastreabilidad: Cada elemento inferido se asigna una justificación (el script o patrón procedimental utilizado) y una puntuación de confianza, distinguiendo el conocimiento tácito inferido por el modelo de los datos observados explícitamente.

Contribuciones Clave

• Marco Neuro-Simbólico: Una arquitectura novedosa que combina LAG para la extracción restringida por esquemas e Inferencia Activa para el enriquecimiento de conocimiento implícito.
• Diseño de Ontología: Una ontología específica del dominio capaz de representar flujos de trabajo procedimentales, procedencia multimodal y la distinción entre operaciones explícitas y restricciones tácitas.
• Protocolo de Evaluación: Una configuración rigurosa de pruebas comparativas utilizando videos de reparación industrial (de iFixit) como proxy para el ensamblaje de fabricación, evaluando modelos heterogéneos (propietarios, de código abierto, multimodales) en entornos basados en transcripción y basados en visión.

Resultados Experimentales
El marco se evaluó en tres procedimientos de reparación (iPhone 11, Google Pixel 6a, Sega Game Gear) utilizando modelos que incluyen Gemini 3.1 Pro, Gemini 2.5 Flash, Claude Opus 4.6, GPT-5.2 y Gemma 4 31b-it.

• Cumplimiento de la Ontología: Todos los modelos produjeron grafos estructuralmente válidos con una adherencia perfecta al esquema de referencia, confirmando la eficacia de LAG para prevenir clases o propiedades alucinadas.
• Precisión frente a Recall:
  • Precisión: Permaneció perfecta (1.00) en todos los modelos para la extracción de herramientas y artefactos bajo el marco LAG, indicando que no se generaron entidades no respaldadas.
  • Recall (solo LAG): Los modelos basados en transcripción mostraron brechas significativas (0.50–0.81) debido a la falta de información visual. Los modelos basados en visión funcionaron mejor, pero aún omitieron elementos implícitos (por ejemplo, el recall de Gemini 3.1 Pro para artefactos fue de 0.59).
• Impacto de la Inferencia Activa: La estrategia de enriquecimiento mejoró significativamente el recall sin comprometer la precisión.
  • Modelos basados en transcripción: El recall aumentó en +0.21 a +0.38 para herramientas y en +0.19 a +0.41 para artefactos.
  • Modelos basados en video: Mostraron ganancias generalmente más modestas, aunque Gemini 3.1 Pro vio un aumento de recall de +0.34 para artefactos.
  • Rendimiento Final: Después del enriquecimiento, todos los modelos alcanzaron puntuaciones F1 superiores a 0.95. El mejor rendimiento general lo logró Gemini 2.5 Flash en modo basado en video (F1: 0.989 para herramientas, 0.994 para artefactos).
• Eficiencia de Costos: Gemini 2.5 Flash surgió como la solución más rentable, ofreciendo el mejor rendimiento con un costo de pipeline completo de 5.18 $/hora, significativamente más barato que modelos propietarios más grandes como Claude Opus 4.6.

Significado y Afirmaciones
El artículo afirma que este enfoque avanza la ingeniería de conocimiento neuro-simbólica para dominios industriales al resolver el doble desafío de la validez estructural y la completitud procedimental. Al separar explícitamente el conocimiento observado del conocimiento tácito inferido, el marco permite la formalización de la experiencia que tradicionalmente es difícil de capturar.

Los autores enfatizan que el sistema se está aplicando actualmente en el proyecto KnowledgeX para la transferencia de conocimiento en el mundo real en la fabricación, específicamente para apoyar entornos de realidad aumentada para la formación de operadores. Señalan modestamente que, aunque la calidad de la extracción es alta, la validación última de la "accionabilidad" de las instrucciones para operadores humanos requiere futuros estudios con usuarios. El trabajo demuestra que combinar restricciones lógicas con enriquecimiento impulsado por inferencia permite la creación de grafos de conocimiento procedimental de alta calidad e interpretables por máquinas que cierran la brecha entre la documentación explícita y la experiencia implícita.