Resumen Técnico: Extracción Estructurada y Reconstrucción Estandarizada de Documentos de Procesos de Mecanizado Basada en Modelos de Lenguaje Visual bajo Restricciones de Bajos Recursos

1. Planteamiento del Problema

Los documentos de procesos de mecanizado son activos críticos para la acumulación de conocimiento en la fabricación inteligente, ya que contienen datos esenciales sobre secuencias de procesamiento, parámetros, equipos y herramientas. Sin embargo, su gestión enfrenta tres desafíos principales:

• Alta Heterogeneidad: Los documentos existen en diversos formatos (copias escaneadas, PDFs, archivos Word, fotos en el sitio) con diseños complejos e inconsistentes y terminologías variables.
• Inconsistencia Semántica: La iteración continua de productos y las revisiones de especificaciones conducen a nombres de campos inconsistentes y ambigüedad semántica, lo que dificulta la gestión estandarizada.
• Restricciones de Recursos y Confidencialidad: La estricta confidencialidad de los datos empresariales impide la adquisición de suficientes datos etiquetados desensibilizados, lo que hace que los métodos tradicionales basados en datos (que requieren conjuntos de datos anotados a gran escala) sean ineficaces. Además, los modelos discriminativos multimodales existentes suelen carecer de robustez contra cambios de diseño y carecen de mecanismos de verificación de colaboración hombre-máquina.

2. Metodología

Los autores proponen un marco de procesamiento integrado basado en Modelos de Lenguaje Visual (VLM) que opera bajo restricciones de bajos recursos sin requerir el ajuste fino del modelo o grandes cantidades de datos etiquetados. El marco consta de tres módulos acoplados secuencialmente:

2.1 Extracción Estructurada mediante Prompting CEVF

Para abordar la alucinación transmodal y la fiabilidad de la extracción, los autores introducen un mecanismo de prompting de Retroalimentación de Verificación por Ejemplo de Restricción (CEVF). Este flujo de trabajo iterativo incluye:

• Capa de Restricción: Las restricciones de JSON Schema predefinidas limitan el espacio de salida del modelo a campos principales (p. ej., basic_info, process_steps, approval_info) con definiciones estrictas de tipo y formato.
• Capa de Ejemplo: Una estrategia de prompting "one-shot" proporciona un documento típico y su salida estructurada para guiar al modelo, equilibrando la eficiencia del contexto con paradigmas de extracción claros.
• Verificación y Retroalimentación Iterativa: Las salidas se someten a una verificación basada en reglas multidimensionales (completitud, rango, formato, lógica). Si la verificación falla, las instrucciones de retroalimentación estructurada activan la re-extracción. Este bucle se ejecuta hasta tres veces.
• Evaluación de Confianza: Una estrategia de doble dimensión calcula una puntuación de confianza integral ($S_f$) que combina la probabilidad de token interna del VLM y las puntuaciones de verificación basadas en reglas externas. Se aplica un coeficiente de decaimiento iterativo ($\gamma = 0.95$) para reducir la confianza de los campos que requieren múltiples rondas de corrección, marcándolos para revisión manual si caen por debajo de los umbrales adaptativos.

2.2 Alineación Semántica y Estandarización de Campos

Para resolver la inconsistencia en la denominación de campos (p. ej., "número de pieza" frente a "número de dibujo"), se emplea una estrategia de alineación adaptativa:

• Embedding Semántico: Los nombres de campos extraídos originalmente y los campos estándar de la empresa se codifican utilizando Sentence-BERT para generar vectores de 768 dimensiones. La similitud de coseno cuantifica la proximidad semántica.
• Colaboración con la Base de Conocimiento de Dominio: Para similitudes por debajo de un umbral (0.85), se consulta una base de conocimiento ligera de mecanizado para resolver ambigüedades.
• Aprendizaje Incremental: Los mapeos verificados manualmente se actualizan incrementalmente en la base de conocimientos, reduciendo la intervención manual futura sin necesidad de reentrenamiento fuera de línea.

2.3 Reconstrucción de Documentos Estandarizados

El módulo final genera documentos de proceso conformes a partir de datos estructurados, formalizados como un Problema de Satisfacción de Restricciones (CSP):

• Alineación de Coordenadas de Marcadores de Posición: El método utiliza marcadores de posición semánticos y un Modelo de Objetos de Documento (DOM)/Grafo de Restricción de Diseño (LCG) para mapear los datos estructurados a una plantilla estándar.
• Adaptación Dinámica de Diseño: Para tablas de procesos de longitud variable, una estrategia de expansión de filas dinámica añade automáticamente filas basadas en la cantidad total de procesos, heredando los estilos de la plantilla para asegurar la consistencia del formato.
• Restauración de Imágenes: Mientras que el VLM extrae texto, las ilustraciones de los procesos se restauran convirtiendo los archivos originales en imágenes y embebiéndolas en las posiciones de los marcadores de posición designados en el nuevo documento para mantener la integridad.

3. Contribuciones Clave

1. Marco Integrado: Un flujo de trabajo de ciclo cerrado para la extracción estructurada, la alineación semántica y la reconstrucción estandarizada que opera sin grandes cantidades de datos etiquetados o ajuste fino del modelo, adecuado para escenarios de alta confidencialidad.
2. Mecanismo de Prompting CEVF: Un método novedoso que incorpora restricciones, ejemplos one-shot y retroalimentación iterativa para suprimir eficazmente las alucinaciones de los VLM y mejorar la fiabilidad de la extracción.
3. Reconstrucción de Alineación de Doble Modalidad: Un método de generación de documentos que fusiona el embedding semántico con el conocimiento de dominio y utiliza la alineación de coordenadas de marcadores de posición para manejar la denominación de campos heterogénea y generar diseños conformes para escenarios complejos (p. ej., tablas de múltiples páginas, escaneos borrosos).

4. Resultados Experimentales

Los experimentos se realizaron en 20 tarjetas de procesos reales desensibilizadas (que cubren piezas de ejes y engranajes) con diversos niveles de calidad (desde claros hasta moderadamente degradados). El método propuesto se comparó con una línea base (PaddleOCR-VL 1.5) y se realizaron estudios de ablación de los componentes CEVF.

• Rendimiento de Extracción: El marco CEVF completo logró una Precisión de Campo (FA) del 88.90% y redujo la Tasa de Alucinación (HR) al 6.50%, superando significativamente a la línea base (FA: 45.50%, HR: 38.06%) y a la variante de solo restricciones.
• Cumplimiento de Formato: La Tasa de Cumplimiento de Formato (FCR) alcanzó el 99.40%, demostrando una alta adherencia a los estándares de diseño industrial.
• Alineación Semántica: La estrategia colaborativa redujo las tasas de desviación semántica del 10.6% (modelo semántico puro) al 0.9% con la base de conocimientos actualizada dinámicamente.
• Eficiencia: El tiempo de procesamiento promedió 62.73 segundos para casos complejos, pero cayó a ~25 segundos para documentos de alta definición y baja complejidad, casi tres veces más rápido que los métodos tradicionales.
• Robustez: El sistema manejó con éxito páginas sesgadas, manchas y tablas de múltiples páginas. Se definió un límite de colaboración hombre-máquina, donde los campos de baja confianza se resaltan para una revisión guiada, mientras que los documentos severamente degradados activan la intervención manual.

5. Significación y Reivindicaciones

El artículo afirma proporcionar una vía técnica práctica y factible para la digitalización y estandarización del conocimiento de procesos de mecanizado en entornos de bajos recursos y alta confidencialidad. Al aprovechar las capacidades de generalización de los VLM y reforzarlas con la verificación basada en reglas y el conocimiento de dominio, el método propuesto:

• Rompe la limitación unidireccional de los métodos tradicionales que dependen únicamente de la conversión de documentos a datos estructurados.
• Reduce la dependencia de datos anotados a gran escala, haciéndolo viable para empresas con requisitos estrictos de privacidad de datos.
• Permite la generación automática de documentos de proceso estandarizados a partir de fuentes heterogéneas, facilitando la herencia del conocimiento, la optimación de procesos y el control de calidad en la fabricación inteligente.

Los autores concluyen que, si bien el método aborda eficazmente los cuellos de botella actuales, el trabajo futuro se centrará en migrar el marco a otros tipos de documentos industriales e introducir el aprendizaje incremental para la evolución dinámica de la base de conocimientos.