Resumen Técnico: FactoryLLM

Planteamiento del Problema

En las fábricas inteligentes modernas, los sistemas de producción operan como redes interconectadas donde las fallas en un componente a menudo se propagan en cascada a través de múltiples máquinas y capas de software. Diagnosticar estas fallas entre sistemas es un desafío, no debido a la falta de información, sino porque el conocimiento técnico crítico está fragmentado en cientos de páginas de manuales dispares, cada uno con diferentes terminologías y abstracciones de sistema.

Las soluciones existentes enfrentan limitaciones significativas:

• La búsqueda basada en palabras clave falla cuando las consultas del operador no coinciden con la terminología específica de los manuales técnicos.
• Los sistemas expertos basados en reglas requieren una ingeniería manual extensiva y luchan por adaptarse a medida que el equipo evoluciona.
• Los grafos de conocimiento son costosos de construir y mantener a escala.
• Las implementaciones actuales de LLM/RAG en la manufactura suelen estar restringidas a escenarios de una sola máquina o de un solo documento, careciendo de la capacidad de razonar a través de documentación heterogénea de dispositivos que interactúan (por ejemplo, el hardware y su software de gestión de flota).
• Privacidad de Datos: Muchas aplicaciones industriales dependen de modelos de nube propietarios, lo que crea barreras para las organizaciones que no desean compartir datos operativos sensibles.

Metodología: Arquitectura de FactoryLLM

Para abordar estas brechas, los autores proponen FactoryLLM, un entorno de pruebas (playground) de IA seguro y de código abierto diseñado para evaluar modelos de Generación Aumentada por Recuperación (RAG) en un contexto de múltiples máquinas. El sistema está construido como un flujo de trabajo de seis capas impulsado por configuración:

1. Capa de Configuración: Permite a los operadores definir el proveedor de LLM subyacente (soporta modelos locales, de código abierto o en la nube), estrategias de prompting (Input-Output, Chain-of-Thought, Tree-of-Thought, Graph-of-Thought) y estrategias de RAG (basadas en vectores o en grafos). Todos los ajustes se almacenan de forma persistente para asegurar la reproducibilidad experimental.
2. Capa de Ingestión de Conocimiento: Gestiona la carga y el procesamiento de documentos técnicos (PDF, DOCX, TXT). Los documentos se segmentan en fragmentos (chunks) y se indexan en bases de datos específicas de la sesión. El sistema soporta tanto ChromaDB para la recuperación basada en vectores como NebulaGraph para la recuperación basada en grafos, permitiendo la indexación conjunta de la documentación de múltiples máquinas (por ejemplo, un Vehículo Inteligente Autónomo y su software de Planificador Móvil).
3. Capa de Recuperación: Al recibir una consulta, esta capa ejecuta la estrategia de RAG seleccionada. En modo vectorial, realiza búsquedas de similitud; en modo de grafo, explora las relaciones entre conceptos. Recupera las secciones de documentos más relevantes (top-k) del índice unificado de múltiples máquinas.
4. Capa de Razonamiento: Procesa el contexto recuperado utilizando el LLM y la estrategia de prompting configurada para sintetizar una respuesta fundamentada.
5. Capa de Interacción: Una interfaz de chat donde los usuarios envían consultas y visualizan respuestas, sirviendo como puente entre el usuario y el flujo de trabajo.
6. Capa de Evaluación: El sistema emplea una configuración de evaluación dual para evaluar el desempeño:
   • Framework RAGAS: Mide métricas como fidelidad (faithfulness), relevancia de la respuesta, precisión del contexto y recuperación de contexto (context recall).
   • LLM-as-a-Judge: Utiliza las métricas de NVIDIA para proporcionar una evaluación adicional de la calidad de la generación.

Contribuciones Clave

El artículo realiza tres contribuciones primarias:

1. Plataforma FactoryLLM: La introducción de un entorno de pruebas de LLM seguro y de código abierto diseñado específicamente para soportar el razonamiento a través de múltiples fuentes de documentación heterogénea que abarcan diferentes máquinas y procesos.
2. Estudio de Caso de Multi-Máquina: Una demostración de la eficacia de la plataforma utilizando un escenario realista de manufactura inteligente que involucra un Vehículo Inteligente Autónomo (AIV) y su software de gestión de flota, el Planificador Móvil. Esta configuración pone a prueba la capacidad del sistema para diagnosticar fallas que se manifiestan tanto en la capa de hardware como en la de software.
3. Evaluación Sistemática: Una evaluación exhaustiva de múltiples LLM y estrategias de prompting utilizando métricas estandarizadas (RAGAS y LLM-as-a-Judge) para evaluar el desempeño del razonamiento entre máquinas, abordando la falta de evaluación estandarizada en contextos de mantenimiento industrial.

Resultados

Los autores evaluaron tres LLM a través de 30 consultas de mantenimiento derivadas de aproximadamente 600 páginas de documentación cruzada (manuales de AIV y del Planificador Móvil).

• Fundamentación (Groundedness): Cada modelo evaluado alcanzó una puntuación de fundamentación superior a 0.88, lo que indica que las respuestas generadas estaban fuertemente respaldadas por la documentación recuperada.
• Efectividad: Los resultados sugieren que FactoryLLM es efectivo para realizar el razonamiento de documentos entre máquinas, logrando recuperar y sintetizar información de fuentes dispares para explicar escenarios de falla.
• Privacidad y Seguridad: El sistema demostró con éxito la capacidad de ejecutar LLM locales o de código abierto sin requerir el intercambio de datos industriales sensibles, proporcionando un entorno controlado para la experimentación.

Significado y Reivindicaciones

El artículo posiciona a FactoryLLM como un paso crítico hacia la resolución de la "brecha de experiencia" en la manufactura inteligente, donde el retiro de técnicos experimentados deja a menos operadores capaces de diagnosticar fallas complejas de sistemas múltiples.

• Cerrando la Brecha: FactoryLLM llena tres brechas de investigación específicas: la falta de razonamiento entre máquinas en los sistemas RAG actuales, la prevalencia de implementaciones propietarias (no reproducibles) y la ausencia de métricas de evaluación estandarizadas para tareas de mantenimiento de manufactura.
• Reproducibilidad y Transparencia: Al ser de código abierto y permitir la ejecución local, la plataforma permite a la comunidad probar y comparar diferentes modelos y estrategias sin preocupaciones de privacidad de datos.
• Línea Base para la Investigación: Los autores afirman que FactoryLLM proporciona una línea base repetible para futuras investigaciones en el razonamiento de mantenimiento entre máquinas, yendo más allá de las evaluaciones de un solo documento o una sola máquina para abordar la realidad interconectada de las plantas de fabricación modernas.

El código completo y la documentación están disponibles públicamente para facilitar las pruebas de la comunidad con escenarios específicos de manufactura.