Resumo Técnico: FactoryLLM

Declaração do Problema

Em fábricas inteligentes modernas, os sistemas de produção operam como redes interconectadas onde falhas em um componente frequentemente cascateiam através de múltiplas máquinas e camadas de software. Diagnosticar essas falhas entre sistemas é desafiador não devido à falta de informação, mas porque o conhecimento técnico crítico está fragmentado em centenas de páginas de manuais díspares, cada um utilizando terminologias e abstrações de sistema diferentes.

As soluções existentes enfrentam limitações significativas:

• Busca baseada em palavras-chave falha quando as consultas dos operadores não correspondem à terminologia específica dos manuais técnicos.
• Sistemas especialistas baseados em regras exigem engenharia manual extensiva e têm dificuldade em se adaptar conforme o equipamento evolui.
• Grafos de conhecimento são caros para construir e manter em escala.
• Implementações atuais de LLM/RAG no setor manufatureiro são tipicamente restritas a cenários de máquina única ou documento único, carecendo da capacidade de raciocinar através de documentações heterogêneas de dispositivos interagentes (por exemplo, o hardware e seu software de gestão de frota).
• Privacidade de Dados: Muitas aplicações industriais dependem de modelos proprietários na nuvem, criando barreiras para organizações que não desejam compartilhar dados operacionais sensíveis.

Metodologia: Arquitetura FactoryLLM

Para abordar essas lacunas, os autores propõem o FactoryLLM, um playground de IA seguro e de código aberto projetado para avaliar modelos de Geração Aumentada de Recuperação (RAG) em um contexto de múltiplas máquinas. O sistema é construído como um pipeline de seis camadas, orientado por configuração:

1. Camada de Configuração: Permite que os operadores definam o provedor de LLM subjacente (suportando modelos locais, de código aberto ou em nuvem), estratégias de prompting (Input-Output, Chain-of-Thought, Tree-of-Thought, Graph-of-Thought) e estratégias de RAG (baseadas em vetores ou em grafos). Todas as configurações são armazenadas persistentemente para garantir a reprodutibilidade experimental.
2. Camada de Ingestão de Conhecimento: Lida com o upload e processamento de documentos técnicos (PDF, DOCX, TXT). Os documentos são segmentados em blocos (chunks) e indexados em bancos de dados específicos da sessão. O sistema suporta tanto o ChromaDB para recuperação baseada em vetores quanto o NebulaGraph para recuperação baseada em grafos, permitindo a indexação conjunta de documentação de múltiplas máquinas (por exemplo, um Veículo Inteligente Autônomo e seu software Mobile Planner).
3. Camada de Recuperação: Ao receber uma consulta, esta camada executa a estratégia de RAG selecionada. No modo vetorial, realiza buscas de similaridade; no modo de grafo, explora relacionamentos entre conceitos. Ela recupera os top-k seções de documentos relevantes do índice unificado de múltiplas máquinas.
4. Camada de Raciocínio: Processa o contexto recuperado usando o LLM e a estratégia de prompting configurada para sintetizar uma resposta fundamentada.
5. Camada de Interação: Uma interface de chat onde os usuários enviam consultas e visualizam respostas, servindo como a ponte entre o usuário e o pipeline.
6. Camada de Avaliação: O sistema emprega uma configuração de avaliação dupla para aferir o desempenho:
   • Framework RAGAS: Mede métricas como fidelidade (faithfulness), relevância da resposta, precisão do contexto e recall do contexto.
   • LLM-as-a-Judge: Utiliza as métricas da NVIDIA para fornecer uma avaliação adicional da qualidade da geração.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Plataforma FactoryLLM: A introdução de um playground de LLM seguro e de código aberto, projetado especificamente para suportar o raciocínio através de múltiplas fontes de documentação heterogêneas que abrangem diferentes máquinas e processos.
2. Estudo de Caso de Múltiplas Máquinas: Uma demonstração da eficácia da plataforma usando um cenário realista de manufatura inteligente envolvendo um Veículo Inteligente Autônomo (AIV) e seu software de gestão de frota Mobile Planner. Esta configuração testa a capacidade do sistema de diagnosticar falhas que se manifestam tanto nas camadas de hardware quanto de software.
3. Avaliação Sistemática: Uma avaliação abrangente de múltiplos LLMs e estratégias de prompting usando métricas padronizadas (RAGAS e LLM-as-a-Judge) para avaliar o desempenho de raciocínio entre múltiplas máquinas, abordando a falta de avaliação padronizada em contextos de manutenção industrial.

Resultados

Os autores avaliaram três LLMs através de 30 consultas de manutenção derivadas de aproximadamente 600 páginas de documentação de múltiplas máquinas (manuais do AIV e do Mobile Planner).

• Fundamentação (Groundedness): Cada modelo avaliado alcançou uma pontuação de fundamentação acima de 0,88, indicando que as respostas geradas foram fortemente sustentadas pela documentação recuperada.
• Efetividade: Os resultados sugerem que o FactoryLLM é eficaz em realizar o raciocínio de documentos entre múltiplas máquinas, recuperando e sintetizando com sucesso informações de fontes díspares para explicar cenários de falha.
• Privacidade e Segurança: O sistema demonstrou com sucesso a capacidade de executar LLMs locais ou de código aberto sem a necessidade de compartilhar dados industriais sensíveis, fornecendo um ambiente controlado para experimentação.

Significância e Alegações

O artigo posiciona o FactoryLLM como um passo crítico para resolver o "gap de expertise" na manufatura inteligente, onde a aposentadoria de técnicos experientes deixa menos operadores capazes de diagnosticar falhas complexas de múltiplos sistemas.

• Preenchendo a Lacuna: O FactoryLLM preenche três lacunas de pesquisa específicas: a falta de raciocínio entre múltiplas máquinas nos sistemas RAG atuais, a prevalência de implementações proprietárias (não reprodutíveis) e a ausência de métricas de avaliação padronizadas para tarefas de manutenção de manufatura.
• Reprodutibilidade e Transparência: Por ser de código aberto e suportar execução local, a plataforma permite que a comunidade teste e compare diferentes modelos e estratégias sem preocupações com a privacidade dos dados.
• Base para Pesquisa: Os autores afirmam que o FactoryLLM fornece uma base repetível para pesquisas futuras em raciocínio de manutenção entre múltiplas máquinas, indo além das avaliações de documento único ou máquina única para abordar a realidade interconectada dos pisos de fábrica modernos.

O código completo e a documentação estão publicamente disponíveis para facilitar o teste da comunidade com cenários de manufatura específicos.