Evaluating the Use of LLM-based Multi-Agent Systems for Internal Information Sharing and Access Within Manufacturing

Resumo Técnico: Avaliando Sistemas Multi-Agentes Baseados em LLM para Compartilhamento de Informações Internas na Manufatura

Definição do Problema
O compartilhamento de informações internas em empresas de manufatura é atualmente dificultado por silos de dados, sistemas digitais heterogêneos e baixa qualidade de dados, particularmente através da divisão IT/OT definida pela hierarquia funcional ISA-95. Embora os Grandes Modelos de Linguagem (LLMs) sejam propostos como soluções para integrar dados de tecnologia operacional (OT) e tecnologia da informação (IT), há uma falta significativa de evidências empíricas comparando seu desempenho contra usuários humanos não assistidos em tarefas representativas de manufatura. Além disso, pesquisas existentes frequentemente negligenciam os níveis inferiores da ISA-95 (L1–L2), carecem de benchmarking humano quantitativo e falham em testar a resiliência do sistema sob condições de qualidade de dados variáveis, comuns na manufatura do mundo real (ex: erros de leitura, identificadores truncados).

Metodologia
O estudo utilizou o Demonstrador Smart Factory VOOM, uma linha de produção de impressão 3D, para gerar dados heterogêneos abrangendo os níveis 1 a 3 da ISA-95. O conjunto de dados incluiu rastreamento de localização, rastreamento de relacionamento, listas de embalagem (PDFs), logs de máquinas e Certificados de Liberação Autorizada (PDFs).

Um sistema de LLM multi-agente modular foi desenvolvido utilizando o framework LangChain, apresentando quatro agentes especializados:

1. Agente Mestre: Orquestra fluxos de trabalho e decompõe consultas.
2. Agente de Recuperação de Dados: Interface com fontes de dados brutos por meio de um conjunto de ferramentas específicas do domínio.
3. Agente de Reconciliação: Realiza a validação cruzada de informações de fontes díspares.
4. Agente de Síntese: Gera relatórios legíveis por humanos.

O sistema foi testado contra nove participantes humanos (estudantes de engenharia com literacia técnica, mas sem experiência prévia em fábrica) em três complexidades de tarefas:

• E-Tasks (Fáceis): Recuperação de informação de 3 etapas.
• M-Tasks (Médias): Rastreabilidade de 4 etapas.
• H-Tasks (Difíceis): Verificação complexa de 6 etapas.

O desempenho foi avaliado sob quatro condições de qualidade de dados:

• Q0: Baseline (sem corrupção).
• Q1: Injeção de espaços em branco em identificadores.
• Q2: Identificadores truncados.
• Q3: Vínculos relacionais rompidos (remoção unidirecional).

Seis LLMs de três provedores (Anthropic, DeepSeek, OpenAI) foram testados, com cada tarefa executada três vezes para considerar a variação estocástica.

Principais Resultados

• Desempenho Geral: Os LLMs de melhor desempenho superaram significativamente o participante humano médio tanto em precisão quanto em velocidade. A precisão média dos seis LLMs foi de 80,2%, comparada a 62,2% para humanos. O melhor modelo, Claude Sonnet-4, alcançou 94,1% de precisão, enquanto o melhor participante humano alcançou 100%. No entanto, modelos menores (ex: GPT-4o Mini com 50,7%) ficaram abaixo da média humana.
• Velocidade: Os LLMs foram substancialmente mais rápidos. O tempo de conclusão mediana agrupada para os LLMs foi de 14 segundos, comparado a 152 segundos para humanos.
• Complexidade da Tarefa: Contrariando a suposição do design experimental, a dificuldade da tarefa não correlacionou linearmente com o número de etapas. Humanos e LLMs tiveram um desempenho melhor em tarefas H de 6 etapas do que em tarefas E de 3 etapas, sugerindo que a fragmentação da interface e a ambiguidade de busca, em vez da extensão procedimental, impulsionam as taxas de erro.
• Resiliência à Qualidade de Dados:
  • Robusto: O sistema foi resilente à injeção de espaços em branco (Q1) e aos vínculos relacionais rompidos (Q3), frequentemente mantendo uma precisão próxima da perfeição onde os humanos tiveram dificuldades.
  • Vulnerável: O desempenho degradou drasticamente com identificadores truncados (Q2), causando quedas de precisão de até 42,2 pontos percentuais para alguns modelos. Isso destaca uma vulnerabilidade em buscas determinísticas quando os dados de caracteres estão ausentes.
• Sensibilidade ao Prompt: Um subestudo revelou que aumentar a verbosidade do prompt (adicionando contexto e estruturação passo a passo) reduziu significativamente a precisão para os principais modelos, com alguns caindo de ~94% para ~22% de precisão sob condições de prompt "Long" (longo).

Principais Contribuições

1. Benchmarking Empírico: Este estudo fornece uma das primeiras comparações quantitativas de sistemas multi-agentes de LLM integrados contra operadores humanos não assistidos em um contexto de manufatura, indo além de pesquisas qualitativas ou métricas isoladas de PLN.
2. Avaliação de Diferentes Níveis: Aborda a lacuna na literatura em relação aos níveis inferiores da ISA-95 (L1–L2), demonstrando a viabilidade de recuperar e sintetizar dados através da fronteira IT/OT.
3. Teste de Estresse de Qualidade de Dados: A pesquisa quantifica empiricamente como tipos específicos de corrupção de dados (espaço em branco, truncamento, rompimento de vínculo) impactam a recuperação automatizada, revelando que os LLMs são robustos a certos ruídos, mas frágeis ao truncamento de identificadores.
4. Validação Arquitetural: O estudo valida uma arquitetura multi-agente com recuperação adaptativa e reconciliação, mostrando sua eficácia no tratamento de tarefas de síntese de múltiplos documentos que sistemas RAG tradicionais têm dificuldade em lidar.

Significância e Alegações
O artigo alega que sistemas multi-agentes de LLM possuem forte potencial para servir como uma camada de suporte à decisão para o acesso à informação na manufatura, oferecendo ganhos substanciais em velocidade e precisão média sobre processos manuais. No entanto, os autores enfatizam que essa vantagem é condicional:

• A Seleção do Modelo é Crítica: Nem todos os LLMs são adequados; modelos menores ou menos capazes podem ter desempenho inferior aos humanos.
• A Supervisão Humana é Necessária: Os melhores participantes humanos superaram todos os modelos, indicando que os LLMs devem aumentar, e não substituir, operadores qualificados.
• Restrições de Design: O implantação bem-sucedida requer design de prompt cuidadoso (evitando verbosidade excessiva), validação rigorosa de dados (especificamente para integridade de identificadores) e supervisão humana para gerenciar casos extremos.

O estudo conclui que, embora esses sistemas possam efetivamente mitigar silos de informação em ambientes delimitados, sua viabilidade em ambientes de manufatura reais e não controlados requer validação adicional com grupos de participantes maiores e mais experientes e dados industriais em tempo real.