Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

Na indústria pesada da fundição de aço, onde o metal fundido é despejado em moldes de areia para criar componentes massivos, a diferença entre uma peça perfeita e uma defeituosa muitas vezes reside na física invisível. Quando uma fundição falha, os engenheiros devem realizar uma análise de causa raiz, uma investigação rigorosa que reúne pistas de registros de máquinas, testes laboratoriais e simulações computacionais complexas de como o metal esfria e se solidifica. Por décadas, este trabalho dependeu de especialistas humanos que podiam ler milhares de páginas de manuais e interpretar padrões sutis nos dados. Recentemente, uma nova ferramenta entrou na conversa: modelos de linguagem de grande escala (LLMs). Estes são programas de computador poderosos, capazes de ler vastas quantidades de texto e responder a perguntas com uma fluência notável. No entanto, eles carregam uma falha significativa: falam com absoluta confiança mesmo quando estão errados. Em um ambiente de alto risco como uma fundição de aço, uma resposta confiante, mas incorreta, pode levar a erros perigosos ou custos de produção elevados. O desafio, portanto, não é apenas usar esses computadores inteligentes, mas construir um sistema que os force a ser honestos, fundamentados e verificáveis.

Este artigo descreve a criação de tal sistema, desenvolvido por um pesquisador independente para uma fundição de aço na República Tcheca. O projeto, chamado Digital Foundry PRO, não foi projetado para substituir engenheiros humanos, mas para atuar como um assistente forense que trabalha offline com dados históricos. A descoberta central do trabalho é que você não pode simplesmente dizer a um modelo de linguagem de grande escala para "ter cuidado" ou "verificar seus fatos". Em vez disso, os pesquisadores tiveram que construir uma estrutura rígida de portões digitais que impedem fisicamente o computador de fazer afirmações sem suporte. O sistema foi testado com dados do mundo real de uma fundição que produz fundidos de aço usando moldes de areia verde. Ao longo de seis meses, o sistema evoluiu de um protótipo simples para uma ferramenta sofisticada capaz de analisar defeitos de fundição e falhas de equipamento. O achado mais importante foi que a capacidade do sistema de encontrar a verdadeira causa de um problema não veio de dar ao computador mais ferramentas ou mais dados, mas de mudar as instruções específicas que lhe foram dadas. Ao forçar o computador a olhar para o momento e o lugar exatos onde um defeito se forma, em vez de escanear toda a simulação em busca de algo incomum, a precisão do sistema melhorou dramaticamente.

O processo de desenvolvimento começou com uma percepção nítida sobre as limitações da tecnologia atual. Em um teste inicial, um chatbot padrão foi questionado sobre o motivo de uma unidade de vazamento estar interrompendo seu ciclo. A máquina analisou os dados de temperatura, assumiu que o metal era alumínio e declarou que as temperaturas registradas de mais de 1.300 graus Celsius eram fisicamente impossíveis. Ela então recomendou a substituição do sensor e a redução das configurações de alarme. O conselho era confiante e parecia razoável, mas estava completamente errado porque a fundição estava despejando aço, não alumínio. Este erro destacou o perigo de um sistema que soa autoritário, mas carece de um mecanismo para verificar seus próprios fatos. Para resolver isso, o pesquisador construiu uma série de "portões" no software. Estes não são sugestões para o computador seguir; são regras codificadas que interrompem o processo se certas condições não forem atendidas. Por exemplo, o sistema não iniciará uma análise a menos que o tipo específico de metal seja confirmado por um documento em sua biblioteca. Se o computador tentar citar uma página de um manual, o software verifica o texto real dessa página para garantir que a citação esteja lá, palavra por palavra. Se o computador tentar referenciar uma imagem de simulação, o software verifica se o arquivo de imagem realmente existe e corresponde à descrição. Esses portões atuam como uma rede de segurança, garantindo que o computador não invente fatos ou alucine evidências.

O sistema também introduziu uma nova forma de ler simulações computacionais do processo de resfriamento. Normalmente, um computador pode escanear todo um vídeo de simulação procurando qualquer sinal de problema, como um ponto quente ou um fluxo rápido de metal. Essa abordagem frequentemente leva a alarmes falsos, pois altas temperaturas ou fluxos rápidos são, às vezes, partes normais do processo. O novo sistema mudou as regras: ele só olha para os dados da simulação no local exato, no momento exato e acima do limite exato onde um defeito específico é conhecido por se formar. Por exemplo, se um defeito é um tipo de contração que ocorre perto do núcleo da fundição, o sistema ignora o resto do molde e foca apenas nessa área específica durante o tempo específico em que o metal está se solidificando. Este método evita que o computador se distraia com dados irrelevantes. Além disso, o sistema trata os manuais das máquinas com extrema cautela. Um manual de um equipamento frequentemente descreve todas as características que a máquina poderia ter, não apenas as características da máquina específica da fábrica que ela realmente possui. O sistema foi programado para atribuir um "nível de confiança" a cada afirmação sobre o equipamento. Apenas as afirmações que foram verificadas contra os dados reais de operação da máquina foram permitidas para serem usadas em procedimentos oficiais. Afirmações baseadas apenas no manual foram marcadas como não verificadas, impedindo o sistema de recomendar ações que a máquina específica não poderia realizar.

O avanço mais significativo ocorreu quando os pesquisadores testaram como fazer o sistema pensar mais profundamente. Inicialmente, o computador conseguia ler os dados e produzir um relatório, mas os relatórios eram superficiais e frequentemente perdiam o problema real. Os pesquisadores tentaram adicionar mais ferramentas e mais dados, mas os resultados não melhoraram. Eles então mudaram a própria tarefa. Deram ao computador cinco instruções específicas, ou "mandatos", que o forçaram a olhar para o problema de forma diferente. Essas instruções disseram ao computador para examinar a área ao redor dos núcleos da fundição, para separar o ponto quente central das zonas circundantes e para tentar ativamente refutar explicações simples. Com essas novas instruções, e sem adicionar nenhum novo instrumento, o desempenho do sistema transformou-se. Em uma série de testes em uma fundição de aço específica, o número de vezes que o sistema identificou corretamente o local real do defeito saltou de zero para entre três e dezesseis menções no mesmo relatório. O computador começou a encontrar o problema real, que era um tipo sutil de porosidade em um anel ao redor dos núcleos, em vez da resposta óbvia de livro didático de um grande buraco de contração. Isso provou que a profundidade da análise dependia da qualidade da pergunta feita, não da quantidade de dados fornecidos. É importante notar que a melhoria na recuperação de informações foi de aproximadamente cinco vezes. Contudo, deve-se observar uma limitação fundamental: a análise de referência utilizada para testar o sistema foi escrita por um LLM sob a orientação do autor, não sendo, portanto, um relatório de um especialista humano independente.

Ao longo do projeto, os pesquisadores também documentaram o que não funcionou, o que foi tão importante quanto os sucessos. Eles construíram um "gêmeo digital", um modelo virtual de toda a linha de produção destinado a prever falhas em tempo real. No entanto, descobriram que os dados que alimentavam este modelo eram falhos. O sistema estava usando limites e valores que haviam sido adivinhados ou retirados de uma máquina diferente, levando-o a sinalizar quase todas as medições como um erro. Os pesquisadores perceberam que o sistema não estava encontrando falhas na fábrica; estava encontrando falhas em sua própria compreensão da fábrica. Eles deliberadamente desmantelaram este gêmeo digital, removendo a interface e o modelo da máquina, porque ele não estava pronto para o mundo real. Eles também descobriram que uma ligação estatística entre temperaturas mais altas e mais defeitos de gás era, na verdade, uma ilusão causada por uma leitura de sensor defeituosa. Quando verificaram a fonte dos dados, viram que as leituras de temperatura não eram confiáveis, portanto, retiraram a descoberta. Essa disposição de derrubar o próprio trabalho e admitir quando um resultado era um erro tornou-se uma parte central da confiabilidade do sistema.

O resultado final é um sistema que opera sob um princípio simples, mas poderoso: o computador propõe, e o humano assina. O sistema é projetado para trabalhar offline, analisando dados históricos que já foram exportados da fábrica. Ele não se conecta aos sistemas de controle ao vivo das máquinas e não toma decisões por conta própria. Em vez disso, atua como um assistente altamente disciplinado que reúne evidências, verifica seus próprios fatos contra regras estritas e apresenta um relatório a um engenheiro humano. O humano então revisa as descobertas, verifica as evidências e assume a responsabilidade pela decisão final. Os pesquisadores descobriram que o sistema podia identificar falhas crônicas, como um eixo desalinhado em uma unidade de vazamento que causava interrupções há meses, e podia distinguir entre defeitos reais e erros de dados. No entanto, eles também observaram que o sistema não é perfeito. Ele ainda tem dificuldades em quantificar a severidade exata de alguns defeitos e depende fortemente da qualidade dos dados que recebe. Se os dados estiverem ausentes ou incorretos, o sistema não pode corrigi-los.

O artigo conclui com uma recomendação clara para o futuro desta tecnologia na indústria. Os pesquisadores sugerem que o nível mais alto de autonomia que um sistema como este deve alcançar é um nível "preparatório". Neste nível, o sistema pode preparar um valor ou uma recomendação, verificar contra limites de segurança e aguardar a confirmação de um humano antes que qualquer ação seja tomada. Eles aconselham explicitamente contra permitir que o sistema escreva diretamente nos sistemas de controle da fábrica, mesmo que esteja totalmente validado. A responsabilidade pelo produto final pertence ao engenheiro humano, e essa responsabilidade nunca deve ser transferida para um software. O projeto demonstra que, embora os modelos de linguagem de grande escala sejam ferramentas poderosas para ler e processar informações, eles devem ser envolvidos em uma camada de regras determinísticas e impostas por código para serem úteis em ambientes industriais críticos. O sucesso do sistema não veio de tornar o computador mais inteligente, mas de tornar as regras ao seu redor mais rigorosas. Ao forçar o computador a provar suas afirmações, a olhar para o lugar certo no momento certo e a admitir quando não sabe a resposta, os pesquisadores criaram uma ferramenta que pode genuinamente auxiliar especialistas na resolução dos problemas complexos da fundição de aço. O trabalho serve como um guia prático de como construir sistemas de IA confiáveis no mundo real, onde o custo de um erro não é apenas uma resposta errada, mas uma máquina quebrada ou um produto falho.