Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

Dans l'industrie lourde de la fonderie d'acier, où le métal en fusion est versé dans des moules de sable pour créer des composants massifs, la différence entre une pièce parfaite et une pièce défectueuse tient souvent à une physique invisible. Lorsqu'une pièce de fonderie échoue, les ingénieurs doivent procéder à une analyse des causes racines, une enquête rigoureuse qui assemble des indices provenant des journaux de bord des machines, des tests de laboratoire et des simulations informatiques complexes de la manière dont le métal refroidit et se solidifie. Pendant des décennies, ce travail a reposé sur des experts humains capables de lire des milliers de pages de manuels et d'interpréter des motifs subtils dans les données. Récemment, un nouvel outil est entré dans la conversation : les grands modèles de langage. Ce sont des programmes informatiques puissants capables de lire de vastes quantités de texte et de répondre à des questions avec une fluidité remarquable. Cependant, ils comportent un défaut majeur : ils s'expriment avec une assurance absolue même lorsqu'ils ont tort. Dans un environnement à enjeux élevés comme une fonderie d'acier, une réponse confiante mais incorrecte pourrait conduire à des erreurs dangereuses ou à des coûts de production excessifs. Le défi n'est donc pas seulement d'utiliser ces ordinateurs intelligents, mais de construire un système qui les force à être honnêtes, ancrés dans le réel et vérifiables.

Ce document décrit la création d'un tel système, développé par un chercheur indépendant pour une fonderie d'acier en République tchèque. Le projet, nommé Digital Foundry PRO, n'a pas été conçu pour remplacer les ingénieurs humains, mais pour agir comme un assistant forensique travaillant hors ligne sur des données historiques. La découverte fondamentale de ce travail est qu'on ne peut pas simplement dire à un grand modèle de langage d'être « prudent » ou de « vérifier ses faits ». Au lieu de cela, les chercheurs ont dû construire un cadre rigide de barrières numériques qui empêchent physiquement l'ordinateur de faire des affirmations non étayées. Le système a été testé sur des données réelles d'une fonderie produisant des pièces d'acier à l'aide de moules en sable vert. Sur six mois, le système est passé d'un simple prototype à un outil sophistiqué capable d'analyser les défauts de fonderie et les défaillances d'équipement. La conclusion la plus importante fut que la capacité du système à trouver la véritable cause d'un problème ne provenait pas du fait de donner plus d'outils ou plus de données à l'ordinateur, mais du changement des instructions spécifiques qui lui étaient données. En forçant l'ordinateur à regarder l'instant et l'endroit exacts où un défaut se forme, plutôt que de scanner toute la simulation à la recherche de quelque chose d'inhabituel, la précision du système s'est considérablement améliorée.

Le processus de développement a commencé par une prise de conscience brutale des limites de la technologie actuelle. Lors d'un premier test, un chatbot standard a été interrogé sur la raison pour laquelle une unité de coulée arrêtait son cycle. La machine a examiné les données de température, a supposé que le métal était de l'aluminium, et a déclaré que les températures enregistrées de plus de 1 300 degrés Celsius étaient physiquement impossibles. Elle a ensuite recommandé de remplacer le capteur et d'abaisser les seuils d'alarme. Le conseil était assuré et semblait raisonnable, mais il était totalement erroné car la fonderie coulait de l'acier, et non de l'aluminium. Cette erreur a mis en évidence le danger d'un système qui semble autoritaire mais qui manque d'un mécanisme pour vérifier ses propres faits. Pour résoudre cela, le chercheur a construit une série de « portes » dans le logiciel. Il ne s'agit pas de suggestions que l'ordinateur doit suivre ; ce sont des règles codées en dur qui interrompent le processus si certaines conditions ne sont pas remplies. Par exemple, le système ne commencera pas une analyse à moins que le type spécifique de métal ne soit confirmé par un document présent dans sa bibliothèque. Si l'ordinateur tente de citer une page d'un manuel, le logiciel vérifie le texte réel de cette page pour s'assurer que la citation y figure mot pour mot. Si l'ordinateur tente de référencer une image de simulation, le logiciel vérifie que le fichier image existe réellement et correspond à la description. Ces portes agissent comme un filet de sécurité, garantissant que l'ordinateur ne peut pas inventer de faits ou halluciner des preuves.

Le système a également introduit une nouvelle façon de lire les simulations informatiques du processus de refroidissement. Habituellement, un ordinateur peut scanner l'intégralité d'une vidéo de simulation à la recherche de tout signe de problème, tel qu'un point chaud ou un flux de métal rapide. Cette approche mène souvent à des fausses alertes, car des températures élevées ou des flux rapides font parfois partie normale du processus. Le nouveau système a changé les règles : il ne regarde les données de simulation qu'à l'endroit exact, au moment exact et au-dessus du seuil exact où un défaut spécifique est connu pour se former. Par exemple, si un défaut est un type de retrait qui se produit près du noyau de la pièce, le système ignore le reste du moule et se concentre uniquement sur cette zone spécifique pendant la période précise où le métal se solidifie. Cette méthode empêche l'ordinateur d'être distrait par des données non pertinentes. De plus, le système traite les manuels des machines avec une extrême prudence. Un manuel pour un équipement décrit souvent toutes les fonctionnalités que la machine pourrait avoir, et non seulement les fonctionnalités que la machine spécifique de l'usine possède réellement. Le système a été programé pour attribuer un « niveau de confiance » à chaque affirmation concernant l'équipement. Seules les affirmations vérifiées par rapport aux données de fonctionnement de la machine réelle sont autorisées à être utilisées dans les procédures officielles. Les affirmations basées uniquement sur le manuel sont signalées comme non vérifiées, empêchant le système de recommander des actions que la machine spécifique ne peut pas exécuter.

La percée la plus significative est survenue lorsque les chercheurs ont testé comment faire réfléchir le système plus profondément. Initialement, l'ordinateur pouvait lire les données et produire un rapport, mais les rapports étaient superficiels et passaient souvent à côté du problème réel. Les chercheurs ont essayé d'ajouter plus d'outils et plus de données, mais les résultats ne se sont pas améliorés. Ils ont ensuite changé la tâche elle-même. Ils ont donné à l'ordinateur cinq instructions spécifiques, ou « mandats », qui l'ont forcé à aborder le problème différemment. Ces instructions ordonnaient à l'ordinateur d'examiner la zone autour des noyaux de la pièce, de séparer le point chaud central des zones environnantes, et de tenter activement de réfuter les explications simples. Avec ces nouvelles instructions, et sans ajouter de nouveaux outils, la performance du système a été transformée. Lors d'une série de tests sur une pièce d'acier spécifique, l'amélioration de la capacité de récupération des informations a été d'environ cinq fois supérieure à la version initiale. De plus, le nombre de fois où le système identifiait correctement l'emplacement réel du défaut est passé de zéro à une valeur comprise entre trois et seize mentions dans le même rapport. L'ordinateur a commencé à trouver le vrai problème, qui était un type subtil de porosité formant un anneau autour des noyaux, plutôt que la réponse classique et évidente d'un grand trou de retrait. Il est important de noter que cette amélioration a été mesurée par rapport à une analyse de référence qui a été écrite par un grand modèle de langage sous la direction de l'auteur ; il ne s'agit pas d'un rapport d'expert humain indépendant. Cela prouve que la profondeur de l'analyse dépendait de la qualité de la question posée, et non de la quantité de données fournies.

Tout au long du projet, les chercheurs ont également documenté ce qui n'a pas fonctionné, ce qui était tout aussi important que les succès. Ils ont construit un « jumeau numérique », un modèle virtuel de l'ensemble de la ligne de production destiné à prédire les défaillances en temps réel. Cependant, ils ont découvert que les données alimentant ce modèle étaient défectueuses. Le système utilisait des limites et des valeurs qui avaient été devinées ou empruntées à une autre machine, ce qui le conduisait à signaler presque chaque mesure comme une erreur. Les chercheurs ont réalisé que le système ne trouvait pas de défauts dans l'usine, mais qu'il trouvait des défauts dans sa propre compréhension de l'usine. Ils ont délibérément démantelé ce jumeau numérique, supprimant l'interface et le modèle de la machine, car il n'était pas prêt pour le monde réel. Ils ont également découvert qu'un lien statistique entre des températures plus élevées et davantage de défauts gazeux était en réalité une illusion causée par une lecture de capteur erronée. Lorsqu'ils ont vérifié la source des données, ils ont vu que les lectures de température n'étaient pas fiables, et ils ont donc rétracté la conclusion. Cette volonté de déconstruire leur propre travail et d'admettre quand un résultat était une erreur est devenue une partie centrale de la fiabilité du système.

Le résultat final est un système qui repose sur un principe simple mais puissant : l'ordinateur propose, et l'humain signe. Le système est conçu pour fonctionner hors ligne, en analysant les données historiques qui ont déjà été exportées de l'usine. Il ne se connecte pas aux systèmes de contrôle en direct des machines et ne prend pas de décisions de lui-même. Au lieu de cela, il agit comme un assistant hautement discipliné qui rassemble les preuves, vérifie ses propres faits par rapport à des règles strictes et présente un rapport à un ingénieur humain. L'humain examine ensuite les conclusions, vérifie les preuves et assume la responsabilité de la décision finale. Les chercheurs ont constaté que le système pouvait identifier des défauts chroniques, tels qu'un axe mal aligné sur une unité de coulée qui causait des interruptions depuis des mois, et pouvait distinguer les vrais défauts des erreurs de données. Cependant, ils ont également noté que le système n'est pas parfait. Il éprouve encore des difficultés à quantifier l'ampleur exacte de certains défauts et dépend fortement de la qualité des données qui lui sont fournies. Si les données sont manquantes ou incorrectes, le système ne peut pas les corriger.

L'article conclut par une recommandation claire pour l'avenir de cette technologie dans l'industrie. Les chercheurs suggèrent que le plus haut niveau d'autonomie qu'un système comme celui-ci puisse atteindre est un niveau « préparatoire ». À ce niveau, le système peut préparer une valeur ou une recommandation, la vérifier par rapport aux limites de sécurité et attendre la confirmation d'un humain avant toute action. Ils déconseillent explicitement de permettre au système d'écrire directement dans les systèmes de contrôle de l'usine, même s'il est entièrement validé. La responsabilité du produit final appartient à l'ingénieur humain, et cette responsabilité ne doit jamais être transférée à un logiciel. Le projet démontre que bien que les grands modèles de langage soient des outils puissants pour lire et traiter l'information, ils doivent être enveloppés dans une couche de règles déterministes imposées par le code pour être utiles dans des contextes industriels critiques. Le succès du système n'est pas venu du fait de rendre l'ordinateur plus intelligent, mais de rendre les règles qui l'entourent plus strictes. En forçant l'ordinateur à prouver ses affirmations, à regarder au bon endroit au bon moment et à admettre quand il ne connaît pas la réponse, les chercheurs ont créé un outil capable d'assister véritablement les experts dans la résolution des problèmes complexes de la fonderie d'acier. Ce travail constitue un guide pratique sur la manière de construire des systèmes d'IA fiables dans le monde réel, où le coût d'une erreur n'est pas seulement une mauvaise réponse, mais une machine cassée ou un produit défectueux.