Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

용융 금속을 모래 주형에 부어 거대한 부품을 만드는 중공업인 철강 주조 분야에서, 완벽한 제품과 결함이 있는 제품의 차이는 종종 눈에 보이지 않는 물리학에서 결정됩니다. 주조가 실패했을 때, 엔지니어들은 기계 로그, 실험실 테스트, 그리고 금속이 냉각되고 응고되는 과정을 담은 복잡한 컴퓨터 시뮬레이션으로부터 단서들을 모아내는 엄격한 조사인 근본 원인 분석(root-cause analysis)을 수행해야 합니다. 수십 년 동안 이 작업은 수천 페이지의 매뉴얼을 읽고 데이터의 미묘한 패턴을 해석할 수 있는 인간 전문가들에게 의존해 왔습니다. 최근, 새로운 도구가 대화에 등장했습니다. 바로 거대 언어 모델(LLM)입니다. 이들은 방대한 양의 텍스트를 읽고 놀라운 유창함으로 질문에 답할 수 있는 강력한 컴퓨터 프로그램입니다. 그러나 이들은 심각한 결함을 가지고 있습니다. 바로 틀렸을 때조차 절대적인 자신감을 가지고 말한다는 점입니다. 철강 주조 공장과 같이 이해관계가 걸린 고위험 환경에서, 자신감 있지만 틀린 답변은 위험한 실수나 막대한 비용이 드는 생산 오류로 이어질 수 있습니다. 따라서 과제는 단순히 이 똑똑한 컴퓨터를 사용하는 것이 아니라, 컴퓨터가 정직하고, 근거가 확실하며, 검증 가능하도록 강제하는 시스템을 구축하는 것입니다.

이 논문은 체코 공화국의 한 철강 주조 공장을 위해 독립 연구자가 개발한 그러한 시스템의 구축 과정을 설명합니다. '디지털 파운드리 PRO(Digital Foundry PRO)'라는 이름의 이 프로젝트는 인간 엔지니어를 대체하기 위해 설계된 것이 아니라, 과거 데이터에 기반하여 작동하는 포렌식 조수 역할을 하기 위해 설계되었습니다. 이 연구의 핵심 발견은 거대 언어 모델에게 단순히 "주의해라" 또는 "사실을 확인하라"고 말해서는 안 된다는 것입니다. 대신, 연구진은 컴퓨터가 근거 없는 주장을 하지 못하도록 물리적으로 차단하는 엄격한 디지털 게이트(digital gates)의 프레임워크를 구축해야 했습니다. 이 시스템은 그린 샌드 몰드를 사용하여 철강 주조물을 생산하는 주조 공장의 실제 데이터를 바탕으로 테스트되었습니다. 6개월 동안 이 시스템은 단순한 프로토부터 정교한 도구로 진화하여, 주조 결함과 장비 고장을 분석할 수 있게 되었습니다. 가장 중요한 발견은 시스템이 문제의 진정한 원인을 찾아내는 능력이 컴퓨터에게 더 많은 도구나 더 많은 데이터를 제공하는 데서 오는 것이 아니라, 주어진 구체적인 지침을 변경하는 데서 왔다는 점이었습니다. 컴퓨터가 특이한 점을 찾기 위해 전체 시뮬레이션을 스캔하는 대신, 결함이 형성되는 정확한 순간과 장소를 바라보도록 강제함으로써 시스템의 정확도가 획기적으로 향상되었습니다.

개발 과정은 현재 기술의 한계에 대한 냉혹한 깨달음에서 시작되었습니다. 초기 테스트 중 하나에서, 표준 챗봇에게 주입 장치(pouring unit)가 왜 사이클을 멈추는지 질문했습니다. 기계는 온도 데이터를 살펴보고 금속이 알루미늄이라고 가정하더니, 1,300도 이상의 기록된 온도는 물리적으로 불가능하다고 선언했습니다. 그러고 나서 센서를 교체하고 알람 설정을 낮추라고 권고했습니다. 그 조언은 자신감 있고 합리적으로 들렸지만, 완전히 틀린 것이었습니다. 왜냐하면 해당 주조 공장은 알루미늄이 아닌 철강을 붓고 있었기 때문입니다. 이 오류는 권위 있게 들리지만 스스로의 사실을 검증하는 메커니즘이 부족한 시스템의 위험성을 극명하게 보여주었습니다. 이를 해결하기 위해 연구자는 소프트웨어에 일련의 '게이트'를 구축했습니다. 이것은 컴퓨터가 따르도록 하는 제안이 아닙니다. 특정 조건이 충족되지 않으면 프로세스를 중단시키는 하드코딩된 규칙입니다. 예를 들어, 라이브러리에 있는 문서에 의해 특정 금속 유형이 확인되지 않으면 시스템은 분석을 시작하지 않습니다. 만약 컴퓨터가 매뉴얼의 특정 페이지를 인용하려고 하면, 소프트웨어는 그 인용구가 단어 하나 틀리지 않고 실제 텍스트에 있는지 확인합니다. 만약 컴퓨터가 시뮬레이션 이미지를 참조하려고 하면, 소프트웨어는 해당 이미지 파일이 실제로 존재하는지, 그리고 설명과 일치하는지 검증합니다. 이러한 게이트는 안전망 역할을 하여, 컴퓨터가 사실을 지어내거나 환각(hallucination) 현상을 일으키지 못하도록 보장합니다.

또한 이 시스템은 냉각 과정의 컴퓨터 시뮬레이션을 읽는 새로운 방식을 도입했습니다. 보통 컴퓨터는 핫스팟이나 빠르게 흐르는 금속의 흐름과 같은 문제의 징후를 찾기 위해 전체 시뮬레이션 영상을 스캔합니다. 이러한 접근 방식은 고온이나 빠른 흐름이 때때로 공정의 정상적인 부분일 수 있기 때문에 허위 경보를 초래하는 경우가 많습니다. 새로운 시스템은 규칙을 바꿨습니다. 시스템은 특정 결함이 알려진 정확한 위치, 정확한 시간, 그리고 정확한 임계값 위에서만 시뮬레이션 데이터를 살펴봅니다. 예를 들어, 결함이 주형 내부(core) 근처에서 발생하는 수축(shrinkage)의 일종이라면, 시스템은 나머지 몰드는 무시하고 금속이 응고되는 특정 시간 동안의 그 특정 영역에만 집중합니다. 이 방법은 컴퓨터가 무관한 데이터에 의해 주의가 분산되는 것을 방지합니다. 나아가, 시스템은 기계 매뉴얼을 매우 신중하게 다룹니다. 장비 매뉴얼은 해당 기계가 실제로 가질 수 있는 모든 가능한 기능을 설명하는 경우가 많으며, 공장에 있는 특정 기계가 실제로 가진 기능만을 설명하는 것이 아닙니다. 시스템은 장비에 대한 모든 주장에 대해 '신뢰 수준(trust level)'을 할당하도록 프로그래밍되었습니다. 실제 기계의 작동 데이터와 대조하여 검증된 주장만이 공식 절차에 사용될 수 있었습니다. 매뉴얼에만 근거한 주장은 미검증으로 분류되어, 시스템이 특정 기계가 수행할 수 없는 동작을 권고하는 것을 방지했습니다.

가장 중요한 돌파구는 연구진이 시스템을 어떻게 더 깊게 생각하게 만들 것인지를 테스트했을 때 나타났습니다. 처음에 컴퓨터는 데이터를 읽고 보고서를 생성할 수는 있었지만, 보고서는 피상적이었고 종종 실제 문제를 놓쳤습니다. 연구진은 더 많은 도구와 더 많은 데이터를 추가해 보았지만 결과는 개선되지 않았습니다. 그들은 대신 과업 자체를 바꾸었습니다. 그들은 컴퓨터에게 다섯 가지 구체적인 지침, 즉 '만트(mandate, 명령)'를 주어 문제가 다른 관점에서 보이도록 강제했습니다. 이 지침들은 컴퓨터에게 주형 내부(core) 주변 영역을 조사하고, 중앙의 핫스팟을 주변 구역과 분리하며, 단순한 설명을 적극적으로 반증하도록 지시했습니다. 새로운 도구나 데이터의 추가 없이, 이 새로운 지침들만으로 시스템의 성능은 변모했습니다. 특정 철강 주조물에 대한 일련의 테스트에서, 시스템이 실제 결함의 위치를 정확히 식별한 횟수는 동일한 보고서 내에서 0회에서 3회에서 16회 사이로 급증했습니다. 이는 정보 검색 및 분석 능력이 약 5배가량 향상되었음을 보여줍니다. 컴퓨터는 단순한 텍스트상의 정답인 커다란 수축 구멍(shrinkage hole) 대신, 코어 주변의 미세한 기공(porosity)이라는 실제 문제를 찾아내기 시작했습니다. 이는 분석의 깊이가 제공된 데이터의 양이 아니라, 던져진 질문의 질에 달려 있음을 증명했습니다. 다만, 본 연구에서 시스템의 성능을 비교 검증하기 위해 사용된 참조 분석(reference analysis)은 저자의 지도하에 LLM이 작성한 것이며, 독립적인 전문가의 보고서나 독립적인 인간 전문가의 보고서가 아니라는 점에 유의해야 합니다.

프로젝트 전반에 걸쳐 연구진은 성공 사례만큼이나 중요했던 실패 사례들도 기록했습니다. 그들은 공정 라인 전체의 가상 모델인 '디지털 트윈(digital twin)'을 구축하여 실시간으로 고장을 예측하고자 했습니다. 그러나 그들은 이 모델에 입력되는 데이터가 결함이 있다는 것을 발견했습니다. 시스템은 추측되었거나 다른 기계에서 가져온 한계치와 값을 사용하고 있었고, 이로 인해 거의 모든 측정치를 오류로 표시하고 있었습니다. 연구진은 시스템이 공장의 결함을 찾는 것이 아니라, 공장에 대한 자신의 이해에 결함이 있음을 발견했습니다. 연구진은 인터페이스와 기계 모델을 제거하여 디지털 트윈을 의도적으로 해체했는데, 이는 그것이 아직 현실 세계에 적용될 준비가 되지 않았기 때문이었습니다. 또한 그들은 높은 온도와 가스 결함 사이의 통계적 연관성이 실제로는 잘못된 센서 판독으로 인한 환상임을 발견했습니다. 데이터의 출처를 확인했을 때 온도 판독값이 신뢰할 수 없음을 확인했고, 이에 따라 해당 결과를 철회했습니다. 자신의 작업을 해체하고 결과가 오류임을 인정하는 이러한 태도는 시스템의 신뢰성을 형성하는 핵심적인 부분이 되었습니다.

최종 결과물은 단순하지만 강력한 원칙에 따라 작동하는 시스템입니다: "컴퓨터는 제안하고, 인간은 서명한다." 이 시스템은 공장에서 이미 추출된 과거 데이터를 분석하기 위해 오프라인으로 작동하도록 설계되었습니다. 이 시스템은 공장의 실시간 제어 시스템에 연결되지 않으며, 스스로 결정을 내리지 않습니다. 대신, 증거를 수집하고, 엄격한 규칙에 따라 자신의 사실을 확인하며, 인간 엔지니어에게 보고서를 제출하는 매우 규율 잡힌 조수 역할을 합니다. 인간은 그 결과를 검토하고, 증거를 검증하며, 최종 결정에 책임을 집니다. 연구진은 이 시스템이 몇 달 동안 가동 중단을 일으켰던 주입 장치의 축 불일치(misaligned axis)와 같은 만성적인 결함을 식별할 수 있으며, 실제 결함과 데이터 오류를 구분할 수 있다는 것을 발견했습니다. 그러나 그들은 또한 시스템이 완벽하지는 않다고 언급했습니다. 시스템은 여전히 일부 결함의 정확한 심각도를 정량화하는 데 어려움을 겪으며, 주어진 데이터의 품질에 크게 의존합니다. 데이터가 누락되거나 부정확하다면 시스템은 이를 수정할 수 없습니다.

논문은 이 기술의 미래에 대한 명확한 권고로 마무리됩니다. 연구진은 이와 같은 시스템이 도달할 수 있는 최고 수준의 자율성은 '준비(preparatory)' 단계여야 한다고 제안합니다. 이 단계에서 시스템은 값이나 권고 사항을 준비하고, 이를 안전 한계치와 대조한 뒤, 어떤 조치를 취하기 전에 인간의 확인을 기다릴 수 있습니다. 연구진은 시스템이 검증을 마쳤더라도 공장의 제어 시스템에 직접 기록을 작성하는 것을 방지하도록 명시적으로 권고했습니다. 최종 제품에 대한 책임은 인간 엔지니어에게 있으며, 그 책임은 소프트웨어에 넘겨져서는 안 됩니다. 이 프로젝트는 거대 언어 모델이 정보를 읽고 처리하는 데 강력한 도구이지만, 임계치가 걸린 산업 환경에서 유용하게 쓰이기 위해서는 결정론적이고 코드에 의해 강제되는 규칙의 층위로 감싸져야 함을 보여줍니다. 시스템의 성공은 컴퓨터를 더 똑똑하게 만드는 것이 아니라, 그 주변의 규칙을 더 엄격하게 만드는 데서 왔습니다. 컴퓨터가 자신의 주장을 증명하고, 올바른 장소와 시간을 바라보며, 답을 모를 때 모른다고 인정하도록 강제함으로써, 연구진은 복잡한 철강 주조 문제를 해결하는 데 있어 전문가를 진정으로 도울 수 있는 도구를 만들어냈습니다. 이 연구는 실수가 단순히 틀린 답이 아니라 고장 난 기계나 실패한 제품으로 이어지는 실제 세계에서, 어떻게 신뢰할 수 있는 AI 시스템을 구축할 것인가에 대한 실질적인 가이드가 됩니다.