Explaining Process Control Optimisation Recommendations via GradientSHAP and Implicit Differentiation

거대한 기계들이 공장을 가동하고, 인간의 손 대신 초지능형 컴퓨터 브레인이 모든 결정을 내리는 세상을 상상해 보십시오. 이것이 바로 **산업 공정 제어(industrial process control)**의 영역입니다. 알고리즘은 생산을 원활하고 안전하게 유지하기 위해 압력이나 속도와 같은 설정값을 끊임없이 미세하게 조정합니다. 하지만 여기에 까다로운 문제가 있습니다. 실제로 기계를 운용하는 사람들, 즉 운영자들은 종종 컴퓨터를 신뢰하지 않는다는 점입니다. 만약 로봇이 갑자기 "압력을 높이세요!"라고 말한다면, 운영자는 "왜? 고장 난 건가? 아니면 폭발하려는 건가?"라고 생각하며 주저할 수 있습니다. 이것이 바로 **신뢰의 격차(trust gap)**입니다.

이를 해결하기 위해 과학자들은 **설명 가능한 AI(Explainable AI, XAI)**라는 도구를 사용해 왔습니다. XAI를 컴퓨터의 비밀스러운 수학을 쉬운 영어로 바꿔주는 번역기라고 생각해 보십시오. SHAP라고 불리는 인기 있는 번솔기 중 하나는 탐정처럼 행동하여, 결정 과정을 세분화함으로써 어떤 단서(또는 입력 숫자)가 최종 판결에 이르게 했는지 정확히 보여줍니다. 하지만 함정이 있습니다. 최적화 알고리즘(최적의 설정을 끊임없이 찾아내는 컴퓨터)의 결정을 설명하는 것은 매우 느리고 어렵다는 점입니다. 이는 마치 체스 한 수를 두는 것을 설명하기 위해, 입으로 말을 내뱉기도 전에 머릿속에서 가능한 모든 미래의 게임을 시뮬레이션하는 것과 같습니다. 이 논문은 이 속도 문제를 다루며, 운영자가 즉각적으로 신뢰하고 행동할 수 있도록 기계의 선택에 대한 명확한 이유를 실시간으로 제공하는 것을 목표로 합니다.

---

이 논문의 핵심 아이디어: 기계의 뇌를 위한 "즉석 번역기"

이 논문은 산업용 기계가 왜 설정을 변경하는지 설명하는 영리하고 새로운 방법을 소개하며, 이 과정을 실시간으로 일어날 수 있을 만큼 빠르게 만듭니다. 연구자와 엔지니어들로 구성된 스트래스클라이드 대학교(University of Strathclyde)와 위어(Weir) 팀의 저자들은 **고압 분쇄 롤(High Pressure Grinding Roll, HPGR)**이라는 특정 중장비에 집중했습니다. 두 개의 거대한 반대 방향 회전 롤이 암석을 가루로 으깨는 모습을 상상해 보십시오. 이 기계는 두 가지 주요 조절 장치, 즉 얼마나 강하게 쥐어짤지(압력)와 얼마나 빨리 회전할지(속도)를 조정해야 합니다.

쇼를 주도하는 컴퓨터는 들어오는 암석(크기와 모양)과 인간이 설정한 목표(얼마나 많은 양의 가루를 만들고 얼마나 미세하게 만들 것인지)를 끊임없이 관찰합니다. 그런 다음 목표를 달art하기 위한 완벽한 압력과 속도를 계산합니다. 하지만 컴퓨터가 마음을 바꿀 때, 예를 들어 압력을 3바(bar) 낮추기로 결정했을 때, 운영자는 즉시 그 이유를 알아야 합니다.

기존 방식 vs. 새로운 방식

이전에는 이러한 변화를 설명하기 위해 **커널SHAP(KernelSHAP)**이라는 방법을 사용해야 했습니다. 이는 컴퓨터에게 전체 최적화 문제를 아주 작은 부분 하나씩 바꾸어가며 결과가 어떻게 변하는지 반복해서 실행하도록 요청하는 것과 같았습니다. 이는 정확했지만 너무나 느렸습니다. 논문에 따르면 기존 방식은 단 하나의 설명을 생성하는 데 약 362.9초(거의 6분)가 걸렸습니다. 실제 공장에서 그만큼 기다리는 것은 무용지물입니다. 기계는 지금 당장 답을 내놓아야 합니다.

저자들의 새로운 접근 방식은 **내재 함수 정리(Implicit Function Theorem, IFT)**라는 수학적 지름길을 사용합니다. 최적화 문제를 복잡한 미로라고 상상한다면, 기존 방식은 출구를 찾기 위해 모든 경로를 걸어갔던 것입니다. 새로운 방식은 지도(미로 자체의 수학)를 사용하여, 벽 하나를 옮겼을 때 출구가 정확히 어떻게 움직이는지를 즉각적으로 계산합니다. 이를 통해 그들은 더 빠른 버전의 번역기인 **그래디언트SHAP(GradientSHAP)**을 사용할 수 있게 되었습니다.

결과: 속도와 명확성

연구팀은 이 새로운 방식을 HPGR 기계에 테스트했습니다. 결과는 극적이었습니다:

• 속도: 새로운 방식은 단 7.7~8.6초 만에 설명을 생성했습니다. 이는 기존 방식과 비교했을 때 40~47배 빠른 속도입니다.
• 정확도: 훨씬 더 빠름에도 불구하고, 새로운 방식은 거의 완벽하게 정확했습니다. 새로운 "즉석" 설명과 기존의 "느린" 설명을 비교했을 때, 결과는 0.99 이상의 상관관계를 보이며 일치했습니다. 이는 빠른 방식이 진실을 위해 타협한 것이 아니라, 단지 더 똑똑한 경로를 찾았음을 의미합니다.

수학에서 이야기로

숫자를 맞추는 것은 전투의 절반에 불과합니다. 이 논문은 또한 그 숫자들을 인간 운영자가 이해할 수 있는 이야기로 바꾸는 방법을 보여줍니다. 저자들은 자연스러운 언어 설명을 작성하는 데 뛰어난 AI인 **대규모 언어 모델(LLM)**을 사용하여 가공되지 않은 수학 데이터를 자연어 설명으로 변환했습니다.

하지만 저자들은 실제 엔지니어들과 대화하며 귀중한 교훈을 얻었습니다. 사용자에게 수학으로 압도하지 마십시오.

• 효과가 없었던 것: 가공되지 않은 SHAP 숫자(예: "0.15 bar 기여도")를 보여주는 것은 운영자들을 혼란스럽게 했습니다. 한 전문가는 "SHAP에 대한 배경 지식이 없는 사람으로서, '이 SHAP 값이 의미하는 것' 섹션은 명확하지 않다"고 언급했습니다.
• 효과가 있었던 것: 가장 좋은 설명은 한 문장의 요약으로 시작했습니다. 그다음, 익숙하게 느껴지는 반올림된 숫자와 백분율을 사용하여 평이한 용어로 이유를 설명했습니다.

예를 들어, 기계가 약간 더 거친 암석을 생산하면서 처리량은 낮춰야 하는 테스트 시나리오에서, AI는 다음과 같은 설명을 생성했습니다:

"운영자가 낮은 처리량과 약간 더 거친 제품을 원하기 때문에, 시스템은 유입되는 원료 자체가 더 거칠더라도 압력과 롤 속도를 모두 낮출 것을 권장합니다."

그 후 다음과 같이 간단히 나누어 설명했습니다: "운영자가 제품을 약 10 µm 더 거칠게 허용하므로, HPGR는 만큼 강하게 으깰 필요가 없습니다... 최종 결과: 압력이 3 bar 감소합니다."

이것이 미래에 갖는 의미

이 논문은 자동화된 공장에서 속도와 신뢰를 동시에 확보하는 것이 가능하다는 것을 확인해 줍니다. 최적화 문제의 수학 자체를 활용함으로써(블랙박스로 취급하는 대신), 팀은 복잡한 기계 결정에 대해 실시간의, 인간 친화적인 설명을 얻을 수 있음을 증명했습니다.

물론 아직 한계는 있습니다. 현재 방식은 기계의 해답이 "안전 구역 내부"(제약 조건이 없는 상태)에 있을 때 가장 잘 작동합니다. 기계가 단단한 벽이나 안전 제한치에 부딪히면 수학이 더 까다로워지며, 저자들은 이러한 특정 경계 사례를 처리하기 위한 향후 연구가 필요하다고 언급했습니다. 하지만 현재로서는 이 접근 방식은 차가운 알고리즘의 논리와 세계의 공장을 움직이는 인간의 실질적인 요구 사이를 잇는 유망한 가교 역할을 하고 있습니다.