Hard Constraints, Smooth Gradients: Learning Feasible Inventory Policies via Differentiable Projection

당신이 거대한 소행성 폭풍 속을 항해하는 거대하고 혼란스러운 우주선의 선장이라고 상상해 보십시오. 당신에게는 미래를 예측하고 완벽한 경로를 제안할 수 있는 천재적인 항해사(컴퓨터 두뇌)가 있습니다. 하지만 여기에는 함정이 있습니다. 당신의 우주선에는 엄격하고 깨뜨릴 수 없는 규칙들이 있습니다. 소행성을 통과해서는 안 되며, 연료 제한을 초착해서도 안 되고, 화물창의 최대 중량도 지켜야 합니다. 만약 항해사가 단 하나의 규칙이라도 어기는 경로를 제안한다면, 우주선은 충돌하고 맙니다. 이것이 바로 자원이 제한된 상황에서 최선의 결정을 내리기 위해 헌신하는 과학 분야인 "운영 연구(Operations Research)"의 일상적인 사투입니다. 수십 년 동안 컴퓨터는 규칙은 다룰 수 있지만 현실의 혼돈에는 취약한 경직되고 느린 수학을 사용하여 이 퍼즐들을 풀어왔습니다. 한편, "심층 강화 학습(Deep Reinforcement Learning, DRL)"이라 불리는 더 새롭고 화려한 유형의 컴퓨터 두뇌는 시행착착오를 통해 비행하는 법을 배웠습니다. 이들은 혼돈을 다루는 데 더 빠르고 능숙해졌지만, 엄격한 규칙을 준수하는 법을 몰라 종종 충돌하곤 했습니다.

과학자들이 던진 핵심 질문은 이것입니다. 우리는 새로운 DRL 두뇌처럼 빠르고 똑똑하면서도, 기존의 수학처럼 엄격하게 안전 규칙을 준수하는 조종사를 만들 수 있을까? 만약 우리가 이를 실현할 수 있다면, 글로벌 공급망부터 공장 현장에 이르기까지 모든 것을 훨씬 더 효율적으로 관리하여 수십억 달러를 절약하고 물자 부족을 방지할 수 있을 것입니다. 이 논문은 바로 그 과학의 접점에 들어서서, AI의 유연한 학습 능력과 전통적 수학의 엄격한 안전성 사이의 간극을 메우고자 합니다.

---

논문의 이야기: 로봇에게 규칙을 지키도록 가르치기

이 논문의 저자인 패트릭 헬름(Patrick Helm), 얀-니클라스 도어(Jan-Niklas Doerr), 요렌 가이스브레흐츠(Joren Gijsbrechts), 스테판 미너(Stefan Minner)는 복잡한 의사결정 문제를 위한 새로운 종류의 "조종사"를 구축했습니다. 그들은 이를 **미분 가능한 투영을 갖춘 미분 가능한 정책(differentiable policy with differentiable projection)**이라고 부릅니다. 이름이 매우 복잡해 보이니, 간단한 비유로 풀어보겠습니다.

당신이 로봇을 조종하여 상자를 쌓아야 하는 비디오 게임을 하고 있다고 상상해 보십시오. 로봇의 두뇌(신경망)는 매우 창의적입니다. 상황을 보고 다음 상자를 놓을 "목표 지점"을 외칩니다. 때때로 이 목표는 완벽합니다. 하지만 종종 로봇은 너무 흥분한 나머지 공중에 상자를 쌓으라고 하거나, 좁은 공간에 너무 많은 상자를 넣으라고 제안하기도 합니다. 과거에는 로봇이 실수를 하면 게임이 충돌하게 내버려 두거나(나쁜 결과), 아니면 강제로 멈추고 처음부터 다시 계산하도록 했습니다(느린 결과).

저자들의 해결책은 로봇의 두뇌와 손 사이에 위치하는 3단계 "안전 필터"입니다:

1. 몽상가(The Dreamer): 먼저, 로봇의 두뇌가 연속적이고 매끄러운 목표를 제안합니다. 아직 규칙은 신경 쓰지 않습니다. 그저 이상적인 움직임을 꿈꿀 뿐입니다.
2. 투영기(The Projector): 다음으로, 그 움직임은 "미분 가능한 투영" 모듈에 부딪힙니다. 이것을 마법 같고 탄력적인 벽이라고 생각하십시오. 만약 로봇이 벽 속으로 상자를 밀어 넣으려 한다면, 이 벽은 상자를 가장 가까운 안전한 위치로 부드럽지만 단호하게 밀어냅니다. 결정적으로, 이 벽은 "똑똑합니다." 단순히 상자를 밀어내는 것이 아니라, 얼마나 세게 밀었는지 정확히 계산하여 그 정보를 로봇의 두뇌로 "교훈"으로서 전달합니다. 이를 통해 로봇은 게임의 물리 법칙을 깨뜨리지 않으면서도, 자신이 왜 틀렸는지, 그리고 다음번에는 꿈을 어떻게 조정해야 하는지를 배울 수 있습니다.
3. 정수 매퍼(The Integer Mapper): 마지막으로, 로봇의 손은 반쪽짜리 상자가 아닌 온전한 상자만을 잡을 수 있습니다. 시스템은 이전 단계의 매끄럽고 안전한 위치를 가져와 가장 가까운 정수로 딱 맞춥니다. 하지만 여기서 기술이 들어갑니다. 시스템은 이 과정을 매끄러운 것처럼 보이게 하는 특별한 "대리 그래디언트(surrogate gradient, 영리한 수학적 지름길)"를 사용하여, 로봇의 두가 여전히 결과로부터 배울 수 있도록 합니다.

그들이 발견한 것과 그것이 중요한 이유

연구팀은 이 새로운 조종사를 매우 까다로운 문제들, 즉 다층 구조의 공급 네트워크(다른 공장을 위한 부품을 만드는 공장과 같은 형태)에서 재고를 관리하는 문제에 테스트했습니다. 이 문제들은 자원이 한정되어 있고, 수요가 급변하며, 모든 결정이 다음 결정에 영향을 미치는 문제입니다.

시뮬레이션 결과는 인상적이었습니다. 완벽한 정답을 알고 있는 작은 테스트 케이스에서, 그들의 새로운 방식은 평균적으로 완벽한 점수와 1% 미만의 차이밖에 나지 않을 정도로 정확했습니다. 더 크고 복잡한 네트워크(대기업들이 사용하는 것과 같은)로 옮겨갔을 때, 그들의 방식은 기존의 "최고" 전략들을 상당한 차이로 앞질렀습니다. 구체적으로, 기존의 최적 재고 정책들과 비교했을 때 비용을 최대 9.75% 절감했으며, 복잡한 롤링 호라이즌(rolling-horizon) 계획 프로그램보다 최소 7.7% 더 뛰어난 성과를 보였습니다.

그들은 또한 반도체 제조 분야의 거물인 ASML의 실제 산업 과제를 대상으로 테스트를 진행했습니다. 이 고도의 긴장감이 흐르는 환경에서, 그들의 정책은 기존의 가장 잘 알려진 벤치마크와 비교하여 평균 비용을 3.22% 줄였습니다. 이를 체감해 보자면, ASML의 기계들은 수억 달러의 가치가 있으며, 재고 및 생산 비용에서 아주 작은 비율이라도 절감하는 것은 엄청난 액수의 돈을 아끼는 것을 의미합니다.

그들이 배제한 것들

이 논문은 무엇이 효과가 없는지에 대해서도 매우 명확하게 밝히고 있습니다. 그들은 두 가지 흔한 지름길에 대해 명시적으로 반박합니다:

• 실수에 벌칙 부여하기: 어떤 방법들은 로봇이 규칙을 어겼을 때 단순히 "꾸중(벌칙)"을 줌으로써 규칙을 따르도록 가르치려 합니다. 저자들은 이 방식이 엄격한 제약 조건에는 적합하지 않음을 보여줍니다. 보상이 충분히 높다면 로봇은 여전히 규칙을 어기려 할 수 있기 때문입니다.
• 단순 반올림: 만약 매끄러운 숫자를 가져와 단순히 정수로 반올림한다면(예를 들어 3.9를 3으로 반올림하는 경우), 최선의 움직임을 놓치기 쉽습니다. 그들의 "이중 정보 기반(dual-informed)" 매핑은 훨씬 더 똑똑하며, 단순한 반올림이 놓치는 가장 효율적인 "가능성의 경계" 솔루션에 도달할 수 있도록 보장합니다.

결론

이 논문은 세상의 모든 재고 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 학습 과정 내에 스마트하고 규칙을 준수하는 "투영" 단계를 내장함으로써, 매우 효율적이면서도 복잡하고 상호 의존적인 규칙을 엄격히 준수하는 AI 에이전트를 훈련할 수 있음을 입증합니다. 저자들은 이 접근 방식이 자원이 한정되어 있고 수요가 예측 불가능할 때, 즉 전통적인 방식들이 가장 어려움을 겪는 상황에서 특히 가치가 있다고 제안합니다. 학습 과정을 매끄럽고 미분 가능하게 유지함으로써, 그들은 컴퓨터가 엄격한 제약을 존중하면서도 이산적인 정수 결정(예: "5단위 생산")을 내릴 수 있도록 가르쳤으며, 이는 이론적으로 타당할 뿐만 아니라 경제적으로도 유의미한 결과를 달았습니다.