Progressive Context Enrichment for LLM-Based MILP Formulation in Open-Pit Mine Production Scheduling

당신이 거대한 암석으로 이루어진 떠 있는 도시의 선장이라고 상상해 보십시오. 당신의 임무는 정확히 어떤 돌덩이를, 언제 파낼지, 그리고 어떻게 가공해야 향후 20년 동안 가장 많은 돈을 벌 수 있을지 결정하는 것입니다. 이것은 단순히 "여기 파라, 저기 파라" 식의 게임이 아닙니다. 이것은 '오픈 피트 광산 생산 스케줄링(Open-Pit Mine Production Scheduling)'이라는 고도의 정밀함이 요구되는 퍼즐입니다. 문제는 규칙이 매우 엄격하다는 점입니다. 당신은 위에 있는 돌들을 먼저 제거하기 전까지는 그 아래에 있는 블록을 팔 수 없으며(마치 젠가 타워처럼), 공장이 소화할 수 있는 양보다 더 많은 돌을 가공해서도 안 되고, 공장으로 보내는 암석의 혼합 품질 또한 아주 적절해야 합니다. 이 퍼즐을 완벽하게 풀기 위해서는 '혼합 정수 선형 계획법(Mixed Integer Linear Programming, MILL)'이라는 초지능적인 수학 도구가 필요합니다. 이는 일종의 모든 규칙과 목표를 컴퓨터가 해결할 수 있는 언어로 기술하는 방법입니다. 하지만 문제는, 이러한 수학적 규칙을 작성하는 것이 너무 어려워서 전 세계의 극소수 전문가들만이 할 수 있으며, 광산의 상황이 변하거나 규칙이 까다로워지면 그들조차 난관에 봉착한다는 것입니다.

여기에 새로운 강자들이 등장했습니다: 대규모 언어 모델(LLM). 이들은 에세이를 쓰거나 코드를 작성하는 ChatGPT나 Gemini 같은 여러분이 잘 아는 AI 챗봇들입니다. 이들은 언어를 이해하고 컴퓨터 프로그램을 작성하는 데 탁월합니다. 과학자들은 한 가지 질문을 던졌습니다: "우리가 AI에게 '여기에 광산이 있고, 이런 규칙들이 있으니, 수학 코드를 작성해 줘'라고 말하면, AI가 인간 전문가의 역할을 대신할 수 있을까?" 이는 꿈처럼 들리지만, AI는 상황이 복잡해지면 혼란에 빠지는 습성이 있습니다. AI는 겉보기에 멀쩡해 보이고 숫자도 내놓는 코드를 작성할 수 있지만, 속으로는 규칙을 무시하고 있을 수도 있습니다. 이 논문은 우리가 AI에게 더 나은 힌트를 줌으로써 이들을 더 나은 광산 계획가로 가르칠 수 있는지 깊이 파고들며, 질문을 던지는 방식이 AI 자체보다 더 중요하다는 사실을 발견했습니다.

AI 광산 계획가의 훈련 캠프

레이크헤드 대학교와 뉴펀들랜드 기념 대학교의 연구진은 새로운 수학을 가르치지 않고도 일반 목적의 AI를 광산 스케줄링의 달인으로 만들 수 있는지 확인하기 위해 영리한 실험을 설계했습니다. 그들은 AI를 처음부터 다시 학습시키려는 것이 아니라, 문제를 해결하기 전에 AI에게 더 나은 '학습 자료'를 제공하여 '컨텍스트(맥락)를 풍부하게' 만드는 방법을 시험하고자 했습니다.

그들은 네 가지 서로 다른 AI 모델(ChatGPT, Gemini, DeepSeek, Copilot)을 위해 4단계의 훈련 캠프를 만들었습니다. 이는 마치 학생에게 복잡한 에세이를 쓰는 법을 가르치는 것과 같습니다:

1. 기본 프롬프트: 가장 최소한의 정보, 즉 광산에 대한 단순한 텍스트 설명으로 시작합니다. 이는 마치 학생에게 "광업에 대해 써라"라는 짧은 문장을 주고 논문을 기대하는 것과 같습니다.
2. 시뮬레이션 로그: 다음으로, 이미 광산을 운영해 본 탐욕스러운 로봇의 '일기'를 추가했습니다. 이 로그는 어떤 암석이 선택되었고, 어떤 것이 건너뛰어졌으며, 언제 공장이 가득 찼는지 등 기간별 상황을 보여줍니다. 이는 학생에게 누군가가 실제로 문제를 해결하려고 시도했던 일기를 보여주어, AI가 규칙의 '동작 방식'을 관찰할 수 있게 하는 것과 같습니다.
3. 시뮬레이터 코드: 그다음, AI에게 그 탐욕스러운 로봇의 실제 소스 코드를 제공했습니다. 이것은 단순한 일기가 아니라 로봇이 의사결정을 내리는 데 사용하는 '설명서'였습니다. "공장이 가득 차면 멈춰라", "위의 블록이 제거되지 않았다면 기다려라"와 같은 논리를 보여줍니다.
4. 주석이 달린 코드: 마지막으로, 이 소스 코드에 곳곳에 '포스트잇(주석)'을 붙였습니다. 각 코드 라인이 수학적 용어로 무엇을 의미하는지(예: "이 라인은 채굴 용량 규칙이다", "이것은 선행 규칙이다") 라벨을 붙였습니다. 이는 로봇의 논리를 수학적 언어로 직접 번역한 궁극의 '치트 시트'였습니다.

"침묵하는 실패(Silent Failure)"의 함정

이 연구에서 가장 놀라운 발견은 AI가 얼마나 잘했느냐가 아니라, 얼마나 '잘 숨겨서 실수하느냐'였습니다. 연구진은 만약 AI에게 코드를 작성하고 실행하라고 요청하면, 많은 모델이 완벽해 보이는 솔루션을 내놓는다는 것을 발견했습니다. AI는 수익(순현재가치, NPV)을 제시하며 "성공! 광산 스케줄이 완료되었습니다!"라고 말할 것입니다.

하지만 연구진이 자세히 살펴보니, '침묵하는 실패'가 발견되었습니다. 이는 결과값이 기술적으로는 '실행 가능(feasible)'하여 컴퓨터가 멈추지는 않았지만, 실제로는 망가진 상태를 의미합니다. AI가 가장 중요한 규칙 중 하나, 예를 들어 "위의 블록이 제거되기 전에는 아래 블록을 팔 수 없다"는 규칙을 적용하는 것을 잊어버린 것입니다. AI는 허점을 찾아냈거나 그냥 규칙을 무시했고, 컴퓨터는 물리적으로 존재할 수 없는 광산의 수익을 기꺼이 계산해 냈습니다. 이는 학생이 에세이를 썼는데, 내용은 그럴싸해 보이지만 정작 주제는 완전히 무시한 것과 같습니다. 선생님이 얼핏 보기에는 통과 점수를 줄 수 있겠지만, 실제로는 엉터리인 상황입니다.

논문은 '실행 가능한' 결과가 곧 AI가 제대로 해냈음을 의미하는 것은 아니라고 명시적으로 밝힙니다. 실제로 네 가지 AI 모델 중 세 가지 모델의 경우, 더 많은 정보(로그 및 코드)를 제공했을 때 오히려 이러한 '침묵하는 실패'가 증가했습니다. AI는 더 자신감을 얻었지만, '확신에 찬 오답'을 낸 것입니다. 오직 Gemini만이 제공된 정보의 양에 상관없이 이러한 침묵하는 실패를 완전히 피할 수 있었습니다.

"치트 시트"의 마법

연구진이 침묵하는 실패를 걸러내고 실제로 유효한 솔루션만을 살펴본 결과는 매우 명확했습니다.

• 텍스트만으로는 부족했습니다: AI가 기본 텍스트 설명만 가졌을 때는 거의 성공하지 못했습니다.
• 로그는 약간의 도움이 되었습니다: 로봇의 일기(시뮬레이션 로그)를 보는 것은 AI가 시간의 흐름과 자원의 흐름을 이해하는 데 도움을 주어 결과를 약간 개선했습니다.
• 코드가 결정적이었습니다: AI에게 시뮬레이터의 실제 소스 코드를 주었을 때, 솔루션의 품질이 크게 뛰어올랐습니다. 코드는 AI에게 규칙이 실제로 어떻게 작동하는지 보여주는 가교 역할을 했습니다. 이것이 전체 수익 숫자를 맞추는 데 가장 유익한 요소였습니다.
• 주석은 정밀함을 더했습니다: 마지막 단계인 코드에 '포스트잇(주석)'을 붙이는 작업은 반드시 수익 숫자를 높이지는 않았지만, 솔루션의 '구조'를 훨씬 더 정확하게 만들었습니다. 이는 AI가 코드의 어느 부분이 어떤 수학적 규칙에 해당하는지 이해하도록 도왔습니다. 특히 채굴 순서(선행 관계)나 암석 등급 혼합과 같은 까다로운 규칙을 다루는 데 매우 효과적이었습니다.

누가 승리했는가?

테스트된 네 가지 AI 모델 중 Gemini가 압도적인 우위를 점했습니다. Gemini는 침묵하는 실패를 전혀 발생시키지 않은 유일한 모델로, 솔루션이 있다고 말할 때마다 실제로 유효한 솔루션을 내놓았습니다. 주석이 달린 코드를 받았을 때, Gemini의 솔루션은 인간이 만든 벤치마크에 매우 근접했으며, '패널티가 적용된 상대 오차(실수와 틀린 답을 모두 계산하는 점수)'는 100%(완전 실패)에서 단 21.6%까지 떨어졌습니다.

ChatGPT나 Copilot 같은 다른 모델들은 더 고전했습니다. 이들은 겉보기에는 좋아 보이지만 구조적으로 결함이 있는 솔루션을 자주 만들어냈습니다. 흥미롭게도, 이들에게 주석이 달린 코드를 주는 것이 항상 도움이 되지는 않았습니다. 일부 모델의 경우, 추가된 메모가 오히려 혼란을 주거나 새로운 유형의 오류를 유발하기도 했습니다. 이는 서로 다른 AI들이 다르게 '생각'한다는 것을 시사하며, 한 모델에게는 유용한 힌트가 다른 모델에게는 노이즈(소음)가 될 수 있음을 보여줍니다.

시사점

이 논문의 결론은, 광산 스케줄링과 같은 복잡한 수학 문제에 AI를 사용하는 데 있어 주된 문제는 AI가 충분히 똑똑하지 않아서가 아니라, 우리가 충분한 '컨텍스트(맥락)'를 제공하지 않았기 때문이라는 것입니다. 단순한 텍스트 설명은 너무 모호합니다. 그러나 단순히 더 많은 텍스트를 던져주는 것이 정답도 아닙니다. 핵심은 실행 가능한 로직(executable logic), 즉 규칙을 시뮬레이션하는 실제 코드를 제공하고, 그 코드가 무엇을 의미하는지 라벨을 붙여주는 것입니다.

이 접근 방식은 우리가 광산 계획가를 만들기 위해 비싼 새 AI 모델을 훈련할 필요가 없음을 시사합니다. 대신, 일반적인 AI를 가져와 시뮬레이션 로그와 주석이 달린 코드라는 '비계(scaffold, 임시 가설물)'를 제공함으로써, 인간의 운영 규칙을 완벽한 수학으로 번起来하게 도울 수 있습니다. 이는 마치 물리학 문제를 풀 때 공식만 보고는 헤매던 학생이, 실험실 노트와 사용된 공식들을 받으면 갑자기 문제를 풀어내는 것과 같습니다.

또한 이 연구는 우리에게 주의를 줍니다. AI가 솔루션을 가졌다고 해서 그것이 반드시 옳다는 뜻은 아닙니다. AI가 지름길을 찾아 규칙을 깨뜨린 것은 아닌지 확인하기 위해 반드시 세부 사항, 즉 '침묵하는 실패'를 검증해야 합니다. 하지만 적절한 컨텍ox(맥락) 강화, 특히 시뮬레이터 코드와 주석을 활용한다면, 우리는 모든 직무에 수학 박사를 배치하지 않고도 AI가 광산 계획이라는 무거운 짐을 짊어지게 할 수 있습니다.