Optimization and Constraint Modeling using LLMs with a Retrieval Augmented Generation Process

당신이 매우 똑똑하고 창의적인 로봇에게 복잡한 퍼즐을 풀기 위한 지침을 주려고 한다고 상상해 보세요. 예를 들어, 배송 트럭 부대의 가장 효율적인 경로를 계획하거나 병원 교대 근무 일정을 짜는 것과 같은 일입니다. 이 분야를 **최적화(optimization)**라고 부르며, 이는 자원이 제한된 상황에서 최선의 결정을 내리기 위한 수학적 원리입니다. 이를 수행하기 위해 인간은 보통 현실 세계의 복잡하고 무질서한 문제들을 선형 계획법(Linear Programming)이나 제약 프로그래밍(Constraint Programming)과 같이 엄격하고 경직된 수학적 언어로 번역해야 합니다. 이는 마치 엄격한 규칙과 방정식으로만 이루어진 언어만을 구사하는 로봇에게 이야기를 설명하려는 것과 같습니다.

최근 우리는 **거대 언어 모델(LLM)**이라는 돌파구를 맞이했습니다. LLM을 인터넷에 있는 거의 모든 것을 읽은 초고성능 로봇이라고 생각해 보세요. 이들은 이야기를 이해하고 코드를 작성하는 데는 뛰어나지만, 엄격한 수학적 규칙을 따르도록 요청받으면 어려움을 겪기도 합니다. 가짜 숫자를 만들어내거나, 중요한 규칙을 잊어버리거나, 논리를 약간 틀리게 만들어 완벽한 계획을 망가진 계획으로 바꿀 수도 있습니다. 이를 해결하기 위해 연구자들은 **검색 증강 생성(RAG)**이라는 기술을 사용합니다. 만약 LLM이 시험을 치르는 학생이라면, RAG는 그 학생이 답안을 작성하기 직전에 이미 해결했던 유사한 문제들의 '참고 자료'를 제공하는 것과 같습니다. 이 논문은 단순하지만 강력한 질문을 던집니다. 만약 AI에게 완벽하게 미리 풀려 있는 수학 퍼즐 도서관을 준다면, 새로운 문제를 푸는 능력이 훨씬 좋아질 것인가?

저자들은 이 아이디어를 테스트하기 위해 거대하고 맞춤화된 퍼즐 도서관을 구축하기로 했습니다. 그들은 먼저 500개의 완전히 새로운 최적화 문제를 만드는 것으로 시작했습니다. 단순히 건조한 수학 문제를 쓰는 대신, AI를 사용하여 '바쁜 물류 관리자'나 '병원 행정가'와 같은 '페르소나'를 발명했고, 그다음 다른 AI에게 이 캐릭터들의 실제 고민을 엄격하고 공식적인 수학 문제로 변환하도록 요청했습니다. 그들은 또한 각 문제를 풀 수 있는 올바른 컴퓨터 코드까지 작성하여 '골드 스탠다드(gold standard)'라 불리는 정답지를 만들었습니다. 그리고 이 500개의 문제와 솔루션 쌍을 모두 **벡터 데이터베이스(vector database)**라는 특별한 디지털 파일 캐비닛에 저장했습니다. 이 데이터베이스는 단어가 다르더라도 의미적으로 유사한(즉, 느낌이 비슷한) 항목을 찾아내도록 설계되었습니다.

그 후, 그들은 경주를 설정했습니다. 그들은 강력한 AI 모델(Qwen 3 30B Instruct)을 가져와 보지 못한 일련의 수학 문제들을 제시했습니다. 첫 번째 라운드에서 AI는 학습된 내용에만 의존하여 스스로 문제를 풀어야 했습니다. 두 번째 라운드에서는 새로운 RAG 시스템을 사용했습니다. AI가 답을 하기 전, 시스템은 500개의 문제 라이브러리를 검색하여 가장 유사한 문제 3개를 찾아낸 뒤 이를 예시로서 AI에게 보여주었습니다. AI가 나쁜 예시 때문에 혼란을 겪지 않도록, 완벽하게 일치하는 예시만 통과시키고 너무 다른 것은 거부하는 스마트 필터인 '시맨틱 게이트웨이(semantic gateway)'를 추가했습니다.

결과는 도서관을 가진 팀의 명백한 승리였습니다. AI가 혼자서 문제를 풀려고 했을 때, 퍼즐의 난이도에 따라 정답률은 약 32%에서 40% 사이였습니다. 하지만 AI가 라이브러리에서 유사한 해결 예시들을 훔쳐볼 수 있게 되자, 정확도가 크게 뛰어올랐습니다. NL4OPT 테스트 세트의 경우, 정답률이 40%에서 72%로 상승했습니다. MAMO Complex 세트에서는 32%에서 56%로 개선되었습니다.

이 논문은 이 접근 방식이 새로운 데이터로 전체 AI 모델을 다시 학습시키는 과정인 '미세 조정(fine-tuning)'의 강력한 대안임을 시사합니다. 미세 조정은 비용이 많이 들고 시간이 오래 걸리는 작업입니다. 대신, 이 연구는 잘 정리된 합성 예시 라이브러리를 AI에게 참조용으로 제공하는 것만으로도, 인간의 아이디어를 올바르고 작동하는 수학적 모델로 변환하는 능력을 획기적으로 향 향상시킬 수 있음을 보여줍니다. 저자들은 결과가 유망하지만, 이는 특정 500개의 합성 문제와 25개의 테스트 쿼리에 기반한 것이므로 이 방법은 여전히 탐구 단계에 있다고 언급했습니다. 그러나 이러한 발견은 비전문가들도 수학의 달인이 될 필요 없이 AI를 신뢰할 수 있는 부조종사로 활용하여 복잡한 의사 결정 도구를 구축할 수 있는 미래를 향한 이정표를 제시합니다.