기술 요약: ORPilot

문제 정의

운영 연구 (OR) 는 오랫동안 물류, 공급망, 금융 분야의 의사결정을 위한 핵심 학문 분야였습니다. 그러나 실제 비즈니스 문제와 이를 해결하기 위해 필요한 수학적 최적화 모델 사이에는 상당한 장벽이 존재합니다. 대규모 언어 모델 (LLM) 은 잘 정의된 교과서 스타일의 OR 문제에 대해 솔버 코드 생성에서 유망한 성과를 보여왔지만, 기존 도구들은 생산 환경에서는 실패합니다. 실제 시나리오는 모호한 문제 설명, 대규모 원시 운영 데이터 (종종 스프레드시트 형태), 그리고 다양한 솔버 백엔드 간 재현성 필요성이 특징입니다. 현재 OR 용 LLM 도구는 일반적으로 데이터가 프롬프트에 직접 포함된 깨끗하고 완전한 문제 명세를 가정하는데, 이는 산업 현장에서는 거의 충족되지 않는 조건입니다.

방법론

ORPilot 은 제약 없는 비즈니스 대화와 배포 가능하고 솔버 준비가 된 최적화 모델 사이의 간극을 해소하도록 설계된 오픈소스 에이전트 기반 AI 시스템입니다. LangGraph 상태 머신 프레임워크를 기반으로 구축된 ORPilot 은 인간 OR 컨설턴트의 워크플로우를 모방하는 멀티 에이전트 파이프라인을 사용합니다. 이 시스템은 다음 네 가지 새로운 순차적 구성 요소를 통해 작동합니다:

1. 대화형 인터뷰 에이전트: 단일 프롬프트를 수락하는 도구와 달리, 이 에이전트는 완전한 문제 명세를 이끌어내기 위해 사용자와 구조화된 대화를 나눕니다. 정보 격차를 식별하고 (예: 시간 범위, 변수 유형, 제약 논리 등) 표적화된 명확화 질문을 하며, 목적 함수, 의사결정 변수, 제약 조건 및 데이터 요구 사항이 모호하지 않을 때에만 대화를 종료합니다.
2. 데이터 수집 에이전트: 토큰 제한과 환각 (hallucination) 위험으로 인해 원시 데이터를 프롬프트에 직접 포함할 수 없다는 점을 인식하여, 이 에이전트는 사용자에게 정확히 어떤 데이터 테이블 (CSV 파일) 이 필요한지 지시합니다. 각 테이블의 스키마를 정의하고 진행하기 전에 업로드된 데이터의 완전성과 일관성을 검증합니다.
3. 매개변수 계산 에이전트: 이 구성 요소는 원시 운영 데이터와 모델 준비가 된 매개변수 사이의 간극을 해소합니다. 제공된 CSV 파일을 검사하고 모델에 필요한 유도된 양 (예: 거리 행렬, 집계된 수요, Big-M 값 등) 을 식별한 후, 이러한 값을 계산하기 위해 Python 스크립트를 생성 및 실행하고 다음 단계용 새로운 구조화된 데이터 테이블을 출력합니다.
4. 코드 생성 및 자기 수정 루프: 에이전트는 정제된 문제 명세와 계산된 매개변수를 기반으로 솔버 코드를 생성합니다. 핵심적으로, 시스템은 자기 수정 루프를 포함합니다. 솔버가 오류, 실행 불가능성 (infeasibility), 또는 비유계성 (unboundedness) 을 반환하면, 추적 정보 (traceback) 가 LLM 에 다시 입력되어 코드를 재생성합니다. 이 재시도 메커니즘은 구성 가능한 한도까지 계속됩니다.

중간 표현 (IR): 핵심 아키텍처적 혁신은 솔버 무관한 IR 입니다. ORPilot 은 모델의 뼈대 (집합, 매개변수, 변수, 목적 함수, 제약 조건) 와 데이터 소스 참조를 포착하는 컴팩트하고 타입이 지정된 JSON 스키마 (Pydantic 을 통해 검증됨) 를 생성합니다. 이 IR 은 모델 형식을 특정 솔버 구문 (Gurobi, CPLEX, PuLP, Pyomo, OR-Tools) 에서 분리합니다. 검증된 후, IR 은 추가적인 LLM 호출 없이도 지원되는 모든 백엔드로 결정적으로 다시 컴파일될 수 있어 재현성과 이식성을 보장합니다.

주요 기여

본 논문은 ORPilot 이 학술적 벤치마크가 아닌 생산 수준의 비즈니스 문제를 위해 명시적으로 설계된 최초의 LLM-OR 도구라고 주장합니다. 주요 기여점은 다음과 같습니다:

• 생산 지향 아키텍처: "교과서" 가정을 넘어 모호한 설명과 대규모 원시 데이터를 처리하기 위해 멀티 에이전트 파이프라인을 통해 구현.
• 데이터 분리: 데이터를 프롬프트 콘텐츠가 아닌 외부 파일 (CSV) 로 취급하는 데이터 수집 에이전트를 구현하여 토큰 제한과 환각 위험을 완화.
• 자동화된 매개변수 유도: 원시 데이터에서 유도된 매개변수를 계산하기 위한 전용 에이전트를 도입하여, 이는 기존 LLM-OR 문헌에서 다루지 않았던 단계.
• 결정적 재현성: 솔버 무관한 IR 을 사용하여 다른 백엔드로 LLM 호출 없이 재컴파일이 가능하도록 하여, LLM 에 독립적인 "what-if" 분석 및 모델 아카이빙을 가능하게 함.
• 자기 수정 파이프라인: 솔버 오류 메시지를 사용하여 모델 형식을 반복적으로 수정하는 강력한 재시도 루프.

실험 결과

저자들은 ORPilot 을 수만 개에서 수백만 개의 변수 및 제약 조건에 이르는 데이터 크기를 가진 세 가지 대규모 실제 공급망 문제 (순수 LP, 혼합 정수 계획법, 순수 정수 계획법) 에서 평가했습니다. 이러한 산업 시나리오에서 ORPilot 은 Gurobi 를 사용하여 모델을 성공적으로 생성 및 해결했으며, 자기 수정 루프는 대부분의 오류를 한두 번의 재시도 내에서 해결했습니다.

기존 최첨단 도구와 비교하기 위해 ORPilot 은 세 가지 학술 벤치마크인 IndustryOR, NL4OPT, NLP4LP에서도 테스트되었습니다.

• IndustryOR: GPT-4o 를 사용한 ORPilot 은 **46%**의 정확도를 달성하여 동일한 벤치마크에서 OptiMUS-0.3(37%) 을 능가했습니다. 더 발전된 Claude-Sonnet-4.6 을 사용할 경우 정확도는 **75%**로 상승했습니다.
• NL4OPT 및 NLP4LP: ORPilot 은 이러한 데이터셋에서 파인튜닝된 모델 (예: ORLM, LLMOPT) 과 비교 가능한 또는 약간 열등한 성능을 보였습니다. 저자들은 이러한 벤치마크가 깨끗한 교과서 스타일 문제로 구성되어 있어 ORPilot 의 산업 중심 파이프라인의 주요 설계 대상이 아니기 때문이라고 설명합니다.

중요성 및 주장

본 논문은 ORPilot 을 수학적 프로그래밍 전문 지식이 부족한 산업 실무자를 위한 최적화 모델링의 민주화를 향한 기초적인 단계로 위치시킵니다. 저자들은 반복적인 문제 유도, 자동화된 데이터 처리, 매개변수 유도, 그리고 IR 기반 재현성으로 구성된 파이프라인이 진지한 LLM-OR 생산 배포를 위한 필수 프레임워크라고 주장합니다.

이 연구의 중요성은 "프롬프트에서의 코드 합성"에서 "에이전트 기반 문제 해결"로의 전환에 있습니다. 비즈니스 사용자의 모호한 설명과 배포 가능한 모델 사이의 전체 간극을 해소함으로써, ORPilot 은 최적화를 비전문가에게 접근 가능하게 만드는 것을 목표로 합니다. 저자들은 겸손하게도 시스템이 경쟁력 있는 프로토타입이지만, 수학적으로 최적이지만 의미적으로 잘못된 모델을 포착하는 의미론적 솔루션 검증 레이어의 부재와 같은 구조적 한계를 노출한다고 지적합니다. 향후 연구는 파이프라인을 통해 생성된 검증된 IR 아티팩트를 기반으로 솔루션 검증, 실행 불가능성 진단, 그리고 LLM 의 파인튜닝을 통합하는 데 초점을 맞춰야 한다고 제안합니다.