기술 요약: COOPA – 운영 연구(Operations Research) 문제를 위한 모듈형 LLM 에이전트 아키텍처

1. 문제 정의

운영 연구(Operations Research, OR)는 공급망, 에너지, 금융과 같은 도메인 전반에서 고도의 의사결정을 위한 엄격한 프레임워크를 제공한다. 그러나 효과적인 OR 모델링은 자연어 설명을 수학적 변수, 목적 함수, 제약 조건으로 변환하고, 이어서 솔버(solver)를 구현해야 하는 전문 지식 집약적인 과정을 요구한다.

최근의 거대 언어 모델(LLM) 시스템들은 이 파이프라인을 자동화하려고 시도해 왔으나, 세 가지 결정적인 한계점에 직면해 있다:

1. 복잡한 문제에 대한 낮은 정확도: 주요 병목 현상은 코드 생성(종종 통과함)이 아니라 **정식화 오류(formulation errors)**이다. 연구에 따르면 실패의 50~70%는 불완전한 정식화, 잘못된 변수 정의 또는 잘못 지정된 목적 함수에서 기인한다. 현재의 시스템들은 일반적으로 단일 패스(one pass)로 하나의 정식화를 생성하며, 코드 실행 전 의미론적 오류를 수정할 수 있는 메커니가 부족하다.
2. 불투명한 출력: 기존 시스템은 정식화와 솔루션을 제공하지만 **요소 수준의 출처(element-level provenance)**가 결여되어 있다. 사용자는 특정 모델 요소(파라미터, 제약 조건)를 소스 텍스트로 추적할 수 없으며, 이로 인해 LLM의 추론 과정을 검증하기 위해 수동으로 재구성해야 하는 상황에 놓인다.
3. 경직된 솔버 지원: 대부분의 시스템은 특정 솔버 백엔드(예: Gurobi, Pyomo)에 하드코딩되어 있다. 새로운 문제 클래스(예: 다목적, 비볼록 문제)나 솔버 라이브러리에 적응하려면 재학습이나 상당한 아키텍처 변경이 필요하다.

2. 방법론: COOPA 아키텍처

저자들은 smolagents를 기반으로 구축된 모듈형 계층 구조 멀티 에이전트 시스템인 **COOPA (COoperative OPerations Agent)**를 제안한다. 이는 다음 세 가지 핵심 구성 요소를 통해 식별된 문제들을 해결한다:

A. 소스 추적성을 갖춘 구조적 모델링

자유 형식의 생성 대신, COOPA는 네 가지 요소 유형을 포함하는 구조화된 스키마(Pydantic 기반)에 문제 설명을 매핑한다:

• 파라미터(Parameters): 값과 도메인 및 소스 참조.
• 변수(Variables): 경계값과 소스 참조를 포함한 결정 변수.
• 목적 함수(Objective): 방향과 수학적 표현 및 소스 참조.
• 제약 조건(Constraints): 표현식, 유형 및 소스 참조.

각 요소에는 해당 요소를 유도한 문제 설명의 정확한 문구를 인용하는 SourceReference 필드가 포함된다. 이는 문제 진술로부터 수학적 모델로 이어지는 감사 추적(audit trail)을 생성하여 인간의 검증을 용이하게 한다.

B. 반복적 신뢰도 기반 모델 선택

정식화 오류를 완화하기 위해, COOPA는 단일 출력을 확정하지 않는다. 대신 다음과 같은 반복 루프를 수행한다:

1. 생성(Generation): 시스템은 $k$개의 후보 모델을 생성한다 (기본값 $k=3$).
2. 자기 평가(Self-Evaluation): 각 후보에 대해, LLM은 네 가지 차원(파라미터, 변수, 목적 함수, 제약 조건)에 대해 0~100 사이의 신뢰도 점수와 자연어 설명을 할당한다.
3. 선택(Selection): 시스템은 max-min 기준을 사용하여 최종 모델을 선택한다: $M^* = \arg\max_i (\min_j c_{i,j})$. 이는 가장 낮은 신뢰도를 가진 차원이 치명적으로 약하지 않도록, 최악의 경우 신뢰도가 가장 높은 후보를 선택하는 방식이다.
4. 정교화(Refinement): 후속 후보들($M_2, \dots, M_k$)은 이전 후보들과 그 평가를 바탕으로 생성되며, 이를 통해 모델은 낮은 신뢰도를 보이는 차원 문제를 명시적으로 해결할 수 있다.

C. 멀티 솔버 디스패치(Multi-Solver Dispatch)

COOPA는 문제 분류와 솔버 실행을 분리한다. 디스패처 에이전트는 선택된 모델을 분류하고 네 가지 특화된 최적화 에이전트(Optimizer Agents) 중 하나로 라우팅한다:

• 수학적 최적화 에이전트(Mathematical Optimizer): Pyomo(GLPK/IPOPT 포함)를 사용하여 LP, MIP 및 NLP를 처리한다.
• 조합 최적화 에이전트(Combinatorial Optimizer): Google OR-Tools를 사용하여 경로 최적화, 스케줄링 및 할당을 처리한다.
• 메타휴리스틱 최적화 에이전트(Metaheuristic Optimizer): pymoo(예: NSGA-II)를 사용하여 비볼록, 블랙박스 및 다목적 문제를 처리한다.
• 일반 최적화 에이전트(General Optimizer): 표준 Python/NumPy를 사용하여 시뮬레이션 기반 또는 커스텀 수치 작업을 처리한다.

이 아키텍처를 통해 모델링 및 선택 단계를 수정하지 않고도 새로운 솔버 백엔드를 새로운 에이전트로 정의함으로써 간단히 추가할 수 있다.

3. 주요 기여

1. 반복적 신뢰도 기반 모델링: 여러 후보 정식화를 생성하고 max-min 신뢰도 기준에 따라 가장 견고한 것을 선택하는 새로운 메커니즘을 통해, 정식화 단계의 병목 현상을 직접 겨냥한다.
2. 소스 추적성: 모든 모델링 요소를 인용된 소스 텍스트와 연결하는 구조화된 출력 스키마를 제공하여, 인간의 검증을 위한 감사 추적을 제공한다.
3. 확장 가능한 멀티 솔버 디스패치: 문제를 특화된 솔버 에이전트(Pyomo, OR-Tools, pymoo 등)로 라우팅하는 모듈형 아키텍처를 통해, 재학습 없이 다양한 OR 문제 클래스를 지원할 수 있게 한다.
4. 포괄적 평가: 세 개의 데이터셋(ComplexLP, IndustryOR, BWOR), 8개의 LLM 백본(GPT-5, GPT-4.1, o3, o4-mini, Gemini-3-Flash, Qwen3 포함) 및 4개의 베이스라인을 통한 벤치마크 평가를 수행하였다.

4. 실험 결과

• 성능: COOPA는 모든 백본에 대해 가장 높은 매크로 평균 정확도(64.8%)를 달이트하며, 차순위 방법(OR-LLM-Agent, 61.6%)보다 3.2%포인트 앞선다. 또한 8개 중 6개의 LLM 백본에서 최고의 성능을 달성했다.
• 이득: 가장 강력한 베이스라인 대비 성능 향상은 GPT-5의 경우 최대 6.7%포인트, GPT-4.1의 경우 6.3%포인트에 달한다.
• 절제 연구(Ablation Study): 반복적 모델링 구성 요소를 제거하면(첫 번째 후보만 해결하는 경우) 교차 모델 평균 정확도가 64.8%에서 61.8%로 떨어진다. 이는 반복적 신뢰도 기반 모델링이 COOPA의 성능 향상을 이끄는 주요 동력임을 확인시켜 준다.
• 신뢰도 상관관계: 신뢰도 점수 개선과 정확도 이득 사이에 양의 상관관계($r=0.58, p=0.003$)가 존재하며, 이는 신뢰도 평가자가 더 나은 정식화를 선택하기 위한 진정한 신호를 제공함을 시사한다.
• 솔버 디스패치: 현재 벤치마크에서 91.1%의 문제가 수학적 최적화 에이전트로 라우팅되었으나(데이터셋의 LP/MIP 지배적 특성 반영), 사례 연구를 통해 다목적 문제를 메타휴리스틱 최적화 에이전트(pymoo)로 올바르게 라우팅하여, 단일 솔버 베이스라인이 실패하거나 하위 최적(suboptimal)의 스칼라화된 솔루션을 반환했던 지점에서 전체 파레토 프런트(Pareto fronts)를 산출하는 능력을 입증했다.

5. 의의 및 주장

본 논문은 COOPA가 단일 패스 생성에서 반복적 자기 수정 및 구조적 검증으로 전환함으로써 LLM 기반 OR의 "정식화 병목 현상"을 해결한다고 주장한다.

• 해석 가능성: 소스 추적성과 신뢰도 설명을 제공함으로써, COOPA는 "블랙박스" 생성을 넘어 실무자가 특정 모델링 결정 뒤의 추론을 감사할 수 있도록 한다.
• 확장성: 모듈형 설계 덕분에 코어 LLM을 재학습시키지 않고도 새로운 솔버 백엔드와 문제 클래스(예: 다목적 최적화)에 적응할 수 있으며, 이는 미세 조정(fine-tuning) 기반 접근 방식의 한계점이다.
• 반복의 역할: 저자들은 반복적 정교화가 백본 모델이 스스로 수정할 수 있을 만큼 충분히 강력하지만 아직 포화 상태에 도달하지 않았을 때 가장 유익하다고 강조한다. 이 메커니즘은 "평준화 장치" 역할을 하여, 약한 모델(예: Qwen3-30B에서 +8.9%)에 대해서는 상당한 이득을 제공하는 동시에 강한 모델의 성능을 유지하거나 약간 향상시킨다.

한계 및 향후 과제:
저자들은 현재의 벤치마크가 LP/MIP 위주이기 때문에 멀티 솔버 디스패치가 경험적으로 덜 검증되었다는 점을 인정한다. 또한 반복 과정이 단일 패스 방식에 비해 계산 비용(약 7배의 토큰 사용량)을 증가시킨다는 점을 언급한다. 향후 과제로는 다양한 문제 유형을 포함하는 더 넓은 벤치마크 테스트, 사용자 연구를 통한 추적성이 인간 검증 효율성에 미치는 영향 평가, 그리고 백본 에이전트로 학습 기반 모델(예: ORLM)을 통합하는 것이 포함된다.

논문은 COOPA를 자율적인 의사결정자가 아니라, 투명성과 감사 가능성을 통해 인간의 감독을 유지하면서 OR 모델링의 전문 지식 장벽을 낮추기 위해 설계된 의사결정 지원 시스템으로 정의한다.