기술 요약: PEARL – 자연어로부터의 솔버 루프 기반 대화형 최적화 모델링

1. 문제 정의

최적화 모델링은 일반적으로 자연어(NL)로 기술된 실제 의사결정 문제를 정식 수학적 정식화 및 실행 가능한 솔버 코드로 변alph화하는 과정을 포함한다. 거대 언어 모델(LLM)이 이 과정을 자동화하는 데 유망한 성과를 보여왔으나, 기존 방식은 대부분 이 작업을 **원샷 생성 문제(one-shot generation problem)**로 취급한다. 현재의 방법들은 고정된 프롬프팅, 수동으로 설계된 워크플로우, 또는 지도 학습 기반의 미세 조정을 통해 단 한 번의 패스로 완전한 정식화를 생성하는 데 의존한다.

이러한 패러다임은 실제 모델링의 본질적인 상호작용적 특성을 포착하지 못한다. 실제 모델링에서는 전문가가 '해결-디버깅-수정(solve–debug–revise)'의 반복적인 사이클에 참여한다. 제약 조건, 인덱싱, 또는 데이터 바인딩에서의 미세한 오류는 모델을 실행 불가능하게 만들거나 소리 없는 런타임 오류를 발생시킨다. 기존의 자동화 시스템은 솔버의 피드백을 조건화하거나, 문제를 진단하기 위해 부분적인 모델을 실행하거나, 언제 종료할지를 학습하는 능력이 부족하다. 결과적으로, 생성된 출력물은 제약 조건을 환각(hallucination)하거나 런타임에서 실패하는 경우가 빈번하다. 본 논문은 최적화 모델링을 정적인 텍스트 생성이 아니라, 에이전트가 출력을 검증하고 정제하기 위해 솔버와 상호작용하는 법을 배우는 다회차(multi-turn), 도구 통합형 의사결정 프로세스로 재개념화해야 한다고 주장한다.

2. 방법론: PEARL 프레임워크

저자들은 최적화 모델링을 에피소드 기반의 **부분 관측 가능 마르코프 결정 과정(POMDP)**으로 정식화한 PEARL(도구 통합형 에이전트 강화 학습을 통한 상호작용적 최적화 모델링)을 소개한다.

2.1 POMDP 정식화

• 상태 (State, $S$): 잠재적 환경 상태에는 실제 문제의 의미론(semantics), 숨겨된 모델링 오류, 그리고 직접적으로 관찰되지 않는 솔버의 내부 상태가 포함된다.
• 관측 (Observation, $O$): 에이전트는 자연어 명세, 대화 이력, 중간 코드 아티팩트, 그리고 결정적으로 도구 피드백(런타임 로그, "실행 불가능(infeasible)" 또는 "최적(optimal)"과 같은 솔버 상태, 목적 함수 값, 검증 보고서)을 관찰한다.
• 행동 공간 (Action Space, $A$): 에이전트는 두 가지 유형의 행동 중 하나를 선택한다.
  1. 자연어 행동: 수학적 정식화(변수, 목적 함수, 제약 조건) 및 구현 계획을 수정하거나 확장한다.
  2. 도구 호출 행동: Execute(Python 코드를 실행하고 솔버를 호출) 도구를 트리거하거나, Validate(결정론적 검사를 수행) 도구를 트리거한다.
• 종료 (Termination, $T$): 에이전트가 최종 답변(정식화 + 코드)을 내놓거나, 주어진 턴/시간 예산을 모두 소진하면 에피소드가 종료된다.

2.2 환경 및 도구

환경은 두 가지 일급 도구를 제공한다.

• Execute: 샌드박스화되고 자원이 제한된 런타임에서 생성된 Python 코드를 실행한다. 이는 솔버 상태(optimal, infeasible, unbounded), 목적 함수 값, 추출된 해(solution)를 포함한 구조화된 피드백을 반환한다.
• Validate: 아티팩트(예: 제약 조건 만족 여부)에 대한 결정론적 검사를 수행하며, 참조 솔루션이 있는 경우 목적 함수 값을 비교한다.
  실행을 사후 평가자로 사용하는 기존 연구와 달리, PEARL는 이러한 트레이스와 진단 정보를 관측 스트림에 직접 포함시켜 에이전트가 피드백을 바탕으로 반복적으로 수정할 수 있도록 한다.

2.3 보상 설계

보상 함수 $R(\tau)$는 텍스트 기반의 대리 지표를 피하고, 검증 가능하며 솔버에 근거하도록 설계되었다. 이는 두 가지 구성 요소로 이루어진다.

1. 포맷 보상 ($r_{fmt}$): 올 значения한 도구 호출 구문 및 출력 형식 준수에 대해 조밀한(dense) 인센티브를 제공하여, 잘못된 상호작용을 억제함으로써 학습을 안정화한다.
2. 정확도 보상 ($r_{corr}$): 솔버 실행에 근거한다. 참조 최적값 $v_{label}$이 존재하는 경우, 생성된 솔루션의 목적 함수 값 $v_{pred}$가 $|v_{pred} - v_{label}| \le \epsilon$을 만족하면 에이전트는 양(+)의 보상을 받는다. 이는 휴리스틱한 형태의 적절함이 아니라 솔버의 정확성을 직접적으로 보상한다.

2.4 학습 목표

PEARL은 다회차 롤아웃(multi-turn rollouts)을 사용하는 **에이전트 강화 학습(Agentic Reinforcement Learning)**을 채택한다.

• 정책 최적화: 정책은 사전 학습된 LLM으로부터 초기화되며, 도구가 증강된 환경에서의 높은 분산 리턴을 처리하기 위해 탈동기화 클리핑(decoupled clipping)(DAPO에서 영감을 얻음)을 사용하는 GRPO 스타일의 강화 학습을 통해 최적화된다.
• 신용 할당 (Credit Assignment): 보상은 희소(sparse)하고 지연되어 나타난다. 시스템은 배치 내에서 궤적 수준의 리턴을 정규화하여 어드밴티지(advantage)를 계산함으로써, 단순히 최종 출력만이 아니라 전체 '해결-디버깅-수정' 궤적에 걸친 장기적 신용 할당을 가능하게 한다.
• 커리큘럼: 학습은 최적화 특유의 과제에 적응하며, 짧고 완전히 명시된 인스턴스에서 긴 컨텍스트와 산업 스타일의 입력으로 이동하며, 솔버의 비결정성을 환경 노이즈로 취급한다.

3. 주요 기여

1. 모델링의 재개념화: 본 논문은 최적화 모델링을 솔버 실행과 진단 피드백이 관찰 가능한 상태 구성 요소로 취급되는 상호작용적, 다회차 의사결정 문제로 정식화하였다. 이는 전통적인 원샷 생성과는 구별된다.
2. 최적화 전용 에이전트 RL: 최적화 모델링을 위한 최초의 에이전트 강화 학습 접근법을 도입하여, 에이전트가 고정된 휴리스틱에 의존하는 대신 언제 실행할지, 솔버 진단을 바탕으로 어떻게 수정할지, 그리고 언제 종료할지를 학습할 수 있게 하였다.
3. 소규모 모델의 실증적 우위: 광범로한 실험을 통해 PEARL가 강력한 원샷 및 도구 증강 베이스라인보다 검증된 해결율(verified solve rates)을 실질적으로 개선함을 입증하였다. 특히, PEARL-Qwen3-4B(4B 파라미터 모델)는 최적화 작업의 매크로 및 마이크로 평균 정확도 모두에서 DeepSeek-V3.2-685B를 포함한 훨씬 더 큰 범용 모델들을 유의미하게 능가하였다.

4. 실험 결과

저자들은 다양한 벤치마크(NL4Opt, MAMO, NLP4LP, OptMATH, IndustryOR, ComplexOR, Resocratic)를 통해 PEARL를 평가하였다.

• 성능 vs 규모: PEARL-4B는 69.71%의 매크로 평균 Pass@1을 달성하여, DeepSeek-V3.2-685B(66.51%)와 GPT-5(71.40%)를 능가하였다. 특히 MAMO ComplexLP 및 Resocratic와 같이 복잡하고 미달 명시된(underspecified) 벤치마크에서 강력한 성능 향상을 보였다.
• 상호작용 vs 스캐폴딩: 절제 연구(Ablation studies)를 통해 성능 향상이 단순히 도구 스캐폴딩의 존재 때문이 아니라 학습된 상호작용 정책에서 기인함을 확인하였다. 동일한 도구 인터페이스를 사용하되 에이전트 강화 학습 훈련을 거치지 않은 베이스 모델은 현저히 낮은 정확도를 보였다.
• 실패 모드 분석: PEARL 훈련은 실패 모드를 실행 및 파싱 에러(예: 코드/런타임, 포맷 추출)에서 모델링 중심의 이슈(예: 목적 함수 불일치, 실행 불가능성)로 전환시켰다. 이는 에이전트가 구현 오류를 수정하고 솔버와 상호작용하는 법을 성공적으로 학습했음을 나타내지만, 구조적 정식화 오류는 여전히 도전 과제로 남아 있다.
• 학훈련 역학: 도구 사용 동작은 훈련 초기에 수렴하였으며, 후기 훈련은 모델링 궤적의 세부 사항과 구조를 정교화하였다. 지도 미세 조정(SFT)은 유용한 웜 스타트 역할을 했으나, 솔버에 근거한 에이전트 강화 학습과 비교했을 때 최종 성능의 주요 동력은 아니었다.

5. 의의 및 주장

본 논문은 학습된 상호작용과 피드백 활용 능력이 최적화와 같은 구조적 의사결정 문제에서 모델의 순수한 규모(raw scale)를 압도할 수 있음을 주장한다. 모델링을 상호작용적 프로세스로 다룸으로써, PEARL는 소규모 모델(예: 4B 파라미터)이 훨씬 더 큰 범용 모델과 대등하거나 이를 능가하는 성능을 달성하게 하여, 반복적인 에이전트 호출을 더욱 실용적으로 만든다.

저자들은 다음과 같이 주장의 범위를 신중하게 설정한다.

• 결과는 현재의 공개된 NL-to-Opt 영역에서의 효과를 입증한다.
• 벤치마크가 실제 세계의 복잡성을 모두 포괄하지는 않는다. 확률적, 강건한(robust), 그리고 매우 도메인 특화된 기업 환경은 여전히 충분히 반영되지 않았다.
• 솔버 기반 검증은 부분적이다. 실행 가능성은 개선하지만, 모호한 명세에 대한 구조적 정확성을 완전히 보장할 수는 없다.

향-후 연구로는 더 풍부한 검증기와 더 적응적인 상호작용 정책을 갖춘 확률적 및 강건한 설정으로 에이전트 모델링을 확장하는 것이 제안된다.