기술 요약: 파운데이션 모델 에이전트의 Sim-to-Real 간극: 통합된 MDP 관점

1. 문제 정의

파운데이션 모델(Foundation Model, FM) 에이전트는 도구 증강 어시스턴트부터 로봇 제어에 이르기까지 실세계 의사결정 과업에 점점 더 많이 배치되고 있다. 그러나 이러한 에이전트들은 심각한 "sim-to-real" 간극을 겪는다. 즉, 정제된 벤치마크에서는 우수한 성능을 보이지만, 실제 운영 환경의 분포 변화(distribution shifts), 노이즈가 섞인 입력, 그리고 확률적 제약 조건에 노출되면 실패한다.

본 논문은 파운데이션 모델 커뮤니티가 현재 에이전트의 강건성(robustness)을 새로운 현상으로 취급하며, 로보틱스와 고전적 강화 학습(RL)에서 확립된 성숙한 프레임워크를 무시함으로써 사실상 "바퀴를 다시 발명하는 것(reinventing the wheel)"과 같은 행위를 하고 있다고 주장한다. 핵심 문제는 이러한 배포 실패를 진단하고 완화할 수 있는 통합된 어휘와 표준화된 스트레스 테스트 벤치마크가 부족하다는 점이다. 저자들은 이러한 실패가 근본적으로 새로운 것이 아니라, 마르코프 결정 과정(Markov Decision Process, MDP)에서 발견되는 고전적인 불일치를 반영하는 것이라고 상정한다.

2. 방법론: 통합된 MDP 관점

본 논문은 FM 에이전트의 평가 및 훈련 간극을 MDP의 네 가지 요소인 **관측(Observation, O), 행동(Action, A), 전이(Transition, T), 보상(Reward, R)**을 중심으로 구조화된 고전적인 sim-to-real 문제로 공식화할 것을 제안한다.

저자들은 다음과 같이 이 프레임워크를 구체화한다:

1. 고전적 간극을 FM 에이전트에 매핑: 전통적인 RL의 sim-to-real 불일치(예: 센서 노이즈, 액추에이션 지연)를 FM 제어 에이전트의 특정 맥락(예: 다국어 입력, API 레이턴시, 도구 스키마 불일치)으로 변환한다.
2. 벤치마킹 패러다임 정의: 각 MDP 구성 요소에 대해 취약성을 체계적으로 드러내기 위한 구체적인 섭동(perturbation) 전략을 제안한다:
   • 관측(Observation): 노이즈가 섞이거나 비표준적인 입력에 대한 강건성을 테스트하기 위해 오타, 패러프레이징(paraphrasing), 다국어 변화를 주입한다.
   • 행동(Action): 의미론적 이해와 표면적인 단서 의존성을 테스트하기 위해 "방해 요소(distractor)" 도구(동일한 이름을 가졌으나 잘못된 파라미터를 가진 도구)로 행동 공간을 확장한다.
   • 전이(Transition): 타임아웃, 부분적 API 실패, 불완전한 JSON 페이로드와 같은 확률적 환경 반응을 시뮬레이션하여 자율 복구 능력을 테스트한다.
   • 보상(Reward): 평가 지표를 이진 정확도에서 레이턴시, 금융 비용, 사용자 만족도와 같은 운영 제약 조건으로 전환하여, 에이전트가 단순한 의미론적 정렬이 아닌 실제 유용성을 최적화하도록 강제한다.
3. 실증적 입증: 논문은 다국어 도구 호출에 관한 최근 연구를 인용하여 이러한 간극에 대한 구체적인 증거를 제공한다. 특히, "파라미터 값 언어 불일치(parameter value language mismatch)" 문제를 강조하는데, 이는 모델이 의도와 도구는 올바르게 식별하지만, 파라미터 값이 사용자의 언어(예: 중국어)로 생성되고 실행 환경은 고정된 규약(예: 영어)을 기대할 때 운영상 실패하는 현상을 의미한다.

3. 주요 기여

• 통합된 공식화: FM 에이전트의 강건성을 네 가지 MDP 요소(O, A, T, R)의 관점에서 바라보는 프레임워크를 제안함으로써, FM 연구를 확립된 RL 및 로보틱스 문헌과 일치시키는 것을 주요 기여로 한다.
• 고전적 솔루션의 번역: 도메인 무작위화(domain randomization), 그라운디드 행동 변환(grounded action transformation), **지연 인식 제어(delay-aware control)**와 같이 FM 에이전트에 특화된 기존의 sim-to-real 완화 기술 채택을 옹호한다.
• 구체적인 벤치마킹 프로토콜: 깨끗한 벤치마크를 넘어 스트레스 테스트를 설계하기 위한 연구 의제를 제시한다. 여기에는 다국어 노이즈, 방해 도구, 현실적인 실행 실패(타임아웃/재시도)를 주입하는 프로토콜이 포함된다.
• 관측 간극의 실증적 증거: 다국어 도구 호출 연구의 데이터(논문의 표 2)를 분석함으로써, 관측 언어와 실행 규약 사이의 불일치로 인해 비영어권 언어에서의 오류율이 크게 높아질 수 있음(예: GPT-5의 경우 약 13.5%에서 약 28.5%로, Qwen-Next-80B의 경우 약 5.5%에서 약 46.5%로 상승)을 입증한다.

4. 결과 및 발견

본 논문은 새로운 실험 결과를 직접 생성하는 대신, 기존 문헌과 최근 연구들을 종합하여 자신들의 프레임워크를 검증한다:

• 다국어 불일치: 최근 연구[37]의 데이터에 따르면, 최첨단 모델들(DeepSeek, GPT-5, Llama 3.1, Qwen, Granite)조차 영어 전용 쿼리에서 다국어 입력으로 넘어갈 때 상당한 성능 저하를 보인다. 실패 모드는 종가 단순한 의미론적 이해의 부족이 아니라, 파라미터 값의 언어-실행 불일치로 인한 운영상의 무효성인 경우가 많다.
• 방해 요소에 대한 취약성: 이론적 분석에 따르면, 깨끗한 도구 세트로 훈련된 에이전트는 중복되는 도구 이름과 노이즈가 있는 기능적 환경이 존재하는 실제 배포 환경에서 "방해(distractor)" 도구에 매우 취약하다.
• 보상 불일치: 논문은 현재의 벤치마크가 이진 정확도에 과적합되어 레이턴시나 비용과 같은 중요한 실제 목표를 간과하고 있으며, 이로 인해 에이전트가 이러한 제약이 활성화된 환경에 배포될 때 심각한 성능 저하가 발생한다고 지적한다.

5. 의의 및 주장

본 논문은 이 통합된 MDP 관점을 채택하는 것이 파편화된 연구 노력을 방지하고 배포 준비도를 정확하게 측정하는 데 필수적이라고 주장한다. 그 의의는 다음과 같다:

• 패러다임 전환: 강건성을 새로운 문제가 아닌, 이미 알려진 배포 간극이자 확립된 해결책이 있는 문제로 인식하도록 분야의 전환을 꾀한다.
• 표준화: 현재 파운데이션 모델 커뮤니티에 결여된 통합된 어휘와 표준화된 스트레스 테스트 벤치마크를 옹호한다.
• 신뢰할 수 있는 AI: Sim과 Real 사이의 간극을 메움으로써, 심각한 다국어 입력, 전이 섭동, 비용 인식 보상 제약에도 불구하고 성능을 유지할 수 있는 고도로 신뢰할 수 있는 차세대 에이전트를 육성하는 것을 목표로 한다.
• KDD와의 부합성: 본 의제는 "신뢰할 수 있고 책임 있는 데이터 과학"을 위한 엄격한 토대를 구축하고 "신뢰할 수 있는 실제 애플리케이션을 위한 현대적 AI"를 형성함으로써 KDD의 주제적 과제들을 직접적으로 발전시킨다.

저자들은 FM 에이전트의 구체적인 도전 과제는 독특할 수 있지만, 그 기저에 깔린 메커니즘은 고전적이라고 결론짓는다. 따라서 향로 방향은 이러한 고전적인 MDP 기반 솔루션을 운영화하여, 실제 운영 환경의 피할 수 없는 노이즈와 예측 불가능성에 맞서 에이전트를 강화하는 것이다.