기술 요약: 에이전트는 오픈 월드(Open World)로 일반화할 수 있는가?

1. 문제 정의

대규모 언어 모델(LLM) 에이전트들은 지도 미세 조정(SFT)과 강화 학습(RL)을 통해 정적 벤치마크에서 높은 숙련도를 보여주지만, 실제 환경의 비정상성(non-stationary nature)으로 인해 실세계 배포에는 한계가 있다. 현재의 벤치마크는 도구 분포, 스키마, 상호작용 로직이 훈련과 추론 사이에 일관되게 유지된다는 "정적 세계 가정(static world assumption)"에 의존하는 경우가 많다. 그러나 실제 배포 환경은 API의 폐기, 도구 스키마의 진화, 사용자 지시문의 모호함과 같은 동적인 변화에 직면한다.

저자들은 다음 네 가지 차원에서 분포 변화(distributional shifts)를 특징짓는 OpenAgent 문제를 정형화한다:

1. 사용자 쿼리 ($\Delta Q$): 의미적 지시 및 언어적 표면 형태의 변화.
2. 도구 세트 ($\Delta A$): 이름이 변경된 도구, 변경된 동작, 또는 구조적 재구성(병합/분할)을 포함하는 비정상적 액션 공간.
3. 상호작용 역학 ($\Delta O$): 예상치 못한 에러 상태, null 값, 또는 교정 지시를 포함한 비정상적 피드백 채널.
4. 태스크 도메인 ($\Delta D$): 잠재적인 문제 해결 구조는 유지하면서 $Q, A, O$가 새로운 도메인으로 결합되어 변화하는 것.

핵심 연구 질문은 현재의 훈련 패러다임(SFT 및 RL)이 에이전트가 이러한 오픈 월드 변화에 일반화할 수 있도록 하는지, 아니면 그 성능이 단순히 폐쇄 집합 과적합(closed-set overfitting)의 산물인지 여부이다.

2. 방법론

2.1 통제된 샌드박스 환경

실제 API의 노이즈로부터 환경 변화를 격리하기 위해, 저자들은 관심 지점(POI) 데이터를 기반으로 한 합성 샌드박스 환경을 구축했다.

• 데이터: 데이터 누수를 방 strictly 방지하기 위해 엄격히 분리된 6,050개의 훈련 샘플과 880개의 평가 샘플.
• 백본(Backbone): Qwen2.5-7B-Instruct.
• 베이스라인: 전체 파라미터 SFT 및 RL (희소 보상을 사용하는 GRPO 프레임워크 활용). 두 방식 모두 안정적인 베이스라인을 구축하기 위해 폐쇄된 환경에서 수렴할 때까지 훈련되었다.

2.2 4단계 진단 프레임워크

저자들은 에이전트의 강건성을 체계적으로 조사하기 위해 계층적 평가 프레임워크를 설계했다:

• Tier 1: 인지 일반화 (Perception Generalization): 가공되지 않은 관측치를 접지(grounding)하는 능력 테스트.
  • 지시문 강건성: 흐릿한 지시문 및 정보 중복 처리.
  • 스키마 적응성: 파라미터 키의 변경(예: args vs parameters)에 대한 적응.
  • 의미적 접지: 기호적 드리프트(symbolic drift), 의미적 함정(적대적 설명), 및 정체성 소멸(무작위 도구 이름)에 대한 내성 테스트.
• Tier 2: 상호작용 일반화 (Interaction Generalization): 피드백을 사용하여 정책을 조정하는 능력 테스트.
  • 포맷 적응성: 비표준 반환 형식(예: Markdown vs JSON) 파싱.
  • 오류 수정: 명시적 에러 또는 침묵하는 null 반환으로부터의 회복.
  • 동적 정렬: 피드백에서 제공된 값 또는 도구 리디렉션에 대한 적응.
• Tier 3: 추론 일반화 (Reasoning Generalization): 유효한 실행 계획을 구성하는 능력 테스트.
  • 규칙 추론: 변경된 기능적 의미론(예: 계산 요소)에 대한 적응.
  • 경로 계획: 궤적 단순화(지름길) 및 논리 역전(역방향 인과 관계) 처리.
• Tier 4: 내부화 일반화 (Internalization Generalization): 고차원적 경계 인식 능력 테스트.
  • 능동적 거절: 해결 불가능한 작업(누락된 조건 또는 치명적 에러)을 인식하는 능력.
  • 도메인 전이: 추론 토폴로지를 의미적으로 구별되는 도메인(예: 지리학에서 의료 등록으로)으로 전이.

2.3 제안된 솔루션: 섭동 증강 미세 조정 (Perturbation-Augmented Fine-Tuning, PAFT)

SFT에서 확인된 취약성을 해결하기 위해, 저자들은 데이터 중심의 개입 전략인 PAFT를 제안한다. 일반적인 증강과 달리, PAFT는 성공적인 훈련 궤적에 제어된 섭동을 주입함으로써 궤적 수준에서 작동한다:

• 환경 피드백 섭동 (Environmental Feedback Perturbation, EFP): 궤적 중간에 관측 이상(예: 도구 리디렉션)을 주입하여, 모델이 교정 동작을 생성하도록 감독함.
• 해결 가능성 경계 섭동 (Solvability Boundary Perturbation, SBP): 치명적 에러 샘플을 도입하여 명시적 거절을 학습시키며, "모든 문제는 해결 가능하다"는 가정을 타파함.
• 기호적 표현 섭동 (Symbolic Representation Perturbation, SRP): 도구 이름과 문서에 표면 수준의 증강(동의어 재작성, 노이즈 주입)을 적용하여 기호적 앵커링(symbolic anchoring)을 해제함.

3. 주요 결과 및 관찰

3.1 현재 패러다임의 실패 모드

• SFT (기호적 앵커링): SFT 에이전트는 "취약한 기호적 앵커링"을 보인다. 이들은 암기된 토큰 시퀀스와 표면적 이름에 크게 의존한다. 도구 이름이 섭동되거나 의미가 변할 때(Tier 1), SFT 성능은 급격히 저하된다. 또한, SFT는 환경 피드백을 무시하는 경향(개방 루프 동작)이 있어, 명시적인 에러 리디렉션이 제공될 때도 성공적인 결과를 환각(hallucination)하며 생성한다(Tier 2).
• RL (경계 맹목): RL 에이전트는 보상 기반의 상호작용 덕분에 더 나은 의미적 접지와 명시적 가이드에 대한 적응력을 보여준다(Tier 2). 그러나 이들은 "경계 맹목(boundary blindness)" 문제를 겪는다. 에러를 인지함에도 불구하고, 목적론적 편향(결과 지향적 보상)으로 인해 문제를 거절하기보다 강제로 완료하려는 경향을 보인다(Tier 4). SFT와 RL 모두 전역적 의존성 역전(Tier 3의 논리 역전) 상황에서 크게 실패하며, 이는 에이전트가 동적인 논리 구조가 아닌 액션 시퀀스의 시간적 순서에 과적합되었음을 나타낸다.

3.2 PAFT의 성능

PAFT는 표준 SFT에서 관찰된 성능 저하를 효과적으로 완화한다:

• 강건성: PAFT는 초기 훈련 단계에서의 심각한 성능 저하를 Tier 1~3 전반에 걸친 양의 변화(positive delta)로 전환시킨다.
• 거절 능력: SBP 구성 요소는 특히 해결 불가능한 작업을 거절하는 능력을 복구하여, 치명적 에러 시나리오에서 표준 SFT의 거의 제로에 가까운 거절률과 대조되는 약 99%의 거절률을 달이는 데 성공했다.
• 절제 실험 (Ablation): 연구는 각 구성 요소(EFP, SBP, SRP)가 서로 다른 실패 모드를 해결함을 확인했다. 분포 커버리지와 신호 품질 사이의 균형을 맞추는 최적의 섭동 비율($\alpha$)은 0.3으로 나타났다.

4. 기여 및 의의

본 논문은 세 가지 주요 기여를 한다:

1. OpenAgent의 정형화: 도구 사용 에이전트가 오픈 월드에서 겪는 쿼리, 도구, 상호작용, 도메인의 변화를 특징짓는 엄격한 문제 설정을 정의했다.
2. 체계적 평가: 통제된 샌드박스와 4단계 진단 프레임워크를 구축하여, SFT 및 RL 패러다임의 구체적인 구조적 약점(기호적 앵커링 및 경계 맹목)을 밝혀냈다.
3. 방법론적 개입: 모델을 얕은 패턴 암기에서 분리하고 명시적 경계 인식을 가르침으로써 에이전트의 강건성과 안전성을 높이는 섭동 기반 전략인 PAFT를 제안했다.

의의:
저자들은 정적 벤치마크에서의 에이전트의 숙련도가 종종 취약하다는 점을 지적한다. SFT는 궤적 과적합을, RL은 결과 편향된 강제 완료를 겪는다는 것을 밝힘으로써, 본 논문은 실제 세계 배포를 위한 중요한 안전 및 신뢰성 격차를 강조한다. 제안된 PAFT는 에이전트가 단순히 작업을 수행하는 것을 넘어, 언제 중단해야 하는지를 인식할 수 있게 함으로써 현실적이고 비정상적인 환경에서 에이전트의 유용성을 높이는 경로를 제시한다. 이 연구는 에이전트 시스템의 일반화 능력을 진단하고 개선하기 위해 정적인 폐쇄 집합 평가를 넘어 나아가야 할 필요성을 역설한다.