기술 요약: 노이즈 하에서 행동 학습하기 (NoisyAgent)

문제 제기

대형 언어 모델 (LLM) 의 최근 발전은 추론, 계획, 도구 사용을 수행할 수 있는 대화형 에이전트의 배포를 가능하게 했습니다. 그러나 현재 연구에서 사용되는 이상화된 훈련 환경과 실제 배포의 확률적이고 불완전한 성격 사이에는 근본적인 불일치가 존재합니다. 기존 패러다임은 세심하게 선별된 지시문과 안정적이고 잘 통제된 환경에 의존합니다. 반면, 실제 상호작용은 다음을 포함합니다:

• 사용자 노이즈: 사용자 지시문의 모호성, 변동성, 예측 불가능한 행동.
• 도구 노이즈: 외부 도구 실행에서의 실패, 불완전한 출력, 오해의 소지가 있는 정보, 그리고 이상 현상.

이러한 불일치는 에이전트가 동적 환경에 배포될 때 성능이 크게 저하되는 원인이 됩니다. 현재 훈련 방법들은 에이전트가 실제 상황에서 마주치는 오류에서 회복하거나 모호성을 해결하는 데 필요한 견고성을 갖추도록 하는 데 종종 실패합니다.

방법론: NoisyAgent

저자들은 학습 과정에 환경의 불완전성을 명시적으로 통합하도록 설계된 에이전트 강화 학습 (RL) 프레임워크인 NoisyAgent를 제안합니다. 이 프레임워크는 자동 노이즈 주입 파이프라인과 적응형 훈련 전략이라는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 자동 노이즈 주입 파이프라인

이 시스템은 에이전트 - 환경 상호작용을 두 수준에서 교란시켜 실제 세계의 불완전성을 시뮬레이션합니다:

• 사용자 측 주입: 작업 시작 전에 상호작용 패턴을 수정하여 비이상적인 사용자 행동을 시뮬레이션합니다. 여기에는 다음이 포함됩니다:
  • 모호함: 미충족된 사용자 의도.
  • 불일치: 시간에 따라 충돌하거나 변화하는 사용자 요구.
  • 중복: 관련 없는 정보의 포함.
  • 제약: 상호작용 과정이 더 확률적이 되지만, 해결 가능성을 보장하기 위해 근본적인 작업 목표 ($q$) 는 유지됩니다.
• 도구 측 주입: 에이전트 롤아웃 중에 도구 실행 결과를 교란시켜 실행 이상을 시뮬레이션합니다. 여기에는 다음이 포함됩니다:
  • 실패: 오류를 반환하는 도구 요청.
  • 불완전: 잘린 출력.
  • 오해의 소지: 부정확하거나 일관성 없는 정보.
  • 중복: 응답에 포함된 불필요한 세부 사항.

2. 적응형 노이즈 훈련 전략

통제되지 않은 노이즈로 인한 훈련 역학의 불안정화를 방지하기 위해, 저자들은 하이브리드 훈련 방식과 커리큘럼 학습을 결합하여 사용합니다:

• 하이브리드 롤아웃: 각 작업에 대해 모델은 일련의 병렬 롤아웃을 생성합니다. 일부 ($N_{noise}$) 는 교란된 (노이즈가 있는) 환경에서 실행되고, 나머지 ($N - N_{noise}$) 는 깨끗하고 이상화된 환경에서 실행됩니다.
• 그룹별 정규화: 훈련 목적 함수 (그룹 상대 정책 최적화, GRPO 기반) 는 깨끗한 그룹과 노이즈가 있는 그룹 내에서 각각 이점 (advantages) 을 계산합니다. 이는 어느 한 그룹이 기울기 업데이트를 지배하는 것을 방지하고 이질적인 조건 하에서 학습을 안정화합니다.
• 노이즈 스케줄링: 노이즈의 난이도와 비율은 정적이지 않습니다. 시스템은 깨끗한 롤아웃과 노이즈가 있는 롤아웃 간의 성능 격차 ($\Delta$) 를 통해 모델의 견고성을 정량화합니다.
  • 훈련은 완전히 이상화된 환경에서 시작됩니다.
  • 모델이 적응함에 따라 (즉, $\Delta$가 임계값 $\theta$ 아래로 떨어질 때), 시스템은 노이즈 규모 (노이즈가 있는 롤아웃의 비율) 와 노이즈 난이도 (교란의 심각도) 를 점진적으로 증가시킵니다.
  • 이는 에이전트를 압도하지 않으면서 상호작용 복잡성을 점진적으로 높이는 커리큘럼을 생성합니다.

주요 기여

1. 훈련 - 배포 간극의 식별: 이 논문은 현재 에이전트 훈련에서 이상화된 가정에 대한 의존성이 실제 세계 환경에서 견고성 실패의 주요 원인임을 강조합니다.
2. 노이즈 인식 프레임워크: 지시문 노이즈 (사용자 측) 와 도구 노이즈 (도구 측) 를 에이전트 훈련 파이프라인에 통합하는 체계적인 프레임워크의 개발.
3. 적응형 커리큘럼: 모델 성능에 기반하여 노이즈 난이도를 점진적으로 증가시킴으로써 훈련 안정성과 견고성 사이의 균형을 맞추는 새로운 스케줄링 전략.
4. 실증적 검증: 노이즈 하에서의 훈련이 노이즈가 있는 환경뿐만 아니라 표준 이상화된 벤치마크에서도 성능을 향상시킨다는 것을 보여주는 광범위한 실험.

실험 결과

저자들은 Qwen3-8B와 Qwen3-32B 백본을 사용하여 AgentNoiseBench(노이즈 환경) 와 $\tau^2$-Bench 및 Vita-Bench(이상 환경) 와 같은 표준 벤치마크에서 강력한 베이스라인 (GRPO, DAPO, GSPO) 과 NoisyAgent 를 평가했습니다.

• 노이즈 환경에서의 견고성: NoisyAgent 는 다양한 도메인 (유통, 항공사, 통신, 배송 등) 에서 AgentNoiseBench 상에서 모든 베이스라인을 일관되게 능가했습니다. 예를 들어, Qwen3-32B 를 사용한 유통 도메인에서 NoisyAgent 는 Avg@4 43.20과 Pass@4 65.79를 달성하여 다음으로 가장 좋은 방법 (GSPO: 37.72 / 60.53) 을 크게 앞섰습니다.
• 이상 환경으로의 일반화: 노이즈 훈련이 깨끗한 작업의 성능을 저하시킬 것이라는 가설과 반대로, NoisyAgent 는 표준 벤치마크에서 일관된 향상을 이루었습니다. $\tau^2$-Bench 의 유통 도메인 (Qwen3-32B) 에서 Avg@4 60.31과 Pass@4 86.84를 달성하여 GSPO(58.55 / 84.21) 를 능가했습니다.
• 행동 분석:
  • 효율성: 노이즈 조건 하에서 NoisyAgent 는 기본 모델에 비해 도구 사용을 18% 감소시켰습니다 (에피소드당 13.9 회에서 11.4 회 호출). 이는 불필요한 상호작용을 피한 결과입니다.
  • 명확성: 모델은 더 길고 상세한 응답을 생성했습니다 (노이즈 하에서 출력 토큰이 2.1 배 증가). 이는 추가 도구 호출에 의존하기보다 모호성을 해결하기 위해 명시적인 상호작용으로 전환했음을 시사합니다.
• 절대 연구 (Ablation Studies): 통제된 주입을 제거하고 (모든 롤아웃에 노이즈 적용) 성능 저하가 가장 크게 발생하여 하이브리드 훈련 방식의 필요성을 확인했습니다. 스케줄링 전략을 제거한 경우에도 성능이 저하되어 점진적 난이도의 중요성을 검증했습니다.

중요성과 주장

이 논문은 환경 노이즈에 대한 통제된 노출이 암시적 난이도 증강의 한 형태라고 주장합니다. 에이전트가 오류에서 회복하고, 모호성을 해결하며, 예상치 못한 결과에 적응하도록 훈련시킴으로써, 이 프레임워크는 더 일반화 가능한 추론 및 의사결정 행동을 촉진합니다.

저자들은 다음과 같은 방식으로 에이전트 훈련과 실제 세계 배포 간의 간극을 해소한다고 주장합니다:

1. 학습 중 다양한 불완전성에 노출되는 것이 견고성의 발현적 속성임을 검증.
2. 노이즈를 통한 훈련이 이상화된 환경에서의 성능을 훼손하지 않고 오히려 향상시킨다는 것을 입증.
3. 확률적이고 실제적인 시나리오에서 신뢰성을 향상시키기 위해 모든 에이전트 환경에 적용 가능한 실용적이고 확장 가능한 프레임워크 (NoisyAgent) 제공.

이 연구는 선별되고 통제된 벤치마크를 벗어난 LLM 기반 에이전트의 효과적인 기능 개발을 위해 상호작용의 불완전성을 모델링하는 것이 필수적이라고 결론지었습니다.