기술 요약: CrossHA – 강화 학습을 통한 다층적 에이전트 행동 마스터를 위한 단일 모델 학습

1. 문제 정의

에이전트형 AI의 패러다임은 사전 훈련된 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)을 중심으로 한 엔지니어링된 워크플로우에서, 사후 학습(post-training)을 통해 개발된 네이티브 에이전트 모델으로 이동하고 있습니다. 그러나 기존의 에이전트들은 일반적으로 정적이고 미리 정의된 행동 공간(예: API 전용, GUI 이벤트 또는 로봇 명령 등)에 국한되어 있습니다. 이러한 경직성은 두 가지 근본적인 한계를 초래합니다:

1. 취약성(Brittleness): 특정 행동 정책이나 변환 계층은 동적인 환경(예: CAPTCHA에 의해 차단된 API 함수, 또는 정밀도가 부족한 로봇 정책)에서 실패하는 경우가 많습니다.
2. 비유연성(Inflexibility): 작업에 행동 공간을 수동으로 할당하는 것은 적응성을 제한합니다. 결정적으로, 최적의 행동 공간은 작업 간에 다를 뿐만 아니라, 단일 작업 내에서도 단계별로 달라질 수 있습니다. 예를 들어, "심층 조사(Deep Research)" 에이전트는 정보 수집을 위해 검색 API를 효율적으로 사용하지만, CAPTCHA를 우회하기 위해서는 정밀한 GUI 수준의 조작이 필요할 수 있습니다.

현재의 접근 방식은 이질적인 행동 공간 간의 전환을 오케스트레이션하거나, 명시적인 선택 메커니즘을 최적화하지 않은 채 서로 다른 궤적을 병합하기 위해 복잡하고 취약한 파이프라인에 의존하는 경우가 많습니다. 문맥에 따라 각 단계에서 가장 효과적인 인터페이스(고수준 API부터 저수준 프리미티브까지)를 자율적으로 선택할 수 있는 통합된 모델이 부족한 실정입니다.

2. 방법론: CrossHA 프레임워크

이러한 한계를 해결하기 위해, 저자들은 여러 이질적인 행동 공간을 마스터하고 각 단계에 적합한 인터페이스를 자율적으로 선택하도록 훈련된 통합 에이전트 모델인 CrossHA를 제안합니다. 이 모델은 콜드 스타트 지도 미세 조정(SFT)과 다회차 그룹 상대 정책 최 optimization(GRPO) 알고리즘을 통합하는 포괄적인 3단계 파이프라인을 통해 학습됩니다.

2.1. 문제 정식화

이 작업은 합성 행동 공간 $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$를 가진 마르코프 결정 과정(MDP)으로 모델링됩니다. 여기서 각 부분 공간 $\mathcal{A}_x$는 서로 다른 클래스의 행동(예: 저수준 모터 제어 대 고수준 운동 프리미티브)에 대응합니다. 목표는 계산 또는 운영 비용(다양한 행동 입도와 관련된 비용)에 페널티를 부여하면서 기대 보상을 최대화하는 것입니다:
$$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$$

2.2. 학습 파이프라인

학습 과정은 세 가지 점진적인 단계로 구성됩니다:

• 1단계: 혼합 공간 지도 미세 조정 (Mixed-Space SFT)
  모델은 여러 행동 부분 공간의 궤적으로 구성된 균형 잡힌 데이터셋을 통해 초기화됩니다. 목표는 다양한 모달리티에 걸쳐 유효한 행동을 디코딩하고 생성할 수 있는 견고한 베이스 모델($M_{mix}$)을 구축하는 것입니다. 이 단계에서 모델은 구문과 의미론을 학습하지만, 아직 최적의 행동 공간을 자율적으로 선택하지는 못합니다.

• 2단계: 단회차 강화 학습 (Single-Turn RL, STRL)
  이 단계는 모델이 즉각적인 작업 문맥에 적합한 행동 공간을 자율적으로 선택할 수 있는 능력을 부여합니다.

  • 웜업(Warm-up): 다양성이 강화된 SFT 단계는 모든 공간에 걸친 후보 행동을 생성하고, 성공적인 실행을 필터링하여 정답 주석(ground-truth annotations)을 생성합니다.
  • 최적화: 모델은 **그룹 상대 정책 최적화(GRPO)**를 사용하여 미세 조정됩니다. PPO와 달리, GRPO는 학습된 가치 함수 대신 샘플링된 출력 그룹의 상대적 성능을 기반으로 어드밴티지(advantage)를 추정합니다. 보상은 행동 공간에 무관합니다. 즉, 파싱된 원시 행동이 정답과 일치하면 표면 형태와 관계없이 크레딧이 부여됩니다. 이는 모델이 주어진 입력에 대해 가장 신뢰할 수 있는 행동 공간을 선택하도록 유도합니다.

• 3단계: 다회차 강화 학습 (Multi-Turn RL, MTRL)
  장기적인 추론과 궤적 효율성을 최적화하기 위해 모델은 MTRL을 거칩니다.

  • 초기화: 자기 학습(self-training) 단계는 STRL 모델의 선호도를 바탕으로 데이터셋을 재라벨링하여, 적절한 행동 공간 선택을 위한 강력한 사전 확률($M_{cs2}$)을 생성합니다.
  • 궤적 최적화: 모델은 큐레이션된 작업 세트에서 이진 에피소드 보상(성공/실패)과 토큰 길이에 대한 페널티를 결합하여 미세 조정됩니다. 이는 에이전트가 작업 성공과 실행 효율성 사이의 균형을 맞추도록 독려하며, 가능한 경우 간결한 고수준 행동을 선호하되 필요할 때는 미세한 원자적 행동으로 전환하도록 합니다.

3. 주요 기여

1. CrossHA 모델: 이질적인 행동 공간을 마스터하고 인간이 정의한 휴리스틱에 의존하지 않고 문맥에 적합한 인터페이스를 자율적으로 선택할 수 있는 통합 에이전트 모델입니다.
2. 포괄적인 RL 파이프라인: 다회차 GRPO를 활용하는 학습 프레임워크를 도입하여, 에이전트가 단일 궤적 내에서 작업 성공과 실행 효율성을 모두 극대화하기 위해 적응형 행동 전환을 학습할 수 있도록 합니다.
3. 최첨단 성능(SOTA): 장기 추론 작업에서 정적 베이스라인 대비 우수한 일반화 능력과 견고성을 입증했습니다.

4. 실험 결과

저자들은 OpenHA 벤치마크 스위트(800개 이상의 수동 설계된 작업 포함)를 사용하여 오픈 월드 Minecraft(버전 1.16.5) 환경에서 CrossHA를 평가했습니다. 작업 카테고리는 다음과 같습니다:

• Mine Blocks: 탐색 및 물리적 상호작용.
• Craft Items: 복잡한 GUI 상호작용.
• Kill Entities: 생존 및 전투.

주요 결과:

• 성능: CrossHA는 모든 카테고리에서 최첨단 성능을 달est했습니다. 특히 "Mine Blocks"에서 94.7%의 완료 작업(FT) 비율을, "Craft Items"에서 83.3%를 달성하여 고정 행동 베이스라인을 크게 앞질렀습니다.
• 일반화: 단 30개의 작업(각 카테고리당 10개)만 학습했음에도 불구하고, CrossHA는 800개 이상의 평가 작업에 성공적으로 일반화되었습니다.
• 절제 연구(Ablation Studies):
  • 혼합 행동 공간: CrossHA는 MTRL 동안 단일 공간 베이스라인(예: GroundingHA, MotionHA)보다 더 빠르게 수렴하고 더 높은 점근적 성능에 도달하여 개선된 데이터 효율성을 보여주었습니다.
  • STRL의 필요성: STRL 단계를 포함하는 것은 특히 분포 외(OOD) 작업에서 학습 효율성과 최종 성능을 크게 향상시켰습니다.
  • 견고성: 단일 공간 에이전트는 분포 내(ID) 작업에서는 높은 성능을 보였으나 OOD 작업에서는 급격히 하락한 반면, CrossHA는 더 작은 일반화 격차를 유지하여 동적인 행동 공간 선택이 과적합을 완화함을 시사했습니다.

5. 의의 및 주장

본 논문은 CrossHA가 진정한 범용 에이전트를 향한 중요한 진전임을 주장합니다. 행동 공간 선택을 강화 학습을 통해 최적화되는 학습 가능한 구성 요소로 취급함으로써, 모델은 정적 설계의 경직성을 극복합니다. 결과는 적응형 행동 공간 선택이 정적 베зо라인에 비해 우수한 일반화와 견고성을 제공함을 입증합니다.

저자들은 모델이 트레이드오프를 동적으로 균형 잡는 법을 배운다는 점을 강조합니다: 적용 가능한 경우 효율성을 위해 고수준 행동을 우선시하고, 정밀한 제어가 필요한 경우 미세한 원자적 행동을 사용합니다. 이러한 능력은 에이전트가 수동 개입 없이도 복잡한 시나리오에서 멀티모달 상호작용을 처리할 수 있게 합니다.

저자들이 언급한 향uba 향후 연구 과제에는 다회차 RL의 효율성 개선과 안전성 및 지연 시간 문제가 발생하는 실제 로보틱스 환경으로의 프레임워크 확장이 포함됩니다.