기술 요약: HAVE (History-Aware VErifier)

문제 정의

실세계에서 작동하는 로봇은 외형은 동일하지만 물리적 행동은 판이하게 다른(예: 밀어야 하는 문과 당겨야 하는 문, 또는 내부 질량 분포를 알 수 없는 물체 등) 시각적으로 모호한 객체에 빈번히 직면합니다. 이러한 시나리오에서 환경의 진정한 상태는 부분적으로 관측 가능한 상태이며, 이는 부분 관측 마르코프 결정 과정(POMDT)에 해당합니다.

핵심 과제는 행동 이력(action history)을 조건으로 하더라도 표준 생성 정책(generative policies)이 이러한 모호성을 해소하는 데 어려움을 겪는다는 점입니다. 이론적 및 경험적 증거에 따르면, 동일한 관측값에 대해 서로 다른 정답(ground-truth)이 존재하는 이질적인 전문가 데이터셋을 학습하기 위해 단일 생성 정책을 사용하는 것은 최적이 아닌 성능을 초래합니다. 저자들은 단순히 이력 조건부 생성기에만 의존하는 것이 실시간으로 불확실성을 해결하기 위해 과거의 상호작용을 효과적으로 활용하지 못한다고 주장합니다.

방법론: HAVE 프레임워크

저자들은 행동 생성과 행동 검증을 명시적으로 분리하는 HAVE(History-Aware VErifier) 프레임워크를 제안합니다. 이 시스템은 생성-검증 패러다임으로 작동합니다:

1. 무조건부 생성기 ($\pi_G$): 확산 기반 모델(diffusion-based model)이 현재 관측치를 바탕으로 $N$개의 후보 행동 배치를 생성합니다. 결정적으로, 이 생성기는 이력에 대해 무조건적입니다. 즉, 생성 단계에서 과거의 실패나 성공에 의해 편향되지 않고 다양한 후보를 제안합니다.
2. 이력 인지 검증기 ($V$): 신경망이 전체 상호작용 이력(과거의 행동 및 그로 인한 관측 결과)을 추론하여 제안된 후보들을 평가합니다. 이 모델은 각 후보에 대해 스칼라 점수(추정 보상)를 출력합니다.
3. 선택: 시스템은 검증기에서 가장 높은 추정 점수를 받은 행동을 선택하여 실행합니다.

네트워크 아키텍처

검증기는 제안된 행동을 과거 데이터와 연관시키기 위해 설계된 특정 아키텍처를 채택합니다:

• 인코딩: 행동은 조밀한 행동 필드(액션 벡터를 가진 포인트 클라우드)로 표현되어 PointNet++를 통해 인코딩됩니다. 관측치는 "관측 흐름(Observation Flow)"(연속된 프레임 사이의 점들의 움직임)을 계산하고 이를 인코딩함으로써 표현됩니다.
• 어텐션 메커니즘: 검증기의 핵심은 명시적인 어텐션 레이어를 사용합니다. 현재의 행동 제안이 쿼리(Query, Q) 역할을 하며, 과거 행동과 관측 흐름의 임베딩이 키(Key, K) 및 값(Value, V) 역할을 합니다. 이를 통해 모델은 현재 제안과 유사한 관련 과거 경험을 검색할 수 있습니다.
• 무조건부 브랜치: 유사한 이력이 없는 경우를 처리하기 위해, 아키텍처에는 역사적 맥락 없이 행동을 평가하는 무조건부 평가 브랜치가 포함되어 있으며, 이는 최종 어텐션 메커니즘에 통합됩니다.
• 학습 손실(Training Loss): 모델은 세 가지 손실 구성 요소로 학습됩니다:
  • 최종 점수 손실(Final Score Loss): 선택된 행동에 대한 최종 예측 점수를 감독합니다.
    즘 이력 점수 손실(History Score Loss): 과거 행동 결과의 점수를 감독합니다.
  • 무조건부 점수 손실(Unconditional Score Loss): 무조건부 평가 브랜치를 감독합니다.

이론적 동기

본 논문은 생성-검증 분리에 대한 이론적 근거를 제공합니다:

• 생성-검증 격차(Generation-Verification Gap): Setlur 등의 연구를 인용하며, 저자들은 이질적인 솔루션 트레이스가 존재하는 설정에서 생성 정책은 $O(\sqrt{1/n})$의 속도로 수렴하는 보상 격차를 겪는 반면, 보상 항에 적합하도록 학습된 검증기는 $O(e^{-H/n})$(여기서 $H$는 호라이즌 길이)의 더 빠른 속도로 수렴함을 언급합니다.
• 선택의 이점: 저자들은 검증기의 정확도가 50%($p_V > 0.5$)보다 크고 생성기가 좋은 행동을 샘플링할 비제로 확률을 가진다면, 검증기를 사용하여 $N$개의 샘플 중 최선의 행동을 선택하는 것이 생성기에서 단일 행동을 샘플링하는 것보다 엄격하게 더 높은 기대 보상을 얻음을 증명합니다.

실험 결과

이 방법은 시뮬레이션과 실세계 환경 모두에서 근본적인 모호성을 포함하는 세 가지 환경에서 평가되었습니다:

1. 관절 구조 객체 (시뮬레이션):

   • 태스크: 다양한 관절 구조 객체(PartNet-Mobility)를 닫힌 상태에서 여는 것.
   • 결과: HAVE는 FlowBot3D 대비 실패율을 약 6배(13%에서 2%로) 감소시켰으며, 검증기가 없는 이력 조건부 생성기 대비 10배의 성능 향상을 보였습니다.
   • 어블레이션(Ablations): 조밀한 행동 필드를 사용하고 명시적인 관측 흐름 추출을 사용하는 것이 희소 표현(sparse representations)이나 원시 포인트 클라우드 시퀀스보다 우수함을 입증했습니다.

2. 멀티모달 도어 (시뮬레이션 및 실세계):

   • 태스크: 기하학적 구조는 동일하지만 관절 구성이 다른 문들에 대해 올바른 개방 방향(밀기/당기기, 왼쪽/오른쪽)을 결정하는 것.
   • 결과: HAVE는 실패율과 문을 여는 데 필요한 단계 수 모두에서 베이스라인을 크게 앞질렀습니다. Franka Emika Panda 로봇을 이용한 실세계 실험에서 HAVE는 네 가지 도어 모드 모두에서 더 높은 성공률과 효율성을 보여주었습니다.

3. 불균형 객체 들어올리기 (시뮬레이션):

   • 태스크: 알려지지 않은 불균형한 질량 분포를 가진 막대 및 객체를 들어올리는 것.
   • 결속: HAVE는 모호한 막대 데이터셋과 미학습 객체 데이터셋 모두에서 베이스라인 대비 실패율을 줄였으며, 시행착오 상호작용을 통해 질량 중심을 추론할 수 있음을 입증했습니다.

주요 기여

1. 새로운 검증기 구조: 불확실한 시나리오를 해소하기 위해 과거의 상호작용을 명시적으로 추론하는 이력 인지 검증기를 제안하며, 이러한 추론 과정을 행동 생성 과정으로부터 분리했습니다.
2. 이론적 분석: 검증기가 생성기의 제안으로부터 행동의 품질을 선택할 때 기대되는 행동 품질이 개선됨을 (검증기가 무작위보다 우수하다는 전제하에) 공식적으로 입증했습니다.
3. 경험적 검증: 관절 구조 객체, 모호한 문, 불균형 질량 객체 등 시뮬레이션 및 실세계 환경에 걸친 포괄적인 실험을 통해 최첨단 베이스라인 대비 유의미한 개선을 보여주었으며, 특정 설계 선택(예: 조밀한 행동 필드, 명시적 어텐션)의 효용성을 확인하는 어블레이션 연구를 수행했습니다.

의의 및 한계

본 논문은 HAVE가 모호하고 멀티모달한 조작 작업에서 온라인 디스앰비규에이션(disambiguation)을 위한 강력한 솔루션을 제공한다고 주장합니다. 생성 정책과 이력 인지 검증기를 결 조합함으로써, 시스템은 시행착오 결과를 바탕으로 전략을 조정하여 순수 생성 방식의 한계를 극복할 수 있습니다.

저자들은 다음과 같은 한계를 인정합니다:

• 시스템의 성능은 생성기의 표현력에 엄격히 제한됩니다. 즉, 생성기가 실행 가능한 행동을 제안하지 못하면 검증기가 이를 보완할 수 없습니다.
• 현재 학습은 시뮬레이션에서 얻은 특권 지식(ground-truth 행동 및 점수)에 의존하며, 이는 다양한 실세계 시나리오에서는 직접적으로 가용하지 않을 수 있습니다.
• 향후 연구는 검증기가 어떻게 생성기의 품질을 능동적으로 개선할 수 있는지, 그리고 특권된 감독 없이 어떻게 점수를 학습할 수 있는지 탐구하는 것을 목표로 합니다.