기술 요약: 호기심을 기억하라

문제 정의

3D 환경 내에서 희소 보상과 장기 과제에서 유용한 행동을 학습하기 위한 탐색은 근본적인 전제 조건입니다. 호기심 기반 강화 학습 (RL) 은 예측 오차를 기반으로 내재적 보상을 생성하는 메커니즘을 제공하지만, 이를 복잡하고 사실적인 3D 환경으로 확장하는 것은 입증된 바와 같이 어렵습니다. 기존 접근법은 종종 "망각성" 탐색으로 고통받으며, 에이전트가 지역적 루프에 갇히게 됩니다. 이는 다음과 같은 이유로 발생합니다:

1. 에피소드적 맥락의 부재: 과거 관측의 기록이 없으면 에이전트는 동일한 장소를 반복적으로 방문하며, 이미 잊어버린 상태에 대해 "새로운" 참신성 보상을 받습니다.
2. 공간적 지속성의 부재: 표준 학습된 세계 모델 (예: 역/정방향 역학 모듈) 은 종종 경험에 대한 통계적 사전 확률로 작용할 뿐, 지속적 기록으로 기능하지 못합니다. 결과적으로 이들은 장면 일관성을 유지하지 못해 재방문 지역에서 가짜 예측 오차를 생성하고 잘못된 참신성 신호를 제공합니다.

핵심적인 과제는 명시적인 기하학적 지도나 깊이 센서에 의존하지 않고, 배포 시 시각적 입력 (RGB) 만을 사용하여 사실적인 3D 장면을 탐색하면서도 반복적인 행동을 피할 수 있도록 호기심 기반 에이전트를 가능하게 하는 것입니다.

방법론

본 논문은 지속적 세계 모델과 에피소드적 에이전트를 결합한 엔드 - 투 - 엔드 프레임워크인 호기심을 기억하라 (Remember to be Curious) 를 제안합니다.

1. 지속적 3D 정방향 모델 (세계 모델)

신뢰할 수 있는 호기심 신호를 제공하기 위해, 저자들은 프록시 정방향 세계 모델로 온라인 3D 가우스 스플래팅 (3DGS) 모델을 활용합니다.

• 메커니즘: 이 모델은 장면의 지속적 3D 표현 ($G_t$) 을 구축하기 위해 훈련 시간의 특권 관측 (RGB, 깊이, 카메라 포즈) 스트림을 입력받습니다.
• 호기심 보상: 각 단계에서 모델은 현재 3DGS 상태와 에이전트의 행동을 기반으로 다음 관측 ($\hat{o}_{t+1}$) 의 렌더링 예측을 수행합니다. 호기심 보상 ($r^{cur}_t$) 은 렌더링된 뷰와 실제 관측 ($o_{t+1}$) 간의 시각적 예측 오차에서 유도됩니다.
• 지속성: 표준 신경 정방향 모델과 달리 3DGS 는 환경의 연속적이고 업데이트된 기록을 유지합니다. 이는 예측 오차가 이전에 방문한 상태를 "잊어버린" 것이 아니라 진정으로 새로운 영역에서만 발생하도록 보장합니다.
• 보상 공식화: 오차는 의미 있는 구조적 참신성에 초점을 맞추기 위해 저역 통과 필터링되고 다운샘플링됩니다. 이진 보상이 발급됩니다: 설명되지 않은 뷰에 대해서는 $r_{new}$, 이미 모델에 의해 설명된 뷰에 대해서는 작은 페널티 $r_{old}$가 부여됩니다.

2. 에피소드적 에이전트 아키텍처

에이전트는 명시적인 기하학적 매핑 없이 내부 에피소드 메모리를 유지하면서 RGB 관측 및 행동 시퀀스만으로 작동하는 트랜스포머 기반 정책입니다.

• 입력 처리: 각 타임스텝의 RGB 프레임은 선행 행동 (플뤼커 - 레이 이미지로 인코딩됨) 과 짝을 이룹니다. 이들은 이미지 인코더를 통해 처리되고 DINOv2 특징으로 보강됩니다.
• 메커니즘: 에이전트는 하이브리드 어텐션 아키텍처를 사용합니다:
  • 슬라이딩 윈도우 인과적 어텐션: 지역적 시간적 맥락을 효율적으로 처리합니다.
  • 글로벌 선형 - 어텐션 메모리: TTT 및 LoGeR 아키텍처에서 영감을 받은 이 모듈은 전체 에피소드에 걸쳐 정보가 전파되도록 하는 실행 중인 숨겨진 상태 ($h_t$) 를 유지하여 장기 계획 (예: 새로운 분기를 찾기 위해 되돌아가기) 을 가능하게 합니다.
• 훈련: 정책은 호기심 보상을 유일한 신호로 사용하여 PPO 를 통해 훈련됩니다. 보상이 희소해졌을 때 반복적 행동으로 붕괴되는 것을 방지하기 위해, 훈련 롤아웃에는 학습된 정책과 균일 무작위 정책의 혼합이 포함되며 (훈련 기간 동안 20% 에서 0% 로 스케줄링됨), 엔트로피 정규화와 함께 수행됩니다.

3. 배포

테스트 시, 에이전트는 RGB 프레임 스트림만으로 행동합니다. 3DGS 정방향 모델은 배포 중에는 사용되지 않으며, 에이전트는 탐색을 위해 학습된 내부 에피소드적 맥락 표현에 전적으로 의존합니다.

주요 기여

1. 호기심을 위한 이중 요구사항: 본 논문은 사실적인 3D 환경에서 효과적인 호기심을 위해서는 (잊어버린 상태에서 발생하는 잘못된 참신성을 피하기 위한) 지속적 세계 모델과 (역사적 맥락을 사용하여 새로운 영역을 향해 계획하기 위한) 에피소드적 에이전트가 모두 필요함을 보여줍니다.
2. 엔드 - 투 - 엔드 RGB 전용 정책: 제안된 에이전트는 배포 시 명시적인 기하학적 지도, 깊이 센서, 또는 위치 확인 모듈이 필요하지 않습니다. 이는 순수하게 시각적 입력을 통해 복잡한 3D 장면을 탐색하는 법을 학습합니다.
3. 프록시로서의 지속적 3DGS: 이 작업은 공간적 망각으로 고통받는 표준 학습된 정방향 모델의 한계를 해결하기 위해 호기심 신호에 필요한 공간적 지속성을 제공하기 위해 온라인 3D 가우스 스플래팅을 활용합니다.
4. 창발적 장기 행동: 에이전트는 이미 본 지역을 통과 (되돌아가기) 하여 환경의 보이지 않는 "분기"를 발견하는 법을 학습하며, 이는 계층적 목표 선택이나 모방 학습 없이는 희소 보상 설정에서 학습하기 어려운 행동입니다.

실험 결과

에이전트는 Habitat Matterport 3D (HM3D) 데이터셋을 사용하여 순수하게 호기심으로 훈련되었습니다.

• 탐색 성능: HM3D 및 Gibson 데이터셋에서 에이전트는 3D 장면 완성도와 미관측 지점까지의 평균 거리 측면에서 최신 RL 기반 능동 매핑 베이스라인 (ANS, OccAnt) 을 능가합니다. 이는 베이스라인이 종종 정답 깊이 또는 명시적 지도에 의존하는 반면, RGB 입력만으로도 더 빠른 커버리지를 달성합니다.
• 애블레이션 연구:
  • 세계 모델: 지속성을 제거 (단기 메모리 또는 표준 ICM 사용) 하면 에이전트가 지역적 루프로 붕괴되거나 갇히게 됩니다.
  • 에이전트 메모리: 에이전트의 컨텍스트 창을 줄이거나 RNN 을 사용하면 성능이 저하됩니다. 비대칭 메모리 (비평가만 컨텍스트를 가짐) 는 완전한 에피소드적 메모리보다 성능이 낮아, 정책이 역사를 유지해야 함을 확인시켜 줍니다.
• 하류 적응: 사전 훈련된 에이전트는 희소 보상 하류 작업에 대해 몇 에피소드 동안 미세 조정되었습니다:
  • 사과 수확: 처음부터 훈련된 에이전트보다 우수한 성능을 보였으며, 특히 보상이 매우 희소한 상황 (사과가 적은 경우) 에서 두드러졌습니다.
  • 이미지 목표 탐색: 성공적으로 일반적인 탐색 능력을 특정 목표 뷰포인트에 도달하도록 재지향하여, 처음부터 훈련된 베이스라인을 능가했습니다.
• 제로샷 일반화: 에이전트는 추가 훈련 없이 분포 밖의 AI 생성 3D 세계 (호빗 월드, 우주선) 로 일반화되어 렌더링 파이프라인과 미적 요소의 차이에도 불구하고 복도를 탐색하고 충돌을 피했습니다.

중요성과 주장

본 논문은 세계에 대한 지속적 모델과 에피소드적 에이전트를 결합하는 것이 복잡하고 사실적인 3D 환경으로 호기심 기반 탐색을 확장하기 위한 실용적인 경로임을 주장합니다.

• 세계 모델에 대한 겸손한 주장: 저자들은 3DGS 의 사용이 "동역학 없는" 세계 모델의 프록시이며, 에이전트를 정적 장면으로 제한한다고 인정합니다. 그들은 행동 조건부 비디오 생성 모델이 성숙해짐에 따라, 유사한 공간적 지속성과 폐루프 온라인 업데이트를 달성할 수 있다면 결국 3DGS 를 대체할 수 있다고 가정합니다.
• 미래 작업을 위한 통찰: 본 연구는 향후 세계 모델에 대한 가이드 역할을 하며, 공간적 지속성과 내부 표현을 지속적으로 업데이트하는 능력이 신뢰할 수 있는 내재적 동기를 위해 엄격하게 필요함을 강조합니다.
• 일반화: 이 작업은 지속적 메모리에 기반한 호기심 기반 탐색이 명시적 매핑이나 모방 학습 부트스트래핑 없이도 효과적 탐색자일 뿐만 아니라 다양한 하류 작업에 매우 적응력 있는 에이전트를 산출할 수 있음을 보여줍니다.