CDE: Concept-Driven Exploration for Reinforcement Learning

1. 연구 배경 및 문제 정의 (Problem)

강화학습 (RL) 은 로봇 조작 및 항법 등 다양한 분야에서 뛰어난 성과를 보이고 있지만, 희소 보상 (sparse reward) 환경에서의 탐색 (exploration) 은 여전히 큰 난제입니다. 특히 시각 제어 (visual control) 작업에서는 고차원의 픽셀 데이터에서 작업과 관련된 구조를 추출해야 하므로, 무작위 탐색은 비효율적이고 환경 상호작용을 낭비하게 됩니다.

최근 연구들은 사전 훈련된 시각 - 언어 모델 (VLM) 을 활용하여 작업 관련 도메인 지식을 기반으로 밀집 보상 신호를 생성하려는 시도를 하고 있습니다. 그러나 VLM 은 실제 환경에서 노이즈가 있거나 부정확한 출력을 생성할 수 있으며, 이러한 불완전한 신호에 직접적으로 의존하여 정책을 최적화하면 탐색이 잘못 유도되어 학습 효율성이 떨어질 수 있습니다. 또한, 실제 로봇 시스템은 종종 손목 장착 카메라 (wrist-mounted camera) 를 사용하는데, 이는 시야각이 급격히 변하고 목표 객체가 시야에서 사라질 수 있어 부분 관측성 (partial observability) 문제를 야기합니다.

2. 제안 방법: 개념 주도 탐색 (CDE, Concept-Driven Exploration)

저자들은 VLM 의 노이즈에 강인하면서도 샘플 효율적인 정책 학습을 위해 CDE를 제안합니다. 핵심 아이디어는 VLM 이 생성한 시각적 개념을 직접적인 보상이나 관측치로 사용하는 대신, 약한 지도 신호 (weak supervisory signal) 로 활용하여 정책의 내부 표현을 학습시키는 것입니다.

주요 구성 요소 및 메커니즘:

1. 개념 생성 (Concept Generation):

   • LLM 을 사용하여 자연어 작업 설명에서 상호작용해야 할 목표 객체를 추출합니다.
   • 추출된 객체 목록을 VLM (예: Grounded-SAM2) 에 입력하여 각 프레임의 분할 마스크 (segmentation mask) 를 생성합니다. 이 마스크는 잠재적으로 노이즈가 포함된 약한 지도 신호로 간주됩니다.

2. 개념 임베딩 모델 (Concept Embedding Models, CEM) 활용:

   • 손목 카메라의 특성상 목표 객체가 시야에 없을 수 있으므로, CEM 을 도입하여 객체 존재 (object-present) 와 객체 부재 (object-absent) 두 가지 상태를 모두 표현합니다.
   • 정책 네트워크는 이미지를 양성 임베딩 ($\hat{c}^+$) 과 음성 임베딩 ($\hat{c}^-$) 으로 인코딩합니다.
   • 목표 객체가 시야에 있는지 여부에 따라 두 임베딩을 가중치 합으로 결합하여 최종 개념 임베딩을 생성합니다. 이는 객체가 보이지 않을 때도 학습이 가능하도록 돕습니다.

3. 재구성 손실 및 내재적 보상 (Reconstruction Loss & Intrinsic Reward):

   • 보조 학습 목표: 정책의 양성 임베딩 ($\hat{c}^+$) 에서 목표 객체의 분할 마스크를 재구성하도록 훈련합니다. 이때 VLM 이 생성한 마스크를 'Ground Truth'처럼 사용하되, 재구성 오차 (Loss) 를 최소화하는 방향으로 학습합니다.
   • 내재적 보상 (Intrinsic Reward): 재구성 오차를 내재적 보상으로 변환하여 사용합니다.
     • 논리: 정책이 목표 객체를 잘 인식하고 표현할수록 재구성 오차는 낮아집니다. 반대로, 정책이 아직 탐색하지 않은 상태 (목표 객체가 존재하지만 인식하지 못한 상태) 에서는 재구성 오차가 커집니다.
     • 효과: 이 오차를 보상으로 주어, 에이전트가 목표 객체가 존재하는 새로운 상태를 적극적으로 탐색하도록 유도합니다.

4. 학습 목표 함수:

   • 전체 손실 함수는 RL 의 크리틱 손실 ($L_{critic}$) 과 마스크 재구성 손실 ($L_{recons}$) 의 가중 합으로 정의됩니다.
   • $L_{total} = \alpha L_{critic} + \beta L_{recons}$

3. 주요 기여 (Key Contributions)

1. 제로샷 시각 개념 생성: 수동 주석 없이 LLM 과 VLM 을 결합하여 작업 관련 시각 개념 (분할 마스크) 을 자동으로 생성하는 방법을 제안했습니다.
2. 노이즈에 강인한 약한 지도 학습: VLM 의 부정확한 출력을 직접적인 보상이 아닌 약한 지도 신호로 처리하고, 재구성 오차를 내재적 보상으로 활용하여 노이즈에 강인한 탐색을 가능하게 했습니다.
3. 손목 카메라 대응 표현 학습: CEM 을 통해 객체의 유무에 따른 이중 표현 (dual representations) 을 학습시켜, 객체가 시야에서 사라지는 부분 관측 환경에서도 효율적인 학습을 지원합니다.
4. 실제 환경 검증: 시뮬레이션뿐만 아니라 실제 Franka 로봇 팔을 이용한 실증 실험을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 환경: Franka Kitchen (마이크로파, 노브, 스위치, 캐비닛) 과 Robosuite (Lift) 의 5 가지 시각 조작 작업에서 평가했습니다.
• 비교 대상: RGB 기반의 최신 RL 알고리즘 (DrQv2), 분할 마스크를 입력으로 사용하는 변형 (RGBM), 내재적 보상을 추가한 방법 (RGB-DRND, RGBM-DRND) 과 비교했습니다.
• 성능:
  • CDE 는 VLM 생성 마스크와 합성 노이즈 마스크 모두에서 대부분의 작업에서 가장 높은 성공률을 기록했습니다.
  • 특히 마스크 정확도가 25% 로 낮아지더라도 CDE 는 70% 이상의 성공률을 유지하는 반면, 기존 방법들은 성능이 급격히 저하되거나 붕괴되었습니다.
  • 탐색 분석: 히트맵 분석 결과, CDE 는 초기에는 무작위 탐색을 하다가 중반부터 목표 객체 주변으로 집중적으로 탐색하며, 객체를 효과적으로 상호작용하는 전략을 학습함을 보였습니다. 반면, 기존 방법들은 배경 노이즈에 집중하거나 픽셀 기반 보상에만 의존하는 비효율적인 탐색을 보였습니다.
• 실제 로봇 적용 (Sim-to-Real): Franka 로봇 팔을 사용하여 'Lift' 작업에 적용했을 때, 추가 미세 조정 (fine-tuning) 없이 80% (10 회 중 8 회) 의 성공률을 달성하여 실세계 배포 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 노이즈 문제를 해결하면서도 그 장점을 활용하는 새로운 패러다임을 제시합니다.

• 노이즈 내성: VLM 의 부정확한 출력을 직접적인 '정답'으로 받아들이지 않고, 정책이 스스로 개념을 학습하고 재구성하는 과정에서 내재적 보상을 얻도록 함으로써 학습의 안정성을 확보했습니다.
• 객체 중심 탐색: 배경 잡음에 휩쓸리지 않고 작업과 관련된 객체에만 집중하는 효율적인 탐색 전략을 가능하게 하여, 희소 보상 환경에서의 학습 효율을 극대화했습니다.
• 실용성: 손목 카메라와 같은 제한된 시야 환경에서도 작동하며, 실제 로봇에 바로 적용 가능한 강력한 성능을 보여주어 향후 로봇 학습 분야에서 중요한 이정표가 될 것으로 기대됩니다.

결론적으로, CDE 는 VLM 을 단순한 보상 생성기가 아닌 표현 학습을 위한 약한 지도 도구로 재해석함으로써, 복잡한 시각 조작 작업에서 효율적이고 강인한 강화학습을 가능하게 한 혁신적인 접근법입니다.