Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning

이 논문은 비전 트랜스포머의 토큰 수준 표현에 적용된 대비 학습 방법인 ICon 을 통해 에이전트 중심의 시각적 표현을 학습함으로써 로봇 조작 정책의 학습 효율성과 이종 로봇 간 전이 성능을 향상시킨다는 것을 보여줍니다.

핵심

🤖 로봇도 "거울"이 필요하다: ICon 이란 무엇인가?

상상해 보세요. 로봇이 테이블 위에 있는 컵을 잡으려 합니다. 로봇의 카메라는 컵, 테이블, 배경의 벽, 그리고 로봇 자신의 팔까지 모두 한 화면에 담습니다.

기존의 로봇 학습 방식은 이 모든 것을 '하나의 덩어리'로 보고 학습했습니다. 문제는 로봇이 자신의 팔이 움직이는 모습을 배우는 데 집중하기보다, 배경의 벽이나 컵 같은 환경 정보에 너무 많은 신경을 써서 혼란을 겪을 수 있다는 점입니다. 마치 거울을 보고 자신의 얼굴을 보려는데, 거울에 비친 배경 풍경에 너무 집중해서 정작 자신의 손가락이 어디 있는지 모를 때와 비슷합니다.

이 논문은 **"로봇이 자신의 몸을 명확하게 인식하게 해주는 거울 (ICon)"**을 만들어냈습니다.

🎨 핵심 아이디어: "나"와 "세상"을 분리하는 마법

ICon 은 로봇의 시야 (이미지) 를 작은 조각들 (토큰) 로 나눕니다. 그리고 이 조각들을 두 가지 부류로 나눕니다.

1. 로봇의 몸 (팔, 손, 그립퍼)
2. 주변 환경 (책상, 벽, 물체)

기존 방식은 이 두 가지를 섞어서 학습했지만, ICon 은 **"나 (로봇) 와 세상 (환경) 은 확실히 다르다"**라고 가르칩니다.

🧩 비유 1: 파티에서의 초대장 (토큰 분리)

로봇의 시야를 거대한 파티라고 상상해 보세요.

• 기존 방식: 파티에 온 모든 사람 (로봇과 환경) 을 한 덩어리로 보며 "누가 누구인지" 구분 없이 춤을 춥니다.
• ICon 방식: 파티에 들어오자마자 **"로봇 친구들"**은 한쪽 구석에, **"환경 친구들"**은 다른 구석에 모이게 합니다.
  • 로봇 친구들끼리는 서로 친하게 붙어 있게 하고 (유사성 강화),
  • 환경 친구들끼리는 서로 붙게 하되, 로봇 친구들과는 멀리 떨어지게 합니다 (차이점 강조).
  • 이렇게 하면 로봇은 "아, 저기 모인 게 내 몸이구나!"라고 금방 알아차리게 됩니다.

🎯 비유 2: 가장 먼 곳으로 퍼져 있는 사람들 (Farthest Point Sampling)

그런데 어떻게 로봇의 몸 전체를 골고루 잘 살펴볼까요? 단순히 무작위로 사람을 뽑으면, 모두 한 구석에 모여 있을 수 있습니다.
이 논문은 **FPS(Farthest Point Sampling)**라는 기술을 썼습니다.

• 무작위 뽑기: 파티장 한쪽 구석에 모여 있는 사람들만 뽑아서 "로봇의 몸은 이렇구나"라고 잘못 이해할 수 있습니다.
• FPS: "가장 멀리 떨어져 있는 사람들"을 골라 뽑습니다. 로봇의 손끝부터 어깨, 팔꿈치까지 가장 넓은 범위를 골고루 커버합니다. 이렇게 하면 로봇은 자신의 몸 전체를 빠짐없이 인식하게 됩니다.

🚀 왜 이것이 중요한가요? (실제 효과)

이 방법을 적용한 로봇은 다음과 같은 놀라운 변화를 겪었습니다.

1. 더 똑똑해졌습니다: 다양한 작업 (문 열기, 상자 닫기, 쓰레기 버리기 등) 에서 성공률이 크게 향상되었습니다. 로봇이 자신의 몸 움직임을 정확히 파악했기 때문에 더 정교한 작업을 할 수 있게 된 것입니다.
2. 다른 로봇에게도 잘 적용됩니다: 이 로봇이 배운 지식을 다른 모양의 로봇 (예: 팔 길이가 다른 로봇) 에게 바로 적용해도 잘 작동했습니다. 마치 "자신의 몸을 아는 법"을 배웠기 때문에, 몸의 모양이 조금 달라도 그 원리를 쉽게 이해할 수 있었던 것입니다.
3. 학습이 더 안정적입니다: 기존에 로봇이 자신의 몸을 복원하려고 노력하는 방식은 학습을 불안정하게 만들기도 했습니다. 하지만 ICon 은 단순히 "나와 세상은 다르다"는 것만 가르쳐도 되기 때문에, 학습 과정이 훨씬 부드럽고 안정적입니다.

💡 요약

이 논문은 로봇에게 **"자신의 몸을 시각적으로 인식하는 능력 (시각적 고유감각)"**을 심어주는 새로운 방법을 제시했습니다.

• 문제: 로봇이 카메라로 보는 세상에서 자신의 몸과 환경을 구분하지 못해 헷갈려 함.
• 해결책 (ICon): 로봇의 몸과 환경을 시각적 특징으로 명확히 분리해 주는 학습법.
• 결과: 로봇이 자신의 움직임을 더 잘 이해하게 되어, 다양한 작업을 더 잘 수행하고 다른 로봇에게도 지식을 쉽게 전수할 수 있게 됨.

마치 로봇이 거울을 통해 자신의 모습을 명확히 보고, "이게 내 팔이야, 저게 책상이야"라고 확실히 구분하게 되어, 훨씬 더 똑똑하고 유연하게 움직이게 된 셈입니다.

기술 요약

논문 요약: 시각적 표현에 신체 인식 (Bodily Awareness) 을 기반으로 한 효율적인 정책 학습

1. 문제 제기 (Problem)

로봇 조작 (Robotic Manipulation) 작업에서 효과적인 시각적 표현을 학습하는 것은 행동 실행에 관련된 복잡한 신체 역학 (Body Dynamics) 으로 인해 여전히 근본적인 과제로 남아 있습니다.

• 현황: 기존의 시각 - 운동 (Visuomotor) 정책 학습 프레임워크에서는 비주얼 인코더와 정책 네트워크가 동일한 최적화 목표를 공유합니다. 이로 인해 모델이 작업과 무관한 신호 (특히 에이전트 자신의 신체에 대한 시각적 신호) 를 필터링하여 버리는 병목 현상이 발생할 수 있습니다.
• 기존 접근법의 한계: 에이전트 중심의 보조 목적 (Auxiliary Objective) 을 도입하여 재구성 (Reconstruction) 손실 (예: RGB 이미지 또는 에이전트 마스크 복원) 을 사용하는 방법들이 존재하지만, 이는 정책 학습의 안정성을 해칠 수 있으며, 명시적으로 에이전트와 환경을 분리하는 데 한계가 있습니다.
• 핵심 질문: 모델 성능과 학습 안정성을 희생하지 않으면서 픽셀 데이터에서 해리된 (Disentangled) 에이전트 - 환경 표현을 자연스럽게 유도할 수 있는 방법은 무엇인가?

2. 방법론 (Methodology)

이 논문은 Inter-token Contrast (ICon) 라는 새로운 대비 학습 (Contrastive Learning) 방법을 제안합니다. 이는 비전 트랜스포머 (Vision Transformer, ViT) 의 토큰 수준 표현에 적용되어 에이전트 중심의 시각적 표현을 추출합니다.

• 기본 아이디어: 비전 트랜스포머의 토큰 (Token) 수준 특징을 활용하여, 에이전트 (로봇) 에 해당하는 토큰과 환경에 해당하는 토큰을 특징 공간에서 명확히 분리합니다.
• 핵심 구성 요소:
  1. 토큰 수준 에이전트 마스크 (Token-level Agent Masks):
     • 입력 이미지의 분할 마스크 (Segmentation Mask) 를 ViT 의 패치 (Patch) 단위로 매핑합니다.
     • 각 패치 내 에이전트 픽셀의 비율이 임계값 ($\beta$) 을 초과하면 해당 토큰을 '에이전트 토큰', 그렇지 않으면 '환경 토큰'으로 분류합니다.
  2. Inter-token Contrastive Loss:
     • 쿼리 (Query) 생성: 에이전트 토큰들의 평균을 에이전트 쿼리 ($q_a$), 환경 토큰들의 평균을 환경 쿼리 ($q_e$) 로 정의합니다.
     • 키 (Key) 샘플링: Farthest Point Sampling (FPS) 을 2D 도메인에 적용하여 에이전트와 환경 영역에서 각각 대표성을 갖춘 토큰들을 샘플링합니다. 이는 무작위 샘플링보다 공간적으로 고르게 분포된 특징을 확보하여 표현의 다양성을 보장합니다.
     • 손실 함수: 에이전트 쿼리는 에이전트 키를 양의 키 (Positive), 환경 키를 음의 키 (Negative) 로 하여 InfoNCE 손실을 계산하고, 그 역도 수행하여 대칭적인 손실 ($L_{ICon}$) 을 도출합니다.
  3. 다중 수준 대비 (Multi-level Contrast, MLC):
     • ViT 의 최종 층뿐만 아니라 모든 인코더 층에서 대비 손실을 적용합니다.
     • 깊은 층일수록 더 큰 가중치 ($\gamma$) 를 부여하여, 초기 층의 위치 정보와 후기 층의 의미론적 정보를 모두 활용하여 에이전트와 환경의 완전한 해리를 유도합니다.
  4. 학습 프레임워크:
     • Diffusion Policy 와 같은 최신 모방 학습 알고리즘에 ICon 손실을 보조 목적 함수로 통합합니다.
     • 최종 목적 함수: $L = L_{diffusion} + \lambda L_{ICon}$

3. 주요 기여 (Key Contributions)

1. ICon 프레임워크 제안: ViT 의 토큰 수준 특징에 적용되는 대비 학습을 통해 에이전트와 환경을 명시적으로 분리하는 새로운 방법론을 제시했습니다.
2. 2D Farthest Point Sampling (FPS) 도입: 2D 이미지 영역에서 키 샘플링을 위해 FPS 를 적용하여, 샘플링된 특징이 에이전트나 환경의 전체 구조를 다양하고 포괄적으로 반영하도록 했습니다.
3. 다중 수준 대비 (MLC) 설계: ViT 의 여러 층에서 손실을 융합하여 학습된 시각적 표현 내에서 에이전트 - 환경 해리를 더욱 완전하게 수행합니다.
4. 안정적인 엔드 - 투 - 엔드 학습: 재구성 손실 대신 대비 손실을 사용하여 정책 학습의 안정성을 유지하면서 성능을 향상시킵니다.

4. 실험 결과 (Results)

RLBench 와 Robosuite 라는 2 개의 벤치마크에서 3 가지 다른 로봇 (Franka, Kinova, KUKA) 을 대상으로 한 8 가지 조작 작업에서 광범위한 실험을 수행했습니다.

• 성능 향상: Diffusion Policy 와 결합된 ICon (ICon-Diff-C, ICon-Diff-T) 은 모든 8 가지 작업에서 베이스라인 (Diff-C, Diff-T, Crossway-Diff-C) 보다 일관되게 높은 성공률을 기록했습니다. 특히 'Open Box'나 'Close Microwave'와 같은 작업에서 큰 개선을 보였습니다.
• 로봇 간 전이 학습 (Transferability): 한 로봇 (Franka) 에서 학습된 정책을 다른 로봇 (Kinova, IIWA) 으로 Few-shot 전이했을 때, ICon 을 적용한 정책이 베이스라인보다 더 높은 전이 성능을 보여주었습니다. 이는 에이전트 중심 표현이 로봇의 형태적 차이 (Morphology) 에 덜 민감하게 작용함을 시사합니다.
• 학습 안정성: 재구성 손실을 사용하는 Crossway-Diff-C 는 최대 성능은 비슷할지라도 평균 성능이 낮아 학습이 불안정한 반면, ICon-Diff-C 는 전체 학습 과정에서 높은 평균 성공률을 유지하며 뛰어난 학습 안정성을 입증했습니다.
• Ablation Study:
  • 마스크 임계값 $\beta=0.5$가 최적임을 확인했습니다.
  • 키 샘플링 수 ($N_a=10, N_e=50$) 와 FPS 사용이 성능에 긍정적 영향을 미칩니다.
  • MLC 를 제거하거나 FPS 대신 무작위 샘플링을 사용할 경우 성능이 저하됨을 확인했습니다.

5. 의의 및 의의 (Significance)

• 시각적 고유 위치감 (Visual Proprioception) 의 구현: 로봇이 자신의 신체 위치와 움직임을 시각적 피드백을 통해 인식하도록 유도함으로써, 고차원적인 이미지에서 구조화된 에이전트 - 환경 표현을 효율적으로 학습할 수 있게 했습니다.
• 효율성과 안정성: 기존 재구성 기반 방법의 불안정성을 해결하고, 대비 학습을 통해 더 강건한 (Robust) 정책 학습을 가능하게 했습니다.
• 범용성: 다양한 로봇 형태와 작업 환경에서 적용 가능하며, 특히 다른 로봇으로의 정책 전이 (Transfer) 를 용이하게 하여 실제 로봇 학습의 데이터 효율성을 높이는 데 기여합니다.

이 연구는 로봇이 시각 정보를 통해 '자신'과 '환경'을 구분하는 능력을 학습에 내재화함으로써, 더 효율적이고 일반화 가능한 조작 정책을 학습할 수 있음을 증명했습니다.