Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy

이 논문은 SAM3 와 Depth Anything 3 를 활용하여 작업 관련 개체의 의미론적 및 기하학적 정보를 표준화된 이미지로 변환하는 '작업 인식 관찰 인터페이스'를 제안함으로써, 정책 수정 없이도 시각적 외관 변화에 대한 비약적인 강인성을 확보하는 visuomotor 정책 학습 방법을 제시합니다.

핵심

🎨 1. 문제: 로봇은 왜 '눈치'가 없을까?

상상해 보세요. 로봇이 컵을 잡는 법을 배웠는데, 그 컵이 파란색일 때만 성공합니다. 그런데 갑자기 컵이 빨간색으로 바뀌거나, 배경이 꽃무늬로 바뀌면 로봇은 당황해서 "어? 이게 뭐야? 컵이 어디 있지?" 하며 실패합니다.

기존 로봇들은 **RAW RGB(실제 카메라가 보는 그대로의 사진)**를 보며 학습합니다. 마치 우리가 시험지를 볼 때, 문제 내용보다 종이 색상이나 글씨체에 너무 신경을 써서 정답을 못 찾는 것과 비슷합니다. 로봇은 배경의 잡동사니나 물체의 색깔 같은 '불필요한 정보'에 너무 꽂혀서, 진짜 중요한 '물체의 위치'를 놓치는 것입니다.

🛠️ 2. 해결책: 로봇에게 '색칠공부'를 시키다!

저자들은 로봇에게 "그냥 사진 보지 말고, 중요한 것만 색칠해서 보라"는 새로운 방법을 제안했습니다. 이를 **'작업 인지형 관찰 인터페이스'**라고 부릅니다.

이 방법은 크게 두 단계로 나뉩니다.

1 단계 (L0): "색칠공부" (Semantic Repainting)

• 비유: 로봇이 사진을 볼 때, 마치 색칠공부용 선화처럼 변형해 주는 것입니다.
• 어떻게?:
  1. AI 가 "로봇 손"과 "잡아야 할 물체"를 찾아서 테두리를 그립니다.
  2. 그 외의 배경 (테이블, 벽, 잡동사니) 은 회색으로, 로봇 손은 파란색으로, 물체는 빨간색으로 단색으로 칠해버립니다.
  3. 이제 로봇은 복잡한 배경이나 물체의 무늬를 볼 필요가 없습니다. **"아, 빨간색 덩어리가 있네? 거기로 가면 되겠다!"**라고 직관적으로 이해하게 됩니다.
• 효과: 배경이 꽃무늬가 되든, 물체가 빨간색이든 파란색이든, 로봇에게는 항상 **'빨간색 덩어리'**로 보이므로 실패할 일이 사라집니다.

2 단계 (L1): "3D 입체감 추가" (Depth Injection)

• 비유: 색칠공부만 하면 평면이라 깊이를 알기 어려울 때, **물체의 입체감 (깊이)**을 추가로 그려주는 것입니다.
• 어떻게?:
  • 물체를 잡을 때 '얼마나 멀리 있는지'가 중요하면, 색칠된 빨간색 물체 부분에 **깊이 정보 (거리)**를 입체적으로 채워 넣습니다.
  • 마치 색칠공부책에 3D 안경을 끼고 보는 것과 같습니다.
• 효과: 단순히 위치만 아는 게 아니라, 물체의 모양과 거리를 정확히 파악해서 더 정교한 작업 (예: 문 닫기) 을 할 수 있게 됩니다.

🚀 3. 왜 이 방법이 특별한가요?

1. 로봇의 '머리'를 바꿀 필요 없음: 기존 로봇의 두뇌 (학습된 알고리즘) 를 뜯어고칠 필요가 없습니다. 그냥 입력되는 사진만 이 '색칠된 버전'으로 바꿔주면 됩니다.
2. 새로운 환경에도 강함: 훈련할 때 본 적 없는 배경이나 물체 색깔이 나와도, 로봇은 "아, 이건 그냥 빨간색 덩어리구나"라고 생각하므로 당황하지 않고 임무를 수행합니다.
3. 실제 로봇에서도 성공: 시뮬레이션뿐만 아니라, 실제 로봇 팔 (Franka) 을 이용해 실험했을 때도 배경이 바뀌어도 성공률이 크게 향상되었습니다.

💡 한 줄 요약

"로봇에게 복잡한 현실 사진을 보여주기보다, 중요한 것만 색칠한 '간단한 지도'를 보여주면, 로봇은 배경이나 색깔이 바뀌어도 절대 길을 잃지 않는다!"

이 연구는 로봇이 더 똑똑해지려면 '더 많은 데이터'나 '더 큰 두뇌'를 만드는 것뿐만 아니라, **로봇이 세상을 어떻게 '보는가' (관찰 방식)**를 바꾸는 것이 얼마나 중요한지를 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

시각 - 운동 (Visuomotor) 정책은 데모 데이터를 통해 학습되지만, 훈련 환경과 다른 시각적 조건 (배경 색상 변경, 물체 재색상, 배경 잡음 등) 에 노출되면 성능이 급격히 저하되는 **취약성 (Brittleness)**을 보입니다.

• 근본 원인: 기존 정책들은 원시 RGB 이미지를 직접 입력으로 사용하며, 이는 작업과 무관한 시각적 요인 (Nuisance factors) 에 과도하게 의존하게 만듭니다.
• 기존 접근법의 한계: 모델 용량 확장 (Generative policies, VLA 등) 이나 데이터 증강, 추가 센서 도입 등으로 해결하려 했으나, 여전히 정책이 원시 RGB 에 의존하는 구조는 변하지 않았습니다.
• 목표: 정책 아키텍처를 변경하거나 추가 파인튜닝 없이, 관찰 인터페이스 (Observation Interface) 를 재설계하여 시각적 분포 변화 (OOD, Out-of-Distribution) 에 강인한 정책을 만드는 것입니다.

2. 방법론 (Methodology)

저자들은 작업 인식형 (Task-Aware) 관찰 인터페이스를 제안합니다. 이는 원시 RGB 이미지를 작업과 관련된 엔티티 (로봇/그리퍼, 목표 물체) 만을 추출하여 표준화된 표현으로 변환하는 과정입니다.

A. 핵심 구성 요소

1. 시맨틱 분할 (Semantic Segmentation):
   • 오픈 보카불러리 (Open-vocabulary) 텍스트 프롬프트 (예: "robot gripper", "target object") 를 사용하여 **SAM3 (Segment Anything Model 3)**를 활용합니다.
   • 로봇/그리퍼와 목표 물체에 대한 이진 마스크를 생성합니다.
2. L0 관찰 (Seg-repaint):
   • 분할된 영역을 고정된 시맨틱 색상으로 다시 칠하고, 배경은 일정한 색상 (예: 검정) 으로 설정합니다.
   • 결과물은 3 채널의 표준 이미지 형태를 유지하며, 질감이나 색상과 같은 불필요한 시각적 노이즈를 제거하고 공간적 구조만 남깁니다.
3. L1 관찰 (Seg+Depth):
   • L0 에 **기하학적 정보 (Depth)**를 추가합니다.
   • Depth Anything 3를 사용하여 단안 깊이 (Monocular Depth) 를 추정하고, 이를 목표 물체 영역에 정규화하여 덮어씌웁니다 (Overwrite).
   • 이는 물체의 3D 구조와 형태 정보를 보존하면서도 여전히 표준 3 채널 이미지로 입력됩니다.

B. 학습 및 추론

• 정책 아키텍처: 제안된 관찰 인터페이스는 정책과 무관 (Policy-agnostic) 합니다. 논문에서는 **Flow Matching Policy (FMP)**와 SmolVLA 두 가지 백본을 사용하여 검증했습니다.
• 적응 (Adaptation): SAM3 와 Depth Anything 3 는 훈련 데이터 (In-Distribution) 에만 경량 LoRA (Low-Rank Adaptation) 를 적용하여 각 벤치마크의 시각적 통계에 맞춥니다. OOD 데이터는 관찰 모델 적응에 사용되지 않습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 관찰 인터페이스: 분할 기반 재페인팅 (L0) 과 선택적 깊이 주입 (L1) 을 통해 시각적 입력을 표준화하는 작업 인식형 시맨틱 - 기하학적 인터페이스를 제안했습니다.
2. 아키텍처 무관성: 정책의 구조를 변경하지 않고도 기존 비전 인코더와 호환되는 표준 3 채널 이미지를 생성하여, 다양한 정책 백본 (Flow Matching, VLA) 에 적용 가능합니다.
3. 체계적인 평가: 시뮬레이션 (RoboMimic, ManiSkill, RLBench) 과 실제 로봇 (Franka) 환경에서 배경/물체 색상 변화, 잡음 등 다양한 OOD 조건에 대한 강인성을 입증했습니다.

4. 실험 결과 (Results)

모든 벤치마크에서 제안된 방법 (L0, L1) 은 원시 RGB (Org) 대비 OOD 조건에서의 성능을 획기적으로 개선하면서도, 훈련 분포 (ID) 내 성능은 유지했습니다.

• RoboMimic (Lift):
  • 원시 RGB 는 물체/배경 색상 변화 시 성공률이 98.7% 에서 18.4% 로 급락했습니다.
  • L0/L1은 OOD 조건에서도 90% 이상의 성공률을 유지하며 강인성을 입증했습니다.
• ManiSkill (YCB Grasping, Clutter):
  • 배경 잡음 (Clutter) 이 증가할 때 원시 RGB 는 15% 로 떨어졌으나, L0/L1은 **93~94%**의 높은 성공률을 유지했습니다.
• RLBench (Tabletop Color Shifts):
  • 다양한 작업 (CloseGrill, CloseMicrowave 등) 에서 배경 색상 변화에 대해 원시 RGB 는 거의 실패했으나, L0/L1은 높은 성공률을 보였습니다. 특히 기하학적 정보가 중요한 CloseMicrowave 작업에서 L1이 가장 큰 향상을 보였습니다.
• 실제 로봇 (Franka Arm):
  • ReachX (L0): 표적 도달 작업에서 OOD 배경 변화 시 성공률이 21% (RGB) 에서 **81% (L0)**로 향상되었습니다.
  • CloseCabinet (L1): 캐비닛 닫기 작업에서 OOD 조건 시 45% (RGB) 에서 **75% (L1)**로 향상되었습니다.
• Ablation Study:
  • 로봇/그리퍼 마스크를 포함하지 않으면 성능이 붕괴됨을 확인 (로봇 자체를 작업의 일부로 인식해야 함).
  • SAM3 의 LoRA 파인튜닝이 OOD 환경에서도 정확한 분할을 가능하게 함.
  • 기존 S2Diffusion 방식 (채널 연결) 보다 제안된 **덮어쓰기 (Overwrite) 방식 (L1)**이 더 우수한 성능을 보임.

5. 의의 및 결론 (Significance)

이 논문은 시각 - 운동 제어에서 모델 용량 확장에 집중하던 기존 패러다임을 넘어, **"무엇을 볼 것인가 (What to Observe)"**를 제어하는 관찰 인터페이스의 중요성을 재조명했습니다.

• 강인성 확보: 정책의 구조를 변경하거나 추가적인 OOD 데이터 수집 없이도, 시각적 분포 변화에 강인한 로봇 제어 시스템을 구축할 수 있음을 증명했습니다.
• 실용성: 표준 비전 인코더와 호환되는 3 채널 이미지를 생성하므로, 기존 학습 파이프라인을 쉽게 적용할 수 있습니다.
• 미래 지향성: 기초 모델 (Foundation Models) 을 활용하여 작업 관련 정보만 추출하고 노이즈를 제거하는 접근법은 로봇 학습의 일반화 (Generalization) 문제를 해결하는 유망한 방향을 제시합니다.

요약하자면, 이 연구는 원시 픽셀 대신 '의미 있는 구조'를 관찰하게 함으로써 로봇이 다양한 환경 변화 속에서도 안정적으로 작업을 수행할 수 있게 하는 효율적이고 강력한 프레임워크를 제시합니다.