Compose by Focus: Scene Graph-based Atomic Skills

이 논문은 시각 - 모션 정책의 분포 변화에 대한 민감도를 줄이고 장기적 작업의 구성적 일반화 능력을 향상시키기 위해, 장면 그래프 기반 표현과 확산 기반 모방 학습을 결합한 새로운 기술 학습 프레임워크를 제안하고 이를 비전 - 언어 모델 기반 계획자와 통합하여 시뮬레이션 및 실제 환경에서 기존 방법보다 뛰어난 성공률을 입증했습니다.

핵심

🎨 비유: "시끄러운 파티에서의 요리사"

상상해 보세요. 로봇이 요리사이고, 주방은 시끄러운 파티라고 합시다.

1. 기존의 문제점 (혼란스러운 시선)

   • 기존 로봇들은 파티장에 들어오면 눈앞에 보이는 모든 것 (사람들, 음식, 장식, 바닥의 쓰레기 등) 을 다 똑같이 보고 "무엇을 해야 하지?"라고 고민합니다.
   • 문제는, 이 로봇들이 혼자서 사과를 깎는 법은 잘 배우는데, 파티장에 다른 사람들과 음식들이 가득 차 있는 상황에서는 당황해서 실패한다는 점입니다. 마치 "사과만 있는 조용한 주방"에서 연습한 요리사가, "사람들이 뛰어다니는 파티"에서 사과를 깎으려다 넘어지는 것과 같습니다.

2. 이 논문의 해결책: "초점 (Focus) 을 맞춘 장면 그래프"

   • 이 연구팀은 로봇에게 **"지금 당장 필요한 것만 보고, 나머지는 무시해!"**라고 가르쳤습니다.
   • 로봇은 **장면 그래프 (Scene Graph)**라는 특별한 안경을 끼게 됩니다. 이 안경은 로봇이 보고 싶은 오직 '사과'와 '칼'만 선명하게 보여주고, 나머지 시끄러운 배경이나 방해꾼들은 흐릿하게 처리해 버립니다.
   • 마치 **스마트폰 카메라의 '인물 모드'**처럼, 배경은 흐리게 하고 사람 (중요한 대상) 만 선명하게 찍는 것과 같습니다.

🧩 핵심 기술: "레고 블록 조립하기"

이 논문은 로봇이 복잡한 일을 할 때 두 가지 단계를 거칩니다.

1. 작은 블록 배우기 (원자적 기술)

   • 로봇은 먼저 아주 간단한 일들만 따로따로 배웁니다. (예: "사과 잡기", "바구니에 넣기", "장애물 피하기")
   • 이때 로봇은 **중요한 것만 보는 안경 (장면 그래프)**을 끼고 훈련받기 때문에, 어떤 상황에서도 이 기본 동작을 잘 수행합니다.

2. 큰 그림 그리기 (작업 조합)

   • 이제 로봇에게 "모든 야채를 바구니에 담아줘"라는 복잡한 명령을 내립니다.
   • **AI 비서 (VLM)**가 로봇에게 "먼저 당근을 잡고, 다음에 가지를 잡고..."라고 단계별로 지시합니다.
   • 로봇은 각 단계마다 해당 단계에 필요한 것만 골라낸 안경을 끼고 행동을 실행합니다.
   • 결과적으로, 로봇은 작은 블록 (기본 기술) 들을 잘 조합해서 아주 긴 복잡한 일도 성공적으로 해냅니다.

🌟 왜 이것이 중요한가요? (기존 방식과의 차이)

• 기존 방식: 모든 상황을 다 기억하려고 노력하다가, 상황이 조금만 바뀌면 (예: 테이블에 다른 물건이 하나 더 놓이면) 완전히 망칩니다.
• 이 방식: **"무엇이 중요한지"**를 구조적으로 이해하기 때문에, 배경이 어떻게 변하든 상관없이 핵심 임무에만 집중할 수 있습니다.

🏆 실제 결과 (실험)

• 시뮬레이션: 로봇이 여러 개의 블록을 쌓거나, 도구를 이용해 물건을 옮기는 복잡한 게임에서 기존 로봇들은 50% 미만만 성공했지만, 이 방법을 쓴 로봇은 90% 이상 성공했습니다.
• 실제 세상: 실제 테이블 위에 야채와 장난감들이 뒤섞여 있을 때, 로봇은 모든 야채를 바구니에 담는 임무를 거의 완벽하게 수행했습니다. 반면, 다른 로봇들은 혼란스러워하며 실패했습니다.

💡 한 줄 요약

"로봇에게 '모든 것을 다 보라'고 가르치는 대신, '지금 필요한 것만 집중해서 보라'고 가르쳐서, 복잡한 세상에서도 똑똑하게 일하게 만들었습니다."

이 연구는 로봇이 앞으로 우리 집이나 공장처럼 복잡하고 예측 불가능한 환경에서도, 인간처럼 유연하게 일할 수 있는 중요한 첫걸음이 될 것입니다.

기술 요약

논문 요약: Compose by Focus: Scene Graph-based Atomic Skills

이 논문은 일반적 로봇 (Generalist Robot) 이 복잡한 장기 작업 (Long-horizon tasks) 을 수행하기 위해 필요한 구성적 일반화 (Compositional Generalization) 능력을 향상시키기 위해 제안된 새로운 프레임워크를 다룹니다. 기존 연구들이 고수준 계획기 (Planner) 에 집중했던 반면, 본 논문은 개별 기술 (Atomic Skills) 자체의 **강건성 (Robustness)**과 **집중력 (Focus)**에 초점을 맞춰, 시각적 분산 (Visual Distractors) 이 있는 복잡한 환경에서도 기술을 성공적으로 조합할 수 있는 방법을 제시합니다.

1. 문제 정의 (Problem Statement)

• 배경: 로봇이 장기 작업을 수행하려면 여러 하위 작업 (Sub-tasks) 으로 분해하고 개별 조작 기술 (Primitives) 을 순차적으로 실행해야 합니다.
• 핵심 문제: 기존 연구는 이미 학습된 기술을 어떻게 조합할지 (High-level planning) 에 집중했으나, 개별 기술 자체의 실행이 복잡한 환경에서 실패하는 경우가 많습니다.
  • 단순한 환경 (예: 깨끗한 테이블 위의 단일 물체) 에서 학습된 비시모터 정책 (Visuomotor Policy) 은, 잡동사니가 많은 복잡한 장면 (Cluttered Scene) 으로 분포가 이동 (Distribution Shift) 하면 성능이 급격히 저하됩니다.
  • 기존 방법들은 원시 RGB 이미지나 3D 포인트 클라우드를 직접 입력으로 사용하여, 작업과 무관한 객체 (Distractors) 에 의해 시각적 노이즈를 받아 실패합니다.
• 가설: 기술이 조합 가능하려면 **집중적 (Focused)**이어야 합니다. 즉, 현재 작업과 관련된 객체와 관계에만 주의를 기울이고 무관한 요소를 무시해야 합니다.

2. 제안 방법론 (Methodology)

저자들은 시나리오 그래프 (Scene Graph) 기반의 표현 방식을 도입하여 시각적 입력을 구조화하고, 이를 확산 기반 (Diffusion-based) 모방 학습과 결합했습니다.

• A. 시나리오 그래프 구성 (Scene Graph Construction)

  • 입력 변환: 원시 이미지 대신, 작업과 관련된 객체 (Objects) 와 관계 (Relations) 만을 포함하는 동적 의미론적 3D 시나리오 그래프로 변환합니다.
  • 객체 추출: Vision Foundation Model (Grounded-SAM) 을 사용하여 RGB 이미지에서 작업 관련 객체 (예: 당근, 바구니) 를 세그먼트하고, 이를 3D 포인트 클라우드로 변환합니다.
  • 관계 추론: Vision-Language Model (VLM, 예: ChatGPT) 을 활용하여 객체 간의 의미적 관계 (예: '잡기', '옆에 있음', '내부') 를 추론합니다.
  • 노드와 엣지: 노드는 객체의 3D 기하학적 및 의미적 특징을 인코딩하고, 엣지는 객체 간의 관계를 동적으로 표현합니다. 불필요한 배경 노드는 제거됩니다.

• B. 다중 기술 정책 학습 (Multi-skill Policy Training)

  • 그래프 신경망 (GNN): 추출된 시나리오 그래프를 Graph Attention Network (GAT) 를 통해 특징 임베딩 (Feature Embedding) 으로 변환합니다. 이는 객체 수의 가변성과 순서 불변성 (Permutation Invariance) 을 처리합니다.
  • 확산 정책 (Diffusion Policy): 학습된 그래프 특징 (F), 작업 설명 텍스트 (CLIP 인코딩, P), 로봇 포즈 (Q) 를 조건으로 하여, 확산 모델 (Diffusion Model) 이 행동을 생성합니다.
  • 학습 데이터: 각 개별 기술 (Atomic Skill) 에 대한 전문가 시연 데이터만 사용하며, 복잡한 조합 상황의 데이터는 학습에 포함되지 않습니다.

• C. 테스트 시간 기술 조합 (Test-time Skill Composition)

  • 고수준 계획: VLM 이 장기 작업을 하위 목표 (Sub-goals) 로 분해합니다.
  • 동적 하위 그래프 생성: 각 하위 목표에 대해, 해당 목표와 관련된 객체와 관계만 포함하는 **하위 시나리오 그래프 (Sub-scene Graph)**를 실시간으로 구성합니다.
  • 집중적 실행: 학습된 정책은 이 하위 그래프의 특징과 작업 설명에 기반하여 행동을 예측하므로, 주변 잡동사니에 영향을 받지 않고 작업에만 집중합니다.

3. 주요 기여 (Key Contributions)

1. 구조화된 입력 표현: VLM 과 비전 기반 모델을 활용하여 객체와 관계를 인코딩한 시나리오 그래프를 비전 기반 정책 학습의 일반적이고 해석 가능한 입력으로 제안했습니다.
2. 강건한 기술 조합 프레임워크: 시나리오 그래프 표현을 확산 기반 모방 학습과 통합하여, 시뮬레이션 및 실제 환경에서 시각적 교란 (Visual Perturbations) 에 강건한 기술 조합을 실현했습니다.
3. 성능 입증: 기존 최첨단 (SOTA) 방법론들 (2D/3D Diffusion Policy, π0 등) 보다 장기 작업에서의 성공률을 획기적으로 개선했으며, 데이터 효율성과 분포 이동에 대한 강건성을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 실험 (ManiSkill2 기반):

  • 단일 기술: 모든 방법론이 단일 기술에서는 높은 성능을 보였습니다.
  • 기술 조합: 복잡한 장면에서 여러 기술을 조합하는 작업에서, 기존 방법론들은 성공률이 50% 이하로 급락하거나 완전히 실패했습니다. 반면, 제안된 방법 (Scene Graph) 은 0.78~0.93의 높은 성공률을 유지하며 분포 이동에 강건함을 입증했습니다.
  • Ablation Study: 3D 표현, 그래프 구조, GNN 처리의 중요성을 확인했습니다. 2D 이미지 기반이나 구조화되지 않은 포인트 클라우드 연결 방식은 성능이 현저히 떨어졌습니다.

• 실제 로봇 실험 (Real-world):

  • 채소 수확 (Vegetable Picking): 깨끗한 테이블에서 학습된 단일 채소 집기 기술을, 잡동사니가 많은 환경에서 모든 채소를 바구니에 담는 작업으로 확장했습니다. 제안 방법은 97% 성공률을 기록한 반면, 기존 방법론들은 0~20% 수준에 그쳤습니다.
  • 도구 사용 (Tool Usage): 막대기를 이용해 물체를 당기거나 밀고, 장애물을 피하는 작업에서 제안 방법은 다양한 장애물 배치와 배경 변화에 대해 90% 성공률을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 효율성: 장기 작업의 모든 조합에 대한 시연 데이터를 수집할 필요 (지수적 증가) 를 없애고, 개별 기술 학습만으로 복잡한 작업을 해결할 수 있게 합니다.
• 강건한 일반화: 시각적 노이즈와 분포 이동에 민감하지 않은 '집중적 (Focused)' 표현을 통해, 로봇이 복잡한 실제 환경에서도 안정적으로 작동할 수 있는 기반을 마련했습니다.
• 하이브리드 아키텍처: 고수준의 언어 기반 추론 능력 (VLM/LLM) 과 저수준의 시각 - 운동 제어 능력 (Diffusion Policy) 을 시나리오 그래프를 통해 자연스럽게 연결하는 통합 프레임워크를 제시했습니다.

이 논문은 로봇이 복잡한 장기 작업을 수행할 때, **"무엇을 보아야 하는가 (Focus)"**를 학습된 기술의 핵심으로 삼음으로써 구성적 일반화의 한계를 극복했음을 보여줍니다.