HSC-VLA: Hierarchical Scene-Clearing for Robust Bimanual Manipulation in Dense Clutter

이 논문은 고밀도 혼잡 환경에서 비만능 조작의 실패를 해결하기 위해 고수준의 시각적 추론과 저수준의 센서모터 실행을 분리하고 불필요한 시각적 노이즈를 제거하는 계층적 프레임워크인 HSC-VLA 를 제안하여 기존 단일 아키텍처 대비 조작 성공률을 획기적으로 향상시킨 결과를 제시합니다.

핵심

이 논문은 **"복잡하고 지저분한 슈퍼마켓 선반에서 로봇이 물건을 잘 집어 올릴 수 있도록 도와주는 새로운 방법"**에 대해 설명합니다.

기존의 최신 로봇 기술 (VLA) 은 너무 많은 물건이 쌓여 있는 환경에서 혼란을 겪으며, 무엇을 먼저 해야 할지 잊어버리거나 엉뚱한 물건을 잡는 실수를 자주 했습니다. 이 논문은 그 문제를 해결하기 위해 인간의 뇌와 소뇌의 역할을 차용한 새로운 시스템을 제안합니다.

이 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

🧠 1. 문제 상황: "소음 가득한 도서관에서 책 찾기"

상상해 보세요. 천 개의 책이 무질서하게 쌓인 거대한 도서관에 들어갔다고 칩시다. 그리고 누군가 **"저기 있는 빨간 표지의 책을 찾아서 내게 주세요"**라고 요청합니다.

기존의 로봇 (단일 구조 모델) 은 이 모든 책, 먼지, 그림자, 반사광을 한꺼번에 다 보려고 노력합니다.

• 결과: "어? 저게 빨간 책인가? 아니면 저기 있는 빨간 간식 포장지인가?" 하며 머리가 복잡해집니다. (주의가 분산됨)
• 실패: 엉뚱한 물건을 집거나, 아예 아무것도 못 하고 멈춰버립니다.

💡 2. 해결책: HSC-VLA (두뇌와 소뇌의 팀워크)

이 논문은 로봇을 두 명의 팀원으로 나눕니다. 마치 **명령을 내리는 '지휘관 (대뇌)'**과 **실제 행동을 하는 '요령 있는 기술자 (소뇌)'**처럼요.

👨‍💼 지휘관 (Brain): "무엇을 볼지, 무엇을 무시할지 정해라!"

• 역할: 로봇의 눈앞에 있는 지저분한 선반을 한눈에 봅니다.
• 행동: "우리가 원하는 건 '우유'야. 그 옆에 있는 '주스'나 '과자'는 우리와 상관없어. 저건 다 무시해!"라고 **가상 마스크 (마치 사진 편집 프로그램에서 불필요한 부분을 지우는 것)**를 씌워줍니다.
• 효과: 로봇의 시야에서 불필요한 잡동사니가 사라지고, 오직 '우유'만 선명하게 남습니다.

🤖 기술자 (Cerebellum): "오직 보이는 것만 보고 움직여라!"

• 역할: 지휘관이 정리해 준 깨끗한 화면만 봅니다.
• 행동: "오직 우유만 보이네? 알았어, 이제 잡을게!"라고 아주 정교하게 손을 움직여 우유를 집습니다.
• 특징: 주변에 다른 물건이 아무리 흔들려도, 기술자는 이미 '무시할 것'을 지워버린 화면만 보므로 흔들리지 않고 정확하게 움직입니다.

🛠️ 3. 어떻게 작동할까요? (실제 예시)

슈퍼마켓에서 **"주스 뒤에 숨겨진 우유를 꺼내서 선반에 다시 꽂아줘"**라는 명령을 받았다고 가정해 봅시다.

1. 지휘관 (Brain) 의 분석:

   • "주스 상자가 우유를 가리고 있군. 주스 상자는 '방해꾼'이야. 주스 상자를 가리는 가상의 검은색 마스크를 씌워버려."
   • "그리고 우유를 꺼낸 후, 빈 공간을 찾아서 다시 꽂는 단계도 미리 계획해."

2. 기술자 (Cerebellum) 의 실행:

   • 지휘관이 만든 '마스크' 덕분에 로봇 눈에는 주스 상자가 안 보입니다. 오직 우유와 빈 공간만 보입니다.
   • 로봇은 주스 상자를 치우는 복잡한 고민 없이, 우유만 집어서 빈 공간에 꽂는 데만 집중합니다.

3. 실수 시 복구:

   • 만약 우유를 잡다가 떨어뜨리면, 지휘관이 다시 상황을 보고 "아, 우유가 옆으로 굴렀네. 마스크를 다시 그려서 우유 위치를 다시 잡아줘"라고 지시합니다.

🏆 4. 왜 이 방법이 더 좋은가요?

연구 결과, 이 방법이 기존 방식보다 압도적으로 잘 작동했습니다.

• 기존 방식: 물건이 빽빽하게 쌓인 환경에서 성공률이 34% 정도였습니다. (매우 혼란스러움)
• 새로운 방식 (HSC-VLA): 같은 환경에서 성공률이 **87%**까지 올라갔습니다. (약 50% 이상 향상!)

핵심 비유:
기존 로봇은 소음 가득한 콘서트장에서 지휘자의 손짓을 보려고 애쓰다가 귀가 먹먹해져서 지시를 못 듣는 상황이라면,
이 새로운 로봇은 소음 차단 이어폰을 끼고 오직 지휘자의 손짓만 집중해서 보는 상황과 같습니다.

📝 5. 결론

이 논문은 로봇이 복잡한 세상에서 일할 때, **모든 것을 다 보려고 하지 말고, 중요한 것만 골라서 보게 하는 '선택적 주의'**가 얼마나 중요한지 보여줍니다.

• **지휘관 (대뇌)**이 불필요한 잡음을 제거하고 길을 안내하면,
• **기술자 (소뇌)**는 그 깨끗한 길만 따라가며 아주 정확하게 일을 해냅니다.

이 기술이 발전하면, 앞으로 로봇이 우리 집이나 슈퍼마켓처럼 물건이 어지러진 곳에서도 훨씬 더 똑똑하고 안전하게 일할 수 있게 될 것입니다.

기술 요약

논문 요약: HSC-VLA (계층적 장면 정리를 통한 밀집 혼잡 환경에서의 견고한 양손 조작)

1. 문제 정의 (Problem)

현대적인 비전 - 언어 - 행동 (VLA) 모델은 물류 및 서비스 분야와 같은 비정형적이고 밀집된 환경에서 자동화를 시도할 때 심각한 한계에 직면합니다. 특히 슈퍼마켓 선반과 같이 수천 개의 다양한 SKU(재고 관리 단위) 가 무질서하게 쌓여 있고, 반사광, 가려짐 (occlusion), 불규칙한 배치 등이 존재하는 환경에서는 다음과 같은 문제가 발생합니다.

• 주의력 희석 (Attention Dilution): 고차원의 원시 픽셀을 직접 인코딩할 때, 작업과 무관한 배경 잡음 (클러터) 이 모델의 주의력을 분산시켜 작업 관련 기하학적 구조를 파악하는 능력을 저하시킵니다.
• 표현 병목 현상 (Representation Bottleneck): 단일 엔드 - 투 - 엔드 (monolithic) 아키텍처는 고수준의 추론과 저수준의 센서 - 모터 제어를 하나의 잠재 공간에 통합하려다 보니, 복잡한 혼잡 환경에서 기하학적 affordance(조작 가능성) 를 추출하는 데 실패합니다.
• 장기적 작업 실패: 장기간의 작업 (long-horizon tasks) 이나 다단계 작업에서 작은 오차가 누적되어 전체 작업 실패로 이어지며, 물리적 저항이나 가려짐 발생 시 복구 능력이 부족합니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 HSC-VLA를 제안했습니다. 이는 고수준의 시각 - 의미론적 추론과 저수준의 고주파수 센서 - 모터 실행을 명시적인 '장면 정리 (Scene-Clearing)' 추상화 계층을 통해 분리하는 계층적 프레임워크입니다.

• 계층적 아키텍처:

  • 고수준 브레인 (High-Level Brain): 대규모 비전 - 언어 모델 (VLM, 예: Qwen3-v1) 을 사용합니다. 이 모듈은 자연어 지시를 받아 장기적 작업을 하위 목표 (subgoals) 로 분해하고, 작업과 무관한 방해 요소 (distractors) 를 식별하여 **작업별 장면 마스크 (task-specific scene masks)**를 생성합니다. 이는 원시 이미지를 필터링하여 작업에 필요한 기하학적 구조만 남깁니다.
  • 저수준 소뇌 (Low-Level Cerebellum): 필터링된 시각 정보 (마스크 적용 이미지) 와 고유 감각 (proprioception) 입력만을 받아 동작을 생성하는 확산 기반 (diffusion-based) 정책입니다. 이 정책은 잡음이 제거된 기하학적 특징에 집중하여 양손 조작을 수행합니다.

• 핵심 메커니즘:

  • 마스크 기반 장면 단순화: VLM 이 생성한 바운딩 박스를 기반으로 제로샷 분할 모델 (SAM/Cutie 등) 을 통해 불필요한 객체를 픽셀 단위로 마스킹합니다.
  • 동적 마스크 갱신: 정적 마스크의 한계를 극복하기 위해, 실행 중 장면이 변할 때 (객체 이동 등) 경량 시간 업데이트 모듈을 통해 마스크를 실시간으로 갱신합니다.
  • 지각 - 행동 일관성 (Perception-Action Consistency): 훈련 시와 추론 시 모두 동일한 필터링된 관측 공간을 사용하여, 분포 편차 (distribution shift) 로 인한 정책 추론 오류를 방지합니다.
  • 검증 및 적응적 재계획: 하위 목표 달성 여부를 검증하고, 실패 시 현재 전략을 수정하거나 재계획하여 견고성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 제어 아키텍처: 엔드 - 투 - 엔드 조작을 심볼릭 추론과 센서 - 모터 실행으로 분해하여, 장기적 조율 능력을 유지하면서도 고주파수 응답성을 희생하지 않는 구조를 제안했습니다.
2. 마스크 기반 장면 단순화: VLM 이 주도하는 분할 메커니즘을 도입하여 작업과 무관한 방해 요소를 체계적으로 제거하고, 원시 관측을 기하학적 중심의 표현으로 변환했습니다.
3. 지각 - 행동 일관성 프로토콜: 혼잡 필터링된 관측 하위 공간 내에서 오프라인 훈련과 온라인 추론을 원칙적으로 정렬하여, 밀집된 슈퍼마켓 환경에서의 제로샷 견고성과 실패 복구 능력을 입증했습니다.

4. 실험 결과 (Results)

연구진은 실제 양손 로봇 (Inspire-Omni O1) 과 시뮬레이션 (RoboTwin 2.0) 을 사용하여 밀집된 슈퍼마켓 선반 환경에서 실험을 수행했습니다.

• 성능 비교 (High-Density Clutter):
  • HSC-VLA: 고밀도 혼잡 환경에서 **86.7%**의 종합 성공률을 기록했습니다.
  • 기존 최강 베이스라인 (π0-Full FT): 같은 환경에서 **34.3%**의 성공률에 그쳤습니다.
  • 결과: HSC-VLA 는 기존 모델 대비 52.4%p의 절대적 성능 향상을 보였습니다. 특히 '배치 (Place)'와 '양손 조작 (Bimanual)' 작업에서 기존 모델이 10~20% 대의 성공률을 보인 반면, HSC-VLA 는 각각 78%, 97% 를 달성했습니다.
• 장기적 작업 (Long-Horizon Tasks):
  • 혼잡 정렬 (Clutter Sorting): 72% 성공률 (기존 최강 40% 대비).
  • 재보급 (Restocking): 66% 성공률 (기존 최강 14% 대비).
  • 이는 단순한 객체 조작을 넘어, 방해 요소를 제거하고 순차적 결정을 내리는 복잡한 작업에서도 뛰어난 견고성을 입증했습니다.
• Ablation Study:
  • 동적 마스크 갱신 (Dynamic clearing) 을 사용하지 않고 정적 마스크를 사용하거나 마스크를 전혀 사용하지 않은 경우, 장기 작업에서 성능이 급격히 저하되었습니다 (정적 마스크: 10%, 무마스크: 40%). 이는 실시간 장면 정리의 중요성을 보여줍니다.

5. 의의 및 결론 (Significance)

이 논문은 VLA 모델이 실제 세계의 복잡한 혼잡 환경에서 작동하기 위해 필요한 핵심 과제를 해결했습니다.

• 패러다임 전환: 원시 픽셀을 직접 처리하는 단일 모델 접근법에서, 의미론적 필터링을 통한 기하학적 추상화를 도입함으로써 모델의 주의력을 작업 관련 영역에 집중시키는 새로운 접근법을 제시했습니다.
• 실용성: 물류 및 리테일 환경과 같이 시각적 잡음이 심한 실제 적용 시나리오에서 로봇의 신뢰성을 획기적으로 높였습니다.
• 확장성: 고수준의 추론과 저수준의 제어를 분리함으로써, 각 모듈을 독립적으로 개선하거나 새로운 작업에 적용하기 용이한 모듈식 설계를 제공합니다.

결론적으로 HSC-VLA 는 밀집된 혼잡 환경에서 로봇이 장기적 목표를 달성하기 위해 '무엇을 볼지 (지각)'와 '어떻게 행동할지 (제어)'를 명확히 분리하고 정렬함으로써, 기존 VLA 모델의 한계를 극복하고 견고한 이종 조작을 가능하게 하는 중요한 진전입니다.