HeRO: Hierarchical 3D Semantic Representation for Pose-aware Object Manipulation

이 논문은 DINOv2 와 Stable Diffusion 의 특징을 결합한 계층적 의미장을 통해 기하학적 구조와 부분별 의미를 동시에 표현하는 확산 기반 정책 HeRO 를 제안하여, 자세 인식 물체 조작 작업에서 새로운 최첨단 성능을 달성했다고 요약할 수 있습니다.

핵심

🤖 로봇의 새로운 눈: "HeRO"란 무엇인가요?

기존의 로봇들은 물건을 볼 때 마치 흑백 사진을 보는 것과 비슷했습니다. "저게 구름 모양이니까 구름을 잡아야지"라고 생각할 수는 있지만, "구름의 왼쪽 끝이랑 오른쪽 끝이 다르다"거나 "신발의 발가락 부분과 뒤꿈치는 역할이 다르다"는 걸 구분하지 못했습니다.

그래서 로봇이 신발을 정리할 때, 발가락 방향을 맞춰야 하는데 뒤꿈치를 먼저 잡아서 신발을 거꾸로 꽂아버리는 실수를 자주 했습니다.

HeRO는 이 문제를 해결하기 위해 로봇에게 두 가지 눈을 동시에 열어준 기술입니다.

1. 두 가지 눈의 만남 (DINOv2 + Stable Diffusion)

HeRO 는 두 가지 유명한 AI 모델을 합쳐서 로봇의 시력을 업그레이드했습니다.

• 첫 번째 눈 (DINOv2): "세밀한 관찰자"
  • 이 눈은 물체의 자세한 특징을 잘 봅니다. 마치 미니어처를 만드는 장인처럼, 신발의 발가락 끝과 뒤꿈치의 미세한 차이, 컵의 손잡이 모양을 아주 정교하게 구분합니다. 하지만 전체적인 흐름은 조금 어수선할 수 있습니다.
• 두 번째 눈 (Stable Diffusion): "전체적인 조화자"
  • 이 눈은 전체적인 분위기를 잘 봅니다. "이건 신발이야, 저건 컵이야"라고 큰 그림을 그리고, 물체 전체가 매끄럽게 연결되도록 도와줍니다. 하지만 아주 작은 부분까지 세세하게 보기는 어렵습니다.

HeRO 의 마법: 이 두 눈을 하나로 합쳤습니다. "세밀한 관찰자"가 미세한 부분 (발가락, 손잡이) 을 정확히 짚어주고, "전체적인 조화자"가 그 부분들이 물체 전체에서 자연스럽게 이어지도록 만들어줍니다. 결과적으로 로봇은 물체의 어떤 부분이 어디에 있는지를 아주 정확하고 매끄럽게 이해하게 됩니다.

2. 지도를 두 단계로 나누기 (계층적 조건부 학습)

기존 로봇들은 물체 전체를 하나의 큰 덩어리로만 봐서 ("전체 지도") 세부적인 명령을 내리기 힘들었습니다. HeRO 는 이를 두 단계의 지도로 바꿨습니다.

• 전체 지도 (Global Field): "이건 신발이야, 컵이야"라는 큰 맥락을 파악합니다.
• 세부 지도 (Local Fields): "이 부분은 발가락, 저 부분은 뒤꿈치, 저기는 손잡이야"라고 부위별로 나누어 따로따로 봅니다.

비유하자면:

• 기존 로봇: "집을 짓는 데 필요한 나무 전체를 한 번에 보다가, 기둥을 어디에 박을지 헷갈려서 망친다."
• HeRO 로봇: "집의 전체 구조를 먼저 보고 (전체 지도), 그다음 '기둥 부분', '지붕 부분', '문 부분'으로 나누어 각각의 역할을 정확히 파악한 후 (세부 지도) 작업을 시작한다."

3. 순서 상관없는 지시 (Permutation-Invariant)

여러 개의 부위 (발가락, 뒤꿈치, 손잡이 등) 를 로봇에게 알려줄 때, 기존 방식은 "1 번은 발가락, 2 번은 뒤꿈치"라고 순서대로 알려주면, 로봇이 순서를 외워서 "1 번은 무조건 발가락이야!"라고 착각하는 문제가 있었습니다. (다른 신발은 1 번이 뒤꿈치일 수도 있는데 말이죠.)

HeRO 는 **"순서 상관없이, 어떤 부위가 어떤 역할을 하는지"**만 알려줍니다. 마치 요리사가 레시피를 볼 때 "재료 순서대로 넣지 말고, 필요한 재료가 있으면 그때그때 넣으면 돼"라고 배우는 것과 같습니다. 그래서 어떤 모양의 신발이 나오든, 어떤 컵이 나오든 유연하게 대처할 수 있습니다.

---

🏆 실제 성과: 얼마나 잘해냈나요?

이 기술을 적용한 로봇은 여러 가지 어려운 테스트에서 **최고의 기록 (State-of-the-Art)**을 세웠습니다.

• 신발 정리하기: 두 켤레의 신발을 발가락 방향을 맞춰 정리하는 작업에서, 기존 기술보다 12.3% 더 많이 성공했습니다. (기존 로봇은 신발을 거꾸로 꽂는 실수를 자주 했지만, HeRO 는 정확히 맞췄습니다.)
• 컵 걸기: 컵의 손잡이를 고리에 정확히 걸어야 하는 작업에서도 큰 개선을 보였습니다.
• 실제 로봇 실험: 컴퓨터 시뮬레이션뿐만 아니라, 실제 로봇 팔을 이용해 실험했을 때도 가장 높은 성공률을 보였습니다.

💡 한 줄 요약

HeRO는 로봇에게 "물체의 모양"만 보는 것이 아니라, **"물체의 각 부분이 어떤 역할을 하는지"**를 세밀하게 이해하도록 가르친 기술입니다. 마치 세밀한 관찰력과 전체적인 통찰력을 모두 갖춘 마스터 장인처럼, 로봇이 복잡한 물건을 정확하게 다루도록 도와줍니다.

기술 요약

논문 제목: HeRO: 자세 인식 (Pose-aware) 객체 조작을 위한 계층적 3D 의미론적 표현

1. 문제 정의 (Problem)

로봇 조작을 위한 모방 학습 (Imitation Learning) 은 2D 이미지 기반 정책에서 명시적으로 기하학적 정보를 인코딩하는 3D 표현으로 진화해 왔습니다. 그러나 기존 3D 기반 방법론들은 다음과 같은 한계를 가지고 있습니다.

• 의미론적 부재: 순수한 기하학적 정보 (점 구름 등) 만으로는 객체의 세부적인 부분 (예: 신발의 '발끝'과 '뒤꿈치', 컵의 '손잡이') 을 구별하는 의미론적 이해가 부족합니다.
• 자세 인식 (Pose-aware) 작업의 실패: 객체를 특정 방향으로 배치하거나 (예: 신발의 발끝을 왼쪽으로 맞춤), 기능적 부분을 인식하여 조작해야 하는 작업에서 기존 방법들은 종종 실패합니다.
• 기존 3D 의미론적 접근의 결함: 최근 연구 (예: G3Flow) 는 3D 의미론적 필드를 도입했으나, 전체 객체를 하나의 통합된 표현으로만 처리하여 부분 수준의 세부 사항이 모호해지고 (holistic representation), 발끝과 뒤꿈치와 같은 서로 다른 부분의 특징이 유사하게 매핑되는 문제가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 HeRO(Hierarchical Semantic Representation for Object manipulation) 라는 새로운 프레임워크를 제안합니다. 이는 확산 모델 (Diffusion Policy) 기반의 정책이 기하학적 정밀도와 의미론적 일관성을 모두 갖출 수 있도록 설계되었습니다.

A. 밀집 의미론적 리프팅 (Dense Semantic Lifting)

기하학적 점 구름에 풍부한 의미론적 정보를 주입하는 과정입니다.

• 특징 융합: 두 가지 상보적인 비전 파운데이션 모델을 결합합니다.
  • DINOv2: 희소 대응 (sparse correspondence) 에 강점이 있는 판별적 (discriminative) 이고 기하학적으로 정밀한 특징 추출.
  • Stable Diffusion (SD): 밀집하고 공간적으로 일관된 (globally coherent) 의미론적 사전 지식 제공.
• 3D 리프팅: 2D 이미지 평면에서 추출된 융합된 특징을 카메라 내부 파라미터를 통해 3D 점 구름으로 투영 (Lifting) 하여 밀집 의미론적 필드 (Dense Semantic Field) 를 생성합니다.
• 시간적 일관성: 객체의 6D 자세 추적을 통해 시퀀스 전체에 걸쳐 의미론적 필드의 시간적 일관성을 유지합니다.

B. 계층적 조건부 모듈 (Hierarchical Conditioning Module, HCM)

생성된 밀집 의미론적 필드를 확산 정책에 효과적으로 주입하기 위한 구조입니다.

• 계층적 분할: 전역 의미론적 필드 ($F_G$) 를 PCA 기반 그룹화를 통해 $K$ 개의 국소 의미론적 필드 ($F_L$) 로 분할합니다. 이를 통해 객체의 기능적 부분 (예: 신발의 앞부분, 뒷부분) 을 식별합니다.
• 이중 경로 조건부 (Dual-pathway Conditioning):
  1. 전역 조건 (Global Condition): 전체 장면의 맥락, 로봇 상태, 객체의 전체적 구조를 통합하여 고수준의 컨텍스트를 제공합니다.
  2. 국소 조건 (Local Condition): 분할된 부분별 특징을 처리합니다.
• 순열 불변성 (Permutation-invariance): 객체 부분의 인덱스 순서가 객체마다 다를 수 있으므로 (예: 신발 A 의 1 번 부분이 발끝일 수 있고, 신발 B 의 1 번 부분이 뒤꿈치일 수 있음), 위치 임베딩을 사용하지 않는 순열 불변 (Permutation-invariant) 교차 어텐션 (Cross-attention) 메커니즘을 도입합니다. 이는 학습 편향을 방지하고 부분별 세부 정보의 정밀한 주입을 가능하게 합니다.

C. 확산 정책 학습

위에서 추출된 계층적 의미론적 특징 (전역 + 국소) 을 조건으로 하여, 로봇의 행동 (Action) 을 생성하는 확산 모델을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. HeRO 프레임워크: DINOv2 와 Stable Diffusion 의 특징을 융합하여 기하학적 정밀도와 의미론적 일관성을 동시에 확보한 밀집 3D 의미론적 필드를 구축하는 새로운 방법론 제시.
2. 계층적 조건부 모듈 (HCM): 전역 컨텍스트와 순열 불변의 부분 인식 (Part-aware) 특징을 통합하여, 전체적 조화뿐만 아니라 미세한 부분 수준의 정밀한 조작을 가능하게 하는 조건부 구조 제안.
3. 성능 입증: 시뮬레이션 및 실제 로봇 환경에서 기존 최첨단 (SOTA) 방법론들을 능가하는 성능을 입증하고, 특히 자세가 중요한 복잡한 작업에서의 성공률을 크게 향상시킴.

4. 실험 결과 (Results)

저자들은 RoboTwin 2.0 벤치마크의 6 가지 과제 (Place Dual Shoes, Hanging Mug 등) 에서 HeRO 를 평가했습니다.

• 표준 벤치마크 성능:
  • Place Dual Shoes (신발 두 켤레 배치): 기존 SOTA 인 G3Flow 대비 12.3% 향상된 성공률 달성.
  • 평균 성공률: 6 가지 과제 전반에 걸쳐 6.5% 의 평균 향상 (G3Flow 대비 25.7% → 32.3%).
• 미지 객체에 대한 일반화 (Cross-Object Generalization):
  • 학습에 사용되지 않은 새로운 객체 (Open-set) 에 대한 제로샷 (Zero-shot) 테스트에서 G3Flow 대비 6.7% 높은 평균 성공률 (24.4%) 을 기록하여, 단순 암기가 아닌 추상적 의미론적 이해를 바탕으로 한 일반화 능력을 입증했습니다.
• 실제 로봇 환경 (Real-World Validation):
  • AgileX Cobot Magic 듀얼 암 로봇을 이용한 실제 실험에서 모든 과제에서 가장 높은 성공률을 기록하며, 시뮬레이션에서 학습된 정책이 실제 환경에서도 강력하고 신뢰할 수 있음을 검증했습니다.
• 정성적 분석:
  • 시각화 결과, G3Flow 는 의미론적 필드가 노이즈가 많고 불일치하는 반면, HeRO 는 매끄럽고 기하학적으로 일관된 의미론적 필드를 생성하여 발끝/뒤꿈치나 컵 손잡이와 같은 기능적 부분을 명확히 구분함을 확인했습니다.

5. 의의 및 결론 (Significance)

HeRO 는 로봇 조작 분야에서 기하학적 구조와 의미론적 이해의 격차를 해결하는 중요한 전환점을 제공합니다.

• 정밀한 조작의 핵심: 단순히 객체를 '잡는' 것을 넘어, 객체의 기능적 부분 (Part-level) 을 인식하고 특정 자세 (Pose) 로 정밀하게 배치하는 작업의 성공률을 획기적으로 높였습니다.
• 모델의 확장성: DINOv2 와 Stable Diffusion 과 같은 강력한 파운데이션 모델의 특징을 융합하여 3D 공간으로 리프팅하는 방식은 향후 다양한 로봇 작업에 적용 가능한 강력한 패러다임을 제시합니다.
• 실용성: 시뮬레이션뿐만 아니라 실제 하드웨어 환경에서도 검증되어, 실제 로봇 시스템에의 적용 가능성을 높였습니다.

이 연구는 로봇이 인간의 직관적인 '부분 인식' 능력을 모방하여 복잡한 조작 작업을 수행할 수 있는 새로운 기준 (SOTA) 을 설정했습니다.