SemanticFeels: Semantic Labeling during In-Hand Manipulation

1. 문제 정의 (Problem)

로봇이 일상적인 작업에 통합됨에 따라, 물체를 조작할 때 그 모양뿐만 아니라 **물성 (물리적 특성, 재질, 표면 거칠기 등)**을 실시간으로 인지하고 이해하는 능력이 필수적입니다. 기존 연구들은 주로 시각 (RGB-D) 과 촉각 센서를 활용하여 물체의 자세 (Pose) 추적과 기하학적 형상 (Geometry) 재구성에 집중해 왔습니다. 그러나 **촉각 센서를 이용한 실시간 재질 분류 (Material Classification) 와 이를 지리적 맵에 통합하는 시맨틱 라벨링 (Semantic Labeling)**은 상대적으로 덜 탐구된 분야입니다. 특히, 물체가 손에 잡혀 조작되는 (In-hand manipulation) 동적 환경에서 시각적 정보가 가려지거나 (Occlusion) 조명 조건이 나쁠 때, 촉각 정보를 통해 물체의 재질을 식별하고 이를 3D 지도에 매핑하는 기술은 로봇의 적응형 지능을 위해 중요한 과제입니다.

2. 방법론 (Methodology)

저자들은 기존 NeuralFeels 프레임워크를 확장한 SemanticFeels를 제안했습니다. 이 시스템은 비전 (Vision) 과 촉각 (Touch) 데이터를 융합하여 물체의 3D 형상과 재질 정보를 동시에 예측합니다.

• 하드웨어 구성:

  • 로봇 손: 4 개의 손가락과 16 개의 관절을 가진 Allegro Hand 사용.
  • 센서: 각 손가락 끝에는 고해상도 비전 기반 촉각 센서인 Digit가 장착되어 텍스처와 강성 정보를 수집.
  • 비전: Intel RealSense D435i RGB-D 카메라를 사용하여 물체의 전역적 3D 정보와 포인트 클라우드 생성.
  • 제어: 물체 회전 및 조작을 위해 강화학습 기반 적응형 제어기 HORA 사용.

• 시스템 파이프라인:

  1. 촉각 기반 재질 분류 (Material Classification):
     • Digit 센서에서 수집된 고해상도 촉각 이미지를 EfficientNet-B0 CNN 모델에 입력.
     • 사전 학습된 모델을 미세 조정 (Fine-tuning) 하여 플라스틱, 금속, 직물, 목재 등 4 가지 재질을 실시간으로 분류.
  2. 시맨틱 신경 SDF (Semantic Neural SDF):
     • 기존 NeuralFeels 의 신경 SDF(Signed Distance Field) 네트워크를 확장.
     • 이중 브랜치 구조 (Dual-branch Network):
       • 기하학 브랜치: 3D 입력 포인트에 대해 부호付き 거리 (Signed Distance) 를 예측하여 3D 형상 재구성.
       • 재질 브랜치: 동일한 3D 입력 (및 SDF 네트워크의 특징 벡터) 을 받아 재질 클래스의 로짓 (Logits) 을 예측.
     • 두 브랜치는 병렬로 작동하며, 최종적으로 물체의 3D 형상과 함께 **연속적인 재질 영역 (Continuous Material Regions)**을 할당하는 시맨틱 맵을 생성.

• 데이터셋:

  • 4 개의 Digit 센서 (엄지, 검지, 중지, 약지) 로부터 수집된 총 20,749 개의 촉각 이미지 사용.
  • 재질별 (플라스틱, 금속, 직물, 목재) 로 균형을 맞춘 데이터로 학습 및 검증.

3. 주요 기여 (Key Contributions)

1. 시맨틱 라벨링 통합: In-hand manipulation 중 촉각 센서를 활용하여 물체의 재질을 실시간으로 분류하고, 이를 신경 SDF 를 통해 3D 기하학적 맵에 통합하는 새로운 프레임워크 제안.
2. 촉각 기반 재질 분류 모델: EfficientNet-B0 를 기반으로 한 고정밀 촉각 재질 분류 모델 개발 및 검증.
3. 다중 재질 객체 매핑: 단일 재질뿐만 아니라, 플라스틱과 직물이 섞인 **다중 재질 객체 (Multi-material Object)**에 대해 시간에 따라 재질 맵을 점진적으로 개선하고 매핑하는 능력 입증.
4. 실시간 적응성: 동적 조작 환경에서도 실시간으로 물체의 물성 정보를 추출하여 로봇의 지능적인 조작 전략 수립에 기여할 수 있음을 보임.

4. 실험 결과 (Results)

• 촉각 분류 모델 성능 (오프라인):
  • 손으로 수집한 데이터셋에서 99.04%(검증) 및 98.88%(테스트) 의 높은 정확도 달성.
  • 센서별로는 약지 (Ring) 가 99.60% 로 가장 높았으며, 엄지 (Thumb) 가 97.42% 로 상대적으로 낮았음 (조작 정책상 접촉이 불안정했기 때문).
• 단일 재질 객체 평가 (실시간):
  • 플라스틱 재질은 거의 100% 에 가까운 정확도를 보였으며, 약지와 검지 센서가 가장 우수함.
  • 금속과 목재는 분류가 더 어려웠으나 (특히 엄지 센서), 전체적으로 유의미한 성능을 보임.
• 다중 재질 객체 평가 (실시간):
  • 플라스틱과 직물이 섞인 물체를 조작하며 재질 맵을 생성.
  • 4 번의 실험 (Run) 에서 평균 일치 정확도 (Matching Accuracy) 79.87% 달성.
  • 시간이 지남에 따라 매핑 정확도가 점진적으로 향상됨 (예: Run 1 은 43.70% → 75.09% 로 상승).

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 로봇이 물체를 만지고 조작할 때 "무엇인지 (Shape)"뿐만 아니라 "무엇으로 만들어졌는지 (Material)"를 동시에 이해할 수 있는 기반을 마련함.
  • 시각 정보가 제한된 상황에서도 촉각 정보를 통해 물체의 물성을 인지하고 이를 3D 지도에 통합하는 기술적 타당성을 입증함.
  • 향후 로봇이 미끄러운 물체, 부드러운 천, 단단한 금속 등 다양한 재질을 구별하여 적절한 조작력을 가하는 등 더 정교한 작업을 수행할 수 있는 토대가 됨.

• 한계 및 향후 과제:

  • 접촉 불안정성: 조작 정책 (Rotation policy) 으로 인해 엄지손가락의 접촉이 불안정하여 촉각 이미지 품질이 저하되고 분류 정확도가 떨어짐.
  • 재질 다양성 부족: 현재는 4 가지 재질 (플라스틱, 금속, 직물, 목재) 만 다룸. 더 다양한 텍스처와 강성을 가진 재질로 확장 필요.
  • 동적 환경 민감도: 접촉 각도, 압력 분포, 운동에 따라 촉각 데이터가 민감하게 변하여 실시간 분류에 어려움이 있음.
  • 향후 작업: 적응형 조작 정책 개발, 더 넓은 재질 데이터셋 구축, 비전 및 힘 센서 등 다른 모달리티와의 융합, 온라인 학습 (Online Learning) 기법 도입 등을 통해 강건성을 높일 계획.

이 논문은 로봇이 물리적 세계와 상호작용할 때 시맨틱 (의미론적) 이해를 촉각을 통해 확장하려는 중요한 시도이며, 지능형 로봇 조작 기술의 발전에 기여합니다.