HaDR: Applying Domain Randomization for Generating Synthetic Multimodal Dataset for Hand Instance Segmentation in Cluttered Industrial Environments

이 논문은 산업 환경의 혼란스러운 배경에서 손 인스턴스 분할을 수행하기 위해 도메인 무작위화를 적용하여 합성 RGB-D 데이터셋과 사전 학습된 모델을 개발했으며, 단일 합성 데이터로만 훈련된 모델이 기존 최첨단 데이터셋 기반 모델보다 우수한 성능을 보임을 입증했습니다.

핵심

🎮 1. 문제 상황: "실제 세상"과 "가상 세상"의 괴리

우리가 로봇에게 "손을 찾아봐!"라고 가르치려면, 수많은 손 사진 (데이터) 을 보여줘야 합니다. 하지만 실제 공장에서는 손이 어디에 있을지, 어떤 장갑을 끼고 있을지, 빛은 어떻게 비추는지 알 수 없습니다. 게다가 손 하나하나를 컴퓨터가 알아볼 수 있게 표시 (레이블링) 하는 일은 사람이 일일이 해줘야 하므로 엄청나게 비싸고 시간이 오래 걸립니다.

그럼 어떻게 할까요? 컴퓨터 게임 속 가상 세상 (시뮬레이션) 에서 데이터를 만들어보자는 아이디어가 나왔습니다. 하지만 여기서 큰 문제가 생깁니다.

• 문제: 게임 속 손은 너무 완벽하고 깔끔해서, 실제 messy(지저분한) 공장 환경에서 작동하지 않습니다. 마치 실제 운전 연습을 안 하고 시뮬레이션 게임만 100 시간 한 사람이, 실제 도로에 나가면 당황하는 것과 비슷합니다. 이를 연구자들은 **'현실과의 괴리 (Reality Gap)'**라고 부릅니다.

🎲 2. 해결책: "도메인 랜덤라이제이션 (Domain Randomization)"

이 논문은 이 문제를 해결하기 위해 **"의도적으로 엉망진창으로 만들어라"**는 전략을 썼습니다. 이를 **'도메인 랜덤라이제이션 (DR)'**이라고 부릅니다.

• 비유: 만약 우리가 운전자를 훈련시킬 때, 날씨를 매일 바꾼다 (폭우, 폭설, 안개), 도로를 매일 다르게 만든다 (포장도로, 진흙길), 차를 매일 다른 색상으로 칠한다고 상상해 보세요.
• 효과: 운전자는 "아, 비가 오면 이렇게 운전해야지", "진흙길에서는 이렇게 해야지"라고 상황에 적응하는 본질적인 능력을 배우게 됩니다.
• 이 연구의 적용: 연구자들은 가상 공장 안에 무작위로 다양한 도구, 이상한 색깔의 배경, 엉뚱한 조명, 심지어 손과 섞일 수 있는 방해물을 무작위로 배치했습니다. 손의 색깔이나 장갑 색깔도 계속 바꿔주었습니다.
• 결과: AI 는 "손은 이런 색깔이야"라고 외우는 게 아니라, **"손의 모양과 구조"**라는 본질을 파악하게 되어, 실제 공장에서도 어떤 장갑을 끼든, 어떤 빛 아래서도 손을 찾아낼 수 있게 되었습니다.

👁️ 3. 두 가지 눈 (RGB + 깊이 정보)

이 연구는 AI 에게 두 가지 종류의 눈을 주었습니다.

1. RGB (색상): 우리가 보는 일반적인 사진.
2. Depth (깊이): 사물이 얼마나 멀리 있는지를 알려주는 3D 정보.

• 비유: 색상만 보면, 흰색 장갑을 낀 손이 흰색 벽과 섞여서 구별하기 어렵습니다. (눈이 가려진 상태) 하지만 깊이 정보가 있으면, "벽은 저기에 있고, 손은 내 앞에 가까이 있구나"라고 거리감으로 구별할 수 있습니다.
• 결론: 색상과 깊이 정보를 함께 쓰면 (RGB-D), AI 가 훨씬 더 정확하게 손을 찾아냅니다. 마치 안개 낀 날에 등대 (깊이 정보) 가 빛을 비추어 길을 찾게 하는 것과 같습니다.

🏆 4. 결과: "가상 훈련"이 "실제 대회"를 이겼다

연구진은 이 방법으로 만든 AI 를 실제 공장 환경 (테스트 데이터) 에서 시험해 보았습니다.

• 대결 구도:

  1. 이 연구의 AI: 오직 가상 데이터 (도메인 랜덤라이제이션) 로만 훈련.
  2. 기존 유명 AI (MediaPipe 등): 실제 사진으로 훈련된 최신 기술.
  3. 다른 가상 데이터: 기존에 공개된 다른 시뮬레이션 데이터.

• 결과: 놀랍게도 이 연구의 AI 가 가장 잘했습니다!

  • 기존 AI 들은 장갑 색깔이 바뀌거나 배경이 복잡해지면 실수를 많이 했습니다. (특히 빨간 장갑은 잘 찾는데 초록 장갑은 못 찾는 등 색상 편향이 있었습니다.)
  • 반면, 이 연구의 AI 는 어떤 장갑이든, 어떤 배경이든 흔들리지 않고 손을 정확히 찾아냈습니다.

💡 5. 핵심 교훈

이 논문의 핵심 메시지는 다음과 같습니다.

"완벽한 가상 현실을 만들려고 애쓰지 마라. 오히려 가상 현실을 의도적으로 '지저분하고' '다양하게' 만들어라. 그래야 AI 가 실제 세상의 혼란스러움에도 끄떡없이 적응할 수 있다."

이 방법은 사람이 일일이 손으로 데이터를 표시할 필요 없이, 컴퓨터로만 빠르고 저렴하게 고품질의 데이터를 만들어낼 수 있게 해주며, 특히 공장 자동화나 로봇이 사람과 함께 일하는 환경에서 매우 유용합니다.

📝 한 줄 요약

"컴퓨터 게임 속 세상을 의도적으로 엉망으로 만들어 AI 를 훈련시켰더니, 실제 복잡한 공장에서도 어떤 장갑을 낀 손이든 찾아내는 초능력자가 탄생했다!"

기술 요약

1. 문제 정의 (Problem)

• 배경: 제조업의 유연성 향상을 위해 로봇 프로그래밍 및 인간 - 로봇 상호작용 (HRI) 인터페이스 개발이 중요해지고 있으며, 제스처 기반 인터페이스가 주목받고 있습니다.
• 핵심 과제: 산업 환경 (특히 복잡한 비구조화 환경) 에서 손의 인스턴스 분할 (Instance Segmentation) 을 수행하는 것은 어렵습니다.
  • 데이터 부족: 고품질의 픽셀 단위 주석이 달린 대규모 데이터셋을 수동으로 수집하고 라벨링하는 것은 비용이 많이 들고 시간이 소요됩니다.
  • 현실과 시뮬레이션의 괴리 (Reality Gap): 기존 합성 데이터는 사실적인 렌더링에 의존하지만, 이는 계산 비용이 크고 특정 환경에 편향될 수 있습니다.
  • 색상 의존성: 기존 모델 (예: MediaPipe) 은 피부색이나 장갑의 특정 색상에 편향되어 있어, 다양한 색상의 작업 장갑을 착용한 산업 현장에서는 성능이 저하됩니다.
  • 단일 모드 한계: 기존 데이터셋은 RGB 또는 깊이 (Depth) 정보 중 하나만 제공하거나, 손이 이미지 중앙에 위치하고 배경에 방해물이 없는 등 비현실적인 가정을 포함하는 경우가 많습니다.

2. 방법론 (Methodology)

이 연구는 도메인 랜덤화 (Domain Randomization, DR) 기법을 활용하여 산업 환경에 적합한 합성 RGB-D 데이터셋을 생성하고, 이를 기반으로 손 인스턴스 분할 모델을 학습시켰습니다.

• 데이터셋 생성 (HaDR):

  • 플랫폼: CoppeliaSim 시뮬레이터를 사용했습니다.
  • 도메인 랜덤화 전략: 사실적인 렌더링보다는 모델이 핵심 특징 (손의 형태) 에 집중하도록 하기 위해 비현실적인 변형을 무작위로 적용했습니다.
    • 배경 및 방해물: 무작위 질감, 조명, 기하학적 모양, 작업 도구 등 다양한 방해물 (Distractors) 을 무작위로 배치하여 손과 배경의 색상 혼합을 시뮬레이션했습니다.
    • 손 모델: 오른손 3D 메쉬를 사용하되, 학습 시 수평/수직 반전 (Flip) 을 통해 양손을 모두 인식하도록 했습니다.
    • 모달리티: RGB(색상) 와 Depth(깊이) 정보를 모두 포함하는 멀티모달 데이터를 생성했습니다.
    • 데이터 규모: 총 117,000 개의 이미지 생성. COCO 포맷의 정밀한 마스크 라벨을 자동 생성했습니다.
  • 특징: 손이 이미지 중앙에 고정되지 않으며, 배경보다 손이 더 가깝거나 멀리 있을 수 있고, 최대 2 개의 손 인스턴스가 동시에 존재할 수 있도록 구성했습니다.

• 학습 과정:

  • 모델: MMDetection 프레임워크를 사용하여 Mask R-CNN과 SOLOv2 두 가지 최신 인스턴스 분할 아키텍처를 사용했습니다.
  • 백본: ResNet-50 및 ResNet-101 을 특징 추출기로 활용했습니다.
  • 입력: Depth, RGB, RGB-D(멀티모달) 세 가지 입력 조합으로 모델을 학습시켰습니다.
  • 전제 조건: 모델은 오직 생성된 합성 데이터셋만으로 학습되었으며, 실제 카메라 데이터에 대한 미세 조정 (Fine-tuning) 은 수행하지 않았습니다.

• 평가 지표:

  • AP (Average Precision): COCO 표준 (IoU 0.5:0.95) 및 AP@0.5.
  • PDQ (Probability-based Detection Quality): 오검출 (False Positive) 과 누락 (False Negative) 을 모두 고려하여 최적의 신뢰도 임계값을 찾는 데 중점을 둔 지표.

3. 주요 기여 (Key Contributions)

1. 색상 무관성 (Color-agnostic) 합성 데이터셋: 실제 카메라 데이터 없이 오직 합성 데이터만으로 훈련되어 손의 색상 (피부색, 다양한 색상의 장갑) 에 의존하지 않는 손 인스턴스 분할을 가능하게 하는 최초의 시도 중 하나입니다.
2. 멀티모달 접근법: 색상 (RGB) 과 깊이 (Depth) 정보를 결합한 입력이 복잡한 산업 환경에서 모델의 정확도를 향상시킨다는 것을 입증했습니다.
3. 성능 입증: 기존 최첨단 (SOTA) 데이터셋 (EgoHands, ObMan, RHD 등) 이나 MediaPipe 솔루션보다 우수한 성능을 보였습니다.
4. 오픈 소스: 생성된 데이터셋, 사전 학습된 모델, 코드 및 데이터셋 생성 파이프라인을 공개했습니다.

4. 실험 결과 (Results)

• 모델 성능 비교:
  • Mask R-CNN이 SOLOv2 보다 전반적으로 우수한 성능을 보였습니다.
  • RGB-D 입력이 단일 RGB 나 Depth 입력보다 PDQ(검출 품질) 측면에서 일관되게 더 좋은 결과를 보여주었습니다. 특히 Mask R-CNN ResNet50 (RGB-D) 모델이 가장 높은 성능을 기록했습니다.
  • AP 점수: 학습된 모델은 COCO 데이터셋으로 학습된 모델보다 평균 정밀도 (AP) 가 최대 52.5 까지 향상되었습니다.
• 기존 데이터셋 비교:
  • 기존 합성/실제 데이터셋 (DenseHands, ObMan, RHD, EgoHands 등) 으로 학습된 모델들은 복잡한 산업 환경 테스트셋에서 성능이 현저히 낮았습니다. 이는 기존 데이터셋이 손의 위치 편향 (중앙 집중), 방해물 부재, 색상 편향 등의 한계를 가지고 있기 때문입니다.
• MediaPipe 대비 우위:
  • 산업 환경 테스트셋에서 MediaPipe(최신 버전 0.9.0) 보다 PDQ와 AP 모두에서 압도적으로 높은 성능을 보였습니다.
  • 색상 무관성: MediaPipe 는 붉은색/노란색 장갑은 잘 인식하지만 초록색 장갑이나 배경과 색상이 섞인 경우 실패하는 경향이 있었으나, HaDR 모델은 장갑 색상과 조명 조건에 관계없이 안정적으로 손 인스턴스를 인식했습니다.
• 정성적 평가: RGB-D 입력을 사용한 Mask R-CNN 모델이 배경과 손이 섞이는 어려운 상황에서도 가장 정확한 마스크를 생성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 이 연구는 실제 데이터 수집 및 수동 라벨링의 비용과 시간을 절감하면서도, 복잡한 산업 환경에서 높은 일반화 능력을 가진 손 인식 시스템을 구축할 수 있음을 입증했습니다.
• 로봇 공학 적용: 생성된 모델은 인간 - 로봇 상호작용 (HRI) 인터페이스의 핵심 구성 요소로 활용될 수 있으며, 작업자가 다양한 보호 장비 (장갑) 를 착용하더라도 안정적인 제스처 인식을 가능하게 합니다.
• 미래 연구 방향: 손의 형태 학습에 집중하기 위해 사실적이지 않은 질감과 조명 변형을 도입한 도메인 랜덤화 전략의 유효성을 재확인했습니다. 향후 손과 도구의 상호작용 시뮬레이션 확대 등을 통해 더욱 정교한 모델 개발이 가능할 것으로 기대됩니다.

요약하자면, 이 논문은 도메인 랜덤화 기반의 합성 멀티모달 데이터셋을 통해 색상에 구애받지 않는 손 인스턴스 분할을 달성했으며, 기존 상용 솔루션 및 데이터셋보다 산업 환경에서 훨씬 뛰어난 성능을 보인 것을 증명했습니다.