SynthRender and IRIS: Open-Source Framework and Dataset for Bidirectional Sim-Real Transfer in Industrial Object Perception

이 논문은 폐쇄형 산업 부품의 데이터 수집 장벽을 해결하기 위해 합성 이미지 생성 프레임워크 'SynthRender'와 대규모 산업용 실사 - 시뮬레이션 데이터셋 'IRIS'를 공개하고, 이를 통해 기존 방법론을 능가하는 높은 객체 인식 정확도를 달성한 시 - 실 양방향 전이 학습 체계를 제시합니다.

핵심

이 논문은 **"로봇이 실제 세상에서 물건을 잘 찾아내게 하려면, 어떻게 하면 컴퓨터 안의 가짜 데이터로 충분히 훈련시킬 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 방식은 로봇이 물건을 잡거나 검사하려면 수천 장의 실제 사진을 찍고, 사람이 하나하나 "이건 나사야, 이건 너트야"라고 손으로 표시해줘야 했습니다. 하지만 공장에 있는 특수 부품은 사진 찍기도 어렵고, 표시하는 데도 비용이 너무 많이 듭니다.

이 논문은 그 문제를 해결하기 위해 두 가지 핵심 도구를 소개합니다.

---

1. 'SynthRender': 가짜 세상을 만드는 마법 같은 주방

이것은 가상 현실 (VR) 주방이라고 생각해보세요.

• 문제: 실제 주방 (공장) 에 가려면 재료를 사러 가고, 조리법을 익히는 데 시간이 걸립니다.
• 해결: SynthRender 는 완벽한 가상 주방을 만들어줍니다.
  • 무작위 변형 (Domain Randomization): 이 주방은 매일매일 달라집니다. 조명을 갑자기 어둡게 하거나, 밝게 하거나, 바닥을 나무로 바꾸거나, 벽지를 종잇장처럼 만들기도 합니다.
  • 물리 법칙 적용: 로봇이 물건을 떨어뜨리면 바닥에 튕겨 나가는 것처럼, 중력과 충돌을 실제처럼 시뮬레이션합니다.
  • 효과: 로봇은 이 '가변적인' 가상 주방에서 수만 번 훈련을 받습니다. 마치 어떤 날씨와 조명에서도 요리할 수 있도록 훈련된 셰프가 되는 것과 같습니다. 그래서 실제 공장 (실제 세상) 에 가도 빛이 비추는 각도가 달라도 물건을 쉽게 찾아냅니다.

2. 'IRIS': 로봇을 위한 '실전 모의고사' 자료집

가상 주방만으로는 부족합니다. "과연 이 훈련이 실제 상황에서 통할까?"를 검증할 실제 시험지가 필요합니다.

• IRIS는 32 가지 산업용 부품 (나사, 너트, 가스관 부품 등) 으로 구성된 데이터셋입니다.
• 특이점: 이 데이터셋은 양면성을 가집니다.
  1. 실제 데이터: 실제 공장에서 찍은 고화질 사진과 3D 스캔 데이터가 있습니다.
  2. 가상 데이터: SynthRender 로 만든 수천 장의 가짜 사진이 있습니다.
• 비유: 마치 수능 모의고사처럼, 가짜 문제집 (SynthRender) 으로 공부한 학생이 실제 시험 (IRIS) 을 봤을 때 얼마나 잘하는지 정확히 측정할 수 있게 해줍니다.

---

3. 3D 모델이 없다면? "AI 가 그림을 보고 3D 로 복원해줘"

가장 큰 장벽은 "부품의 3D 도면 (CAD) 이 없어서 가상 주방에 넣을 수 없다"는 것이었습니다.

이 논문은 **GenAI(생성형 AI)**와 3D 스캐닝 기술을 활용하여 이 문제를 해결했습니다.

• 비유: 실제 부품 사진을 몇 장만 찍어주면, AI 가 **"이걸 보고 3D 입체 모형으로 만들어줄게!"**라고 말합니다.
• 3D 가우스 스플래팅 (3DGS): 마치 점토를 빚듯이, 2D 사진들을 합쳐서 입체적인 모양을 만들어냅니다.
• 결과: 전문가가 직접 3D 도면을 그리는 대신, AI 가 만든 3D 모델을 사용해도 로봇 훈련 효과가 거의 비슷하게 나옵니다. 이는 시간과 비용을 획기적으로 줄여줍니다.

---

4. 결론: "가짜로 많이, 진짜로 조금만"

이 연구의 가장 큰 깨달음은 다음과 같습니다.

1. 데이터의 '양'보다 '질'이 중요하다: 단순히 가짜 사진을 100 만 장 만드는 것보다, 빛, 그림자, 재질, 배경을 다양하게 섞어서 만든 4,000 장의 가짜 사진이 더 효과적입니다. (다양한 상황을 경험하게 하는 것이 핵심)
2. 소량 실전 훈련 (Few-Shot): 가짜 데이터로 95% 정도까지 훈련시킨 후, 실제 사진 5~10 장만 더 보여주면 성능이 99% 이상으로 완성됩니다. 마치 가상 시뮬레이션으로 운전 실력을 다진 후, 실제 도로에 10 번만 나가면 운전면허를 뗄 수 있는 것과 같습니다.

요약

이 논문은 **"로봇을 훈련시킬 때, 비싼 실제 데이터 대신 AI 가 만든 다양하고 현실적인 가짜 데이터로 대량 훈련하고, 마지막에 실제 사진 몇 장만 더 보여주면 된다"**는 것을 증명했습니다.

이는 공장 자동화의 장벽을 낮추어, 작은 공장에서도 쉽게 로봇을 도입할 수 있는 길을 열어주는 혁신적인 방법입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 로봇 물품 핸들링 (Bin-picking), 품질 검사 등 반제어 (semi-uncontrolled) 산업 환경에서의 객체 인식은 자동화의 핵심 요소입니다.
• 문제: 현대의 감독 학습 (supervised learning) 기반 심층 학습 모델은 견고한 자동화를 위해 방대한 양의 데이터가 필요합니다. 그러나 산업용 부품 (특히 독점 부품) 에 대한 실제 데이터 수집 및 주석 (annotation) 비용은 매우 높으며, 이는 산업 전반의 배포를 저해하는 주요 장벽입니다.
• 목표: 실제 데이터 수집 없이도 고품질의 합성 데이터를 생성하여 시뮬레이션 - 현실 (Sim-to-Real) 전이 성능을 극대화하고, CAD 파일이 없는 부품에 대한 3D 자산 생성 및 적응 (Adaptation) 방법을 연구하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 SynthRender라는 오픈소스 프레임워크와 IRIS라는 새로운 데이터셋을 제안하며, 다음과 같은 3 단계 아키텍처를 통해 문제를 해결합니다.

A. SynthRender (합성 데이터 생성 프레임워크)

• 기반: BlenderProc 를 기반으로 하며, 가이드된 도메인 랜덤라이제이션 (Guided Domain Randomization, GDR) 기능을 구현했습니다.
• 주요 기능:
  • 물리 기반 시뮬레이션: 충돌 방지, 중력, 강체 물리 등을 적용하여 현실적인 객체 배치를 구현합니다.
  • 조명 및 카메라 랜덤화: 3 점 조명 (Three-point lighting), HDRI 환경 맵, 카메라 내재 파라미터 (초점 거리 등) 를 무작위화합니다. 특히 지수 함수적 조명 강도 샘플링 (Exponential light sampling) 을 도입하여 밝은 픽셀 분포를 생성합니다.
  • 재질 무작위화: PBR (Physically Based Rendering) 재질을 무작위로 할당하여 객체의 외관 변이를 극대화합니다.
  • 가상 방해물 (Distractors): 실제 객체와 유사하지만 의미적으로 다른 'Fake' 모델을 추가하여 모델의 강건성을 높입니다.

B. 저비용 3D 도메인 적응 (Low-Overhead 3D Domain Adaptation)

CAD 파일이 없는 경우를 대비하여 2D 이미지로부터 3D 자산을 생성하는 4 가지 방법을 비교 및 벤치마크했습니다.

1. 수동 모델링: CAD 파일 기반 + 수동 PBR 재질 적용 (가장 정확하지만 비용 높음).
2. CAD + MeshyAI: CAD 기하 구조 유지 + 단일 이미지 기반 GenAI 를 통한 자동 재질 생성.
3. 3D Gaussian Splatting (3DGS): 다중 뷰 이미지로부터 3D 메쉬 및 재질 자동 생성 (후처리 필요).
4. TRELLIS: 단일/다중 이미지로부터 메쉬와 재질을 직접 생성하는 GenAI 모델.

C. IRIS 데이터셋 (Industrial Real-Sim Imagery Set)

• 구성: 산업용 부품 32 개 클래스 (기계 부품, 공압 부품, 패스너 등) 로 구성.
• 특징:
  • 실제 데이터: Zivid RGB-D 센서로 촬영한 508 개의 고해상도 이미지 및 약 20,000 개의 주석 포함.
  • 합성 데이터: SynthRender 를 통해 생성된 8,000 개의 고변이 이미지 포함.
  • 난이도: 클래스 간 유사성 (Inter-class similarity) 이 높고, 클래스 내 변이 (Intra-class variation, 예: 스크래치, 녹) 가 존재하여 객체 인식에 도전적인 환경 제공.
  • 비대칭성: 완벽한 CAD 모델과 3DGS/TRELLIS 등으로 복원된 불완전한 모델 모두 포함하여 양방향 (Bidirectional) 시뮬레이션 - 현실 전이 평가 가능.

3. 주요 기여 (Key Contributions)

1. SynthRender 프레임워크: GDR 을 구현한 오픈소스 합성 데이터 생성기. 물리 기반 배치, 조명 샘플링, 재질 무작위화 등 설계 원칙을 제시하여 기존 파이프라인보다 우수한 성능 달성.
2. 자동화된 도메인 적응 (DA) 벤치마크: 2D-to-3D 생성 (GenAI, 3DGS 등) 기술을 산업용 3D 자산 생성에 적용하고 그 성능을 정량적으로 평가.
3. IRIS 데이터셋 공개: 반제어 산업 환경을 위한 새로운 벤치마크 데이터셋 제공 (CAD 및 복원 메쉬 포함).
4. 심층적 분석 (Ablation Studies): 어떤 합성 변이 (Lighting, Physics, Texture 등) 가 전이 성능에 결정적인 영향을 미치는지 규명.

4. 실험 결과 (Results)

• 성능 지표: mAP@50 (IoU 50% 기준) 및 mAP@50-95 를 사용.
• 주요 결과:
  • 최고 성능: IRIS 데이터셋에서 95.3% mAP@50, 공업용 로봇 벤치마크에서 99.1% mAP@50, 자동차 벤치마크에서 98.3% mAP@50 달성.
  • 변화 요인 분석:
    • 물리 시뮬레이션과 PBR 재질 무작위화가 성능 향상에 가장 큰 기여를 함.
    • 특히 반사율이 높은 강철 부품의 경우, 재질을 무작위화하면 모델이 텍스처가 아닌 **기하학적 단서 (Geometric cues)**에 의존하게 되어 실제 환경에서의 강건성이 크게 향상됨.
    • 조명 무작위화 (RGB + 지수 샘플링) 도 성능 향상에 기여.
  • 소량 데이터 효율성: 수천 장 (Low-thousands) 의 합성 이미지로도 높은 정확도 달성. 데이터 양이 증가함에 따라 성능은 포화됨.
  • Few-Shot Fine-tuning: 합성 데이터만 사용한 모델에 실제 이미지 1~5 장만 추가하여 학습 (Few-shot) 시, mAP@50 이 98% 이상으로 급격히 향상됨 (Sim-to-Real 갭 해소).
  • 3D 자산 생성 비교: 수동 CAD 모델이 가장 좋았으나, 3DGS로 복원된 모델은 수동 모델 대비 약 2%p 차이만 발생하여 CAD 가 없을 때 유효한 대안임. GenAI 기반 (MeshyAI, TRELLIS) 방법도 86% 이상의 mAP@50 을 기록하여 실용성 입증.
  • 배경 영향: 실제 환경 스캔 (3DGS) 으로 배경을 대체하는 것이 무작위 배경보다 성능을 크게 높이지는 않음 (배경 적응보다 객체 표현이 더 중요함을 시사).

5. 의의 및 결론 (Significance)

• 데이터 효율성: 대규모 실제 데이터 수집 없이도 고품질 합성 데이터와 소량의 실제 데이터 (Few-shot) 만으로 산업용 객체 인식 모델을 훈련할 수 있음을 증명.
• 설계 원칙 확립: "어떻게 합성 변이를 구성하는가 (How variability is constructed)"가 "어떤 검출기 아키텍처를 쓰느냐"보다 Sim-to-Real 전이 성능에 더 중요함을 입증.
• 실용성: CAD 파일이 없는 부품에 대해서도 3DGS 및 GenAI 를 활용한 저비용 3D 자산 생성이 가능함을 보여줌.
• 오픈소스 생태계: SynthRender 프레임워크와 IRIS 데이터셋을 공개하여 산업계와 연구계의 재현성 및 추가 연구를 촉진.

이 논문은 산업 자동화 분야에서 데이터 부족 문제를 해결하기 위한 체계적인 합성 데이터 생성 전략과 검증된 데이터셋을 제공함으로써, 실제 환경에서의 로봇 비전 시스템 배포를 가속화하는 중요한 기여를 하고 있습니다.