Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems

이 논문은 RGB-D 센서, 촉각 피드백, 충돌 인식 모션 플랜닝을 갖춘 디지털 트윈 기반 양팔 로봇 시스템과 시각 언어 모델 (VLM) 을 통합하여, 변형 가능한 의류와 이물질을 실시간으로 분류 및 식별하는 자동화된 텍스타일 선별 시스템의 실현 가능성을 입증했습니다.

핵심

1. 문제 상황: "난장판 옷장"과 "미스터리한 물건들"

상상해 보세요. 빨래 바구니에 셔츠, 바지, 양말이 뒤죽박죽으로 섞여 있고, 그 사이에 플라스틱 병이나 금속 장난감 같은 **이상한 물건 (Foreign Objects)**도 섞여 있다고 가정해 봅시다.
기존의 로봇들은 이런 '부드럽고 구부러지는' 옷을 잡는 것만으로도 고생이 많았어요. 게다가 "이건 셔츠야, 저건 병이야"라고 구분하는 것도 어렵고, 옷장 안이 어지러우면 더 혼란스러웠죠.

2. 해결책: "디지털 트윈 (Digital Twin)"과 "AI 눈"

이 연구팀은 로봇에게 두 가지 강력한 능력을 선물했습니다.

• 디지털 트윈 (가상 세계의 거울):
  로봇이 실제로 움직이기 전에, 컴퓨터 안에 **로봇과 옷장, 옷의 3D 복제본 (디지털 트윈)**을 만들어 둡니다. 마치 비행 시뮬레이터처럼, 로봇은 실제 옷을 잡기 전에 가상 세계에서 "이 옷을 잡으면 다른 물건에 부딪히지 않을까?"를 미리 연습합니다. 그래서 로봇이 옷을 잡다가 부딪히거나 넘어지는 실수를 줄여줍니다.
• AI 눈 (시각 언어 모델, VLM):
  로봇은 단순히 "옷이 있네"라고 보는 게 아니라, 사람처럼 이해하는 AI를 달았습니다. 이 AI 는 사진만 보고도 "아, 이건 남자의 셔츠구나", "저건 양말이고, 저건 병이 섞여 있네!"라고 말로 설명할 수 있습니다. 마치 옷장 정리 전문가가 옷을 한 장씩 꺼내며 "이건 셔츠, 저건 양말"이라고 외치는 것과 비슷합니다.

3. 로봇의 작업 과정: "앨리스와 밥"의 팀워크

실험실에는 **앨리스 (Alice)**와 **밥 (Bob)**이라는 두 개의 로봇 팔이 있습니다.

1. 잡기 (Grasp): 앨리스가 바구니에서 옷을 잡습니다. 이때 로봇 손가락 끝에는 촉각 센서가 있어, 옷을 잡았는지, 아니면 빈손인지, 혹은 병을 잡았는지를 '느낍니다'.
2. 흔들기 & 펼치기: 잡은 옷을 살짝 흔들어 다른 옷이 붙어있지 않게 하고, 검사 테이블에 펴 놓습니다.
3. 검사 (Classification): 펴진 옷을 카메라로 찍어 AI 에게 보여줍니다. AI 는 "셔츠", "양말", "바지", "속옷", "이상한 물건", "아무것도 없음" 중 하나를 정답으로 외칩니다.
4. 분류: AI 가 정답을 말하면, 로봇은 그 옷을 알맞은 통으로 옮깁니다.

4. 실험 결과: "누가 가장 똑똑할까?"

연구팀은 최신 AI 모델 9 가지를 시험해 보았습니다. 결과는 다음과 같습니다.

• 최고의 성적표 (Qwen 모델): 'Qwen'이라는 AI 가족이 가장 똑똑했습니다. 옷 종류를 맞추는 정확도가 **88%**에 달했고, 섞인 이상한 물건 (병, 캔 등) 을 찾아내는 능력도 뛰어났습니다.
• 빠른 선수 (Gemma 모델): 'Gemma'는 정확도는 조금 떨어지지만, 매우 빠릅니다. 실시간으로 옷을 빠르게 분류해야 하는 공장 라인에는 이 모델이 더 적합할 수 있습니다.
• 실수 (할루시네이션): 어떤 AI 는 옷이 없는데도 "셔츠가 있어!"라고 헛소리를 하거나 (할루시네이션), 긴 설명을 늘어놓기도 했습니다. 하지만 Qwen 은 이런 실수가 적었습니다.

5. 왜 이 기술이 중요할까요?

• 환경 보호: 옷을 재활용하려면 종류별로 정확히 분리해야 합니다. 이 로봇이 그 일을 대신하면 더 많은 옷이 새 옷으로 태어날 수 있습니다.
• 미래의 규제: 유럽연합은 2027 년부터 옷에 '디지털 제품 여권'을 의무화할 예정입니다. 이 로봇은 옷의 재질과 종류를 자동으로 파악해 그 정보를 기록할 수 있는 핵심 기술이 될 것입니다.

요약

이 논문은 **"로봇이 가상 세계에서 미리 연습하고 (디지털 트윈), AI 가 옷을 보고 말로 설명하며 (VLM), 촉각으로 감지하여 옷을 정리하는 시스템"**을 만들었다고 말합니다.

마치 옷장 정리 전문가가 로봇 팔을 달고, 컴퓨터 속 가상 공간에서 미리 연습을 한 뒤, 실제 옷을 잡아서 분류해 주는 상황이라고 생각하시면 됩니다. 이제 옷장 정리는 로봇이 맡아도 될 날이 머지않아 보입니다!

기술 요약

제공된 논문 "Digital Twin–Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems"의 상세한 기술 요약입니다.

1. 문제 정의 (Problem)

• 배경: 지속 가능한 섬유 재활용 수요 증가로 인해, 변형 가능한 의류 (deformable garments) 를 처리하고 혼잡한 환경에서 이물질 (foreign objects) 을 감지할 수 있는 견고한 자동화 솔루션이 절실히 필요합니다.
• 주요 과제:
  • 복잡한 물체 특성: 의류는 높은 클래스 내 변이성, 자기 가림 (self-occlusion), 비강체 역학, 그리고 더미 상태에서의 얽힘 문제로 인해 로봇 조작이 매우 어렵습니다.
  • 이물질 혼입: 재활용 흐름에는 플라스틱 포장, 금속 액세서리, 비직물 폐기물 등 다양한 이물질이 섞여 있어 정확한 분류가 필요합니다.
  • 규제 준수: EU 의 디지털 제품 패스포트 (DPP) 도입 (2027 년 말 예정) 으로 인해 기존 의류와 미등록 의류에 대한 인식 기반 분류 및 검사 기능이 필수적입니다.
  • 기존 기술의 한계: 기존 CNN 기반 시스템은 사전 정의된 클래스에 의존하며, 확장성, 대형 의류 처리, 이물질 감지, 그리고 실제 산업 환경에서의 견고성이 부족했습니다.

2. 방법론 (Methodology)

이 연구는 디지털 트윈 (Digital Twin), 다중 모달 지각, 시각 언어 모델 (VLM) 을 통합한 2 암 로봇 분류 시스템을 제안합니다.

• 하드웨어 구성:
  • 로봇: UR7e 매니퓰레이터 2 대 (Alice, Bob) 로 구성된 듀얼 암 셀.
  • 센싱: RGB-D 카메라 (Cam 1, Cam 2), 용량성 촉각 피드백 (CapTac 센서) 을 장착한 그리퍼.
  • 컴퓨팅: 로컬 PC (Nvidia RTX 3060) 와 클라우드 GPU (Nvidia H200) 를 활용하여 VLM 실행 및 데이터 처리.
• 작업 프로세스:
  1. 그립 예측: Cam 1 의 RGB-D 이미지를 기반으로 변형 가능 물체 그립 위치를 예측 (기존 알고리즘 수정 적용).
  2. 이동 및 검사: 로봇 Alice 가 바구니에서 의류를 집어 검사 구역 (Zone B) 으로 이동시킵니다.
  3. VLM 기반 분류: 검사 구역의 이미지를 VLM 에 입력하여 의류 종류 (셔츠, 바지, 양말, 속옷) 또는 이물질 (Other), 빈 공간 (Empty) 을 분류합니다.
  4. 디지털 트윈 및 충돌 회피: MoveIt 을 사용하여 충돌 감지 경로 계획을 수립하고, 검사 중인 의류의 3D 포인트 클라우드를 가상 환경에 통합하여 조작 신뢰성을 높입니다.
  5. 분류 후 처리: 분류된 물체는 로봇 Bob 으로 전달되거나 별도 컨테이너로 이동합니다.
• 모델 벤치마킹: 5 개의 모델 패밀리 (Gemma, Llama, LLaVA, MiniCPM, Qwen) 에 속한 9 가지 VLM 을 223 개의 검사 시나리오 (의류, 이물질, 빈 공간 포함) 에서 평가했습니다.

3. 주요 기여 (Key Contributions)

• 실제 산업 환경 적용: 실험실 환경이 아닌, 더미 상태의 의류와 이물질이 섞인 실제적인 산업 시나리오에 적합한 다단계 로봇 분류 아키텍처를 제시했습니다.
• VLM 성능 벤치마크: 다양한 VLM 이 섬유 분류 및 이물질 감지 과업에서 어떻게 작동하는지에 대한 포괄적인 비교 평가를 수행했습니다. 특히, 제로샷 (Zero-shot) 객체 감지 능력을 평가했습니다.
• 디지털 트윈 통합: 그립 환경의 디지털 트윈을 구축하여 3D 재구성을 가상 장면에 통합함으로써, 충돌 인식 경로 계획 및 그립 계획의 신뢰성을 향상시켰습니다.
• 다중 센서 융합: 시각 (RGB-D), 촉각 (CapTac), 그리고 의미론적 추론 (VLM) 을 결합한 하이브리드 접근법을 통해 로봇 조작의 견고성을 입증했습니다.

4. 실험 결과 (Results)

• 정확도:
  • Qwen 모델 패밀리가 전체적으로 가장 높은 정확도 (최대 87.9%) 를 기록했습니다. 특히 이물질 감지 성능이 뛰어났습니다.
  • Qwen3.5:35b는 235B 파라미터의 구형 모델 (Qwen3-vl:235b) 과 유사한 성능을 내면서도, 고사양 데이터센터급 GPU 가 아닌 고성능 소비자용 GPU 에서도 실행 가능하다는 점을 확인했습니다.
  • Gemma3:12b는 경량 모델로서 속도와 정확도 간의 경쟁력 있는 트레이드오프를 보였으며, 특히 '빈 테이블 (Empty)' 상태를 100% 정확히 식별한 유일한 모델이었습니다.
  • Llama 계열 모델은 특정 클래스가 반복되거나 객체가 없는 희소 상황에서 할루시네이션 (Hallucination) 이 발생하는 경향이 있었습니다.
• 계산 시간:
  • 모델 크기가 클수록 정확도는 높았지만 처리 시간이 길어졌습니다 (예: Qwen3.5:122b 는 평균 20 초 이상 소요).
  • 경량 모델 (Gemma3, MiniCPM) 은 실시간 배포 (Edge deployment) 에 적합한 빠른 처리 속도를 보였습니다.
• 클래스별 성능:
  • 양말 (Sock): 작은 크기와 독특한 모양으로 인해 모든 모델에서 가장 높은 정확도를 보였습니다.
  • 대형 의류: 단일 로봇 (Alice) 이 처리하는 과정에서 의류가 검사 구역에 완벽하게 펼쳐지지 않아 정확도가 다소 낮아지는 경향이 있었습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 실용성 입증: 의미론적 VLM 추론과 기존 그립 감지, 디지털 트윈 기술을 결합하여 현실적인 산업 환경에서 확장 가능한 자율 섬유 분류가 가능함을 입증했습니다.
• 규제 대응: EU 의 디지털 제품 패스포트 (DPP) 요구사항을 충족하기 위한 인식 기반 분류 시스템의 핵심 기술로 활용 가능합니다.
• 향후 과제:
  • 로봇 간 핸들오버 (Robot-to-robot handover) 작업 및 다중 암을 이용한 의류 펼치기 (Spreading) 기술 개발.
  • 여러 VLM 을 가중치와 함께 결합하여 (예: Qwen 과 Gemma 결합) 빈 테이블 감지 및 전체 정확도를 더욱 향상시키는 연구.
  • 더 정밀한 3D 모델 생성을 위한 다각도 카메라 이미지 활용 및 시뮬레이션 기술 고도화.

이 연구는 변형 가능 물체 처리라는 로봇 공학의 난제를 해결하기 위해 최신 AI 모델 (VLM) 과 전통적인 로봇 제어 기술, 그리고 디지털 트윈을 효과적으로 융합한 선구적인 사례로 평가됩니다.