기술 요약: SteelDS 데이터셋

문제 제기

금속 재활용, 특히 파쇄된 E40 등급 철스크랩에서 구리 불순물을 분리하는 작업은 산업용 자석 후 선별 공정에서 중요한 병목 현상입니다. X 선 투과 (XRT) 또는 초분광 이미징 (HSI) 을 사용하는 센서 기반 선별 (SBS) 은 효과적이지만, 이러한 방식은 자본 집약적이며 공간 해상도가 낮습니다. 반면, 딥러닝과 RGB 카메라를 사용하는 표준 비전 기반 선별은 비용 효율적인 대안을 제공하지만, 이 특정 도메인에 특화된 고품질 데이터셋이 부족합니다.

기존 폐기물 데이터셋 (예: TACO, TrashNet, ZeroWaste) 은 거시적이고 완전한 가정용 또는 도시 폐기물에 초점을 맞추고 있어, 산업용 스크랩의 기계적 파쇄, 마이크로 스케일, 그리고 확률론적 변형 특성을 다루지 못합니다. furthermore, 이전에 파쇄된 금속 스크랩을 분류하려는 시도는 거친 바운딩 박스나 이미지 수준의 주석에 의존했는데, 이는 변형된 스크랩에 전형적인 매우 불규칙한 경계와 미세한 가닥을 구분하지 못합니다. 이질적인 자석 후 선별 흐름에서 철 - 구리 분리를 위한 공개적으로 이용 가능한 인스턴스 수준 분할 벤치마크에는 상당한 격차가 존재합니다.

방법론

데이터 수집

SteelDS 데이터셋은 산업용 컨베이어 벨트 조건을 재현하기 위해 레오펜 공과대학교의 통제된 실험실 환경에서 촬영되었습니다.

• 재료 출처: Scholz Austria GmbH 에서 공급받은 497 개의 파쇄된 금속 물체 (철 396 개, 구리 101 개) 입니다. 이 재료는 수명 종료 차량과 가전제품에서 유래한 파편화된 오래된 철스크랩인 E40 등급 철스크랩의 자석 후 분획을 대표합니다.
• 물리적 설정: 1.0m 폭의 컨베이어 벨트가 0.4~0.5m/s 속도로 작동했습니다. 물체들은 고립된 입자 (최소 1cm 간격) 와 밀집된 군집 (강제 간격 없음) 의 두 가지 구성으로 배열되어 다양한 산업 밀도와 가림 현상을 시뮬레이션했습니다.
• 이미징: GoPro Hero 11 카메라가 엄격한 나디르 (정면 상향) 관점에서 100fps 로 4K 울트라 HD(3680 × 2160) 비디오를 촬영했습니다. 확산 LED 조명이 금속 표면의 반사를 최소화했고, 차폐물이 주변광을 차단했습니다.
• 한계점: 단일 뷰 2D 설정은 입체 하단에 위치한 구리 구성 요소를 본질적으로 가리게 되는데, 이는 산업용 2D 광학 선별의 표준 제약 조건입니다.

주석 및 전처리

• 프레임 추출: 원본 100fps 비디오는 20fps 로 다운샘플링되었으며, 프레임은 무손실 PNG 이미지로 추출되었습니다.
• 주석 도구: 커스텀 반자율 도구 (FOST) 가 마스크 제안서를 생성했으며, 이는 인간 주석가들이 수동으로 수정하고 검증했습니다.
• 주석 규칙: 엄격한 픽셀 단위 지침이 시행되었습니다. 마스크는 물리적 경계를 추적하며, 그림자와 모션 블러 흔적을 제외했습니다. 운송 중 파손으로 인한 파편은 독립적인 인스턴스로 레이블링되었습니다.
• 클래스: 물체들은 두 가지 주요 클래스로 분류되었습니다: Steel(철 성분) 과 Copper(가시적인 구리 성분을 포함). 또한, 물체들은 시각적 검사 및 취급 무게에 따라 크기 (철용 S1–S5, 구리용 C1–C3) 로 휴리스틱하게 그룹화되었으나, 이러한 크기 그룹은 별도의 정답 클래스가 아닙니다.

데이터셋 구조

데이터셋은 복잡성이 증가하는 다섯 개의 하위 집합 (a1–a5) 으로 구성된 24,297 개의 레이블이 지정된 프레임으로 구성됩니다:

• 하위 집합 a1–a3: 1cm 초과 간격을 가진 누적 물체 포함.
• 하위 집합 a4: 간격이 없는 밀집 군집 (높은 가림 현상).
• 하위 집합 a5: 모든 재료와 두 가지 간격 구성을 결합한 전체 평가 세트.
• 분할: 훈련, 검증, 테스트 세트 간 엄격한 격리가 시행됩니다. 물체는 분할 간에 공유되지 않습니다.

주요 기여

1. 인스턴스 수준 분할 벤치마크: SteelDS 는 기계적으로 파쇄된 E40 철 및 구리 스크랩의 인스턴스 분할을 위해 제공된 최초의 공개 고해상도 비디오 데이터셋입니다.
2. 현실적인 산업 복잡성: 이전 데이터셋이 완전한 물체를 특징으로 한 것과 달리, SteelDS 는 산업용 파쇄에 내재된 확률론적 변형, 찢어진 가장자리, 그리고 구조적 분열을 포착합니다.
3. 픽셀 단위 정답: 이 데이터셋은 정밀한 픽셀 단위 분할 마스크를 제공하여, 단순한 거친 검출이 아닌 세밀한 경계 구분을 위한 모델 훈련을 가능하게 합니다.
4. 오픈 월드 시뮬레이션: 다양한 물체 밀도, 가림 현상, 그리고 복잡한 위상 (예: 철에 박힌 구리 와이어) 을 포함함으로써, 예측 불가능한 형태와 혼합 재료를 처리해야 하는 "오픈 월드" 과제를 다룹니다.

실험 결과

저자들은 최첨단 객체 검출 및 인스턴스 분할 모델을 사용하여 기준선을 설정했습니다: YOLOv8n-seg, YOLO11n-seg, YOLO12n-seg, YOLO26n-seg, Mask R-CNN(ResNet-50). 모델은 재현성을 보장하기 위해 5 개의 서로 다른 무작위 시드로 훈련되었습니다.

• 성능 계층 구조: Mask R-CNN은 모든 하위 집합에서 모든 YOLO 나노 아키텍처보다 일관되게 우수한 성능을 보였습니다. 예를 들어, 하위 집합 a1 에서 Mask R-CNN 은 189.65의 결합 적합도 점수를 달성한 반면, YOLOv8n 은 최대 168.74였습니다. 이 격차는 Mask R-CNN 의 2 단계 아키텍처와 우수한 공간 특징 보존에 기인합니다.
• 검출 대 분할: 바운딩 박스 검출 (mAP50-95) 은 인스턴스 분할 (mAP50-95) 보다 일관되게 우수한 성능을 보였습니다. 하위 집합 a1 의 경우, 검출 mAP 는 **86.63%**였으며 분할 mAP 는 **81.67%**였습니다.
• 재료 차이:
  • 철: 강직하고 bulky 한 구조로 인해 일반적으로 검출이 더 쉽습니다.
  • 구리: 높은 정반사, 엉킨 와이어 뭉치, 그리고 혼합 재료 조립체 (예: 구리 그물 속의 철 핀) 로 인해 분할이 더 어렵습니다. 그러나 구리 검출 성능은 일부 지표에서 철과 유사하여, 바운딩 박스는 표면 질감에 강건한 반면 분할은 미세한 경계에서 어려움을 겪음을 시사합니다.
• 크기 민감성: 대형 물체에 비해 중간 크기 물체의 성능이 크게 저하되었습니다. 데이터셋에 해당 차원의 정답 인스턴스가 없으므로 소형 물체는 지표에서 제외되었습니다.
• 실패 모드: 모델들은 다음과 같은 특정 오류를 보였습니다:
  • 링 모양 물체의 내부 배경을 물체의 일부로 잘못 분할.
  • 길고 꼬인 막대나 구겨진 시트를 여러 인스턴스로 분할.
  • 얇고 다방향의 가닥으로 인해 구리 와이어 뭉치 처리에 어려움.

중요성 및 주장

이 논문은 SteelDS 를 금속 재활용 자동 선별을 발전시키기 위한 기초 자원으로 위치시킵니다. 그 중요성은 다음과 같습니다:

• 데이터 격차 해소: 독점적 데이터 제한으로 인해 방해받아 온 철 - 구리 분리를 포함한 산업용 금속 스크랩을 위한 전문 자원의 부족을 해소합니다.
• 고급 지각 가능화: 이질적인 흐름에서 알려진 대상에 대한 픽셀 단위 기준선을 제공함으로써, 극단적인 클래스 내 변이를 처리할 수 있는 강력한 오픈 월드 선별 아키텍처 개발을 지원합니다.
• 벤치마킹 유용성: 이 데이터셋은 확률론적으로 변형되고 고반사성인 산업 재료를 처리하는 현재 컴퓨터 비전 모델의 한계를 평가하는 엄격한 테스트베드로 작용합니다.

저자들은 기준선 모델이 유망한 결과를 보이지만, 이 데이터셋이 복잡한 형태, 숨겨진 부분, 혼합 재료와 같은 특정 과제를 드러내며 이는 해당 분야의 열린 문제로 남아있다고 지적합니다. 이는 더 강력한 분할 및 분류 알고리즘에 대한 추가 연구를 동기부여합니다.