SEP-YOLO: Fourier-Domain Feature Representation for Transparent Object Instance Segmentation

본 논문은 투명한 물체의 경계 흐림과 낮은 대비 문제를 해결하기 위해 주파수 영역 특징 강화 및 다중 공간 정제 스트림을 통합한 SEP-YOLO 프레임워크를 제안하고, Trans10K 데이터셋에 고품질 인스턴스 주석을 추가하여 투명 물체 인스턴스 분할 분야에서 최첨단 성능을 달성했습니다.

핵심

이 논문은 컴퓨터가 투명한 물체 (유리창, 유리잔, 실험기구 등) 를 정확하게 보고 구분하는 문제를 해결하기 위해 개발된 새로운 기술, **'SEP-YOLO'**에 대한 이야기입니다.

일반적인 컴퓨터 비전 기술은 물체의 '색깔'이나 '모양'을 보고 인식합니다. 하지만 투명한 물체는 배경과 섞여 있어 경계가 흐릿하고, 색도 없으며, 빛이 굴절되어 왜곡되기 때문에 기존 기술로는 구별하기 매우 어렵습니다. 마치 안개 낀 유리창 뒤에 있는 물체를 보는 것과 비슷하죠.

이 문제를 해결하기 위해 저자들은 세 가지 핵심 아이디어를 섞어서 새로운 시스템을 만들었습니다. 이를 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "안개 낀 유리창 뒤에 있는 유리를 찾아라!"

투명한 물체는 배경과 거의 똑같이 보입니다. 기존 카메라 (AI) 는 "어디서 끝나는지"를 알 수 없어서, 유리를 찾지 못하거나 모양을 엉망으로 그립니다.

2. 해결책: SEP-YOLO의 세 가지 비밀 무기

① 주파수 영역 세부 정보 강화 모듈 (FDDEM)

비유: "흐릿한 사진에 선명한 윤곽선 필터를 입히다"

투명한 물체의 가장자리 (경계) 는 아주 미세하고 희미합니다. 일반적인 AI 는 이 미세한 신호를 소음으로 여겨 무시해 버립니다.
이 모듈은 이미지를 주파수 (음파나 진동처럼) 영역으로 변환합니다. 여기서 투명한 물체의 '희미한 경계'는 마치 **높은 고음 (고주파)**처럼 나타납니다.
저자들은 이 고주파 신호를 잡기 위해 **학습 가능한 복잡한 가중치 (마치 귀를 기울이는 청각 신경)**를 사용합니다. 마치 안개 낀 사진에서 흐릿한 윤곽선만 골라내어 선명하게 강조하는 '마법 필터'를 붙인 것과 같습니다. 이렇게 하면 투명한 물체의 경계가 뚜렷하게 드러납니다.

② 다중 스케일 게이트 정제 블록 (MS-GRB)

비유: "미세한 오차를 잡아주는 정밀한 체 (체질)"

이미지를 분석할 때 AI 는 크기를 줄이거나 (다운샘플링) 다시 키우거나 (업샘플링) 하는 과정을 거칩니다. 이 과정에서 투명한 물체의 미세한 경계 정보가 사라지거나 흐려질 수 있습니다.
이 모듈은 **여러 크기의 창문 (다중 스케일)**을 통해 정보를 다시 한번 꼼꼼히 확인합니다. 그리고 게이트 (문) 역할을 하는 장치를 통해, 불필요한 잡음은 막아내고 중요한 정보만 통과시킵니다.
마치 여러 겹의 체를 거쳐서 가장 미세한 알갱이 (경계 정보) 도 놓치지 않고 걸러내는 과정과 같습니다. 이렇게 하면 물체의 위치를 아주 정확하게 잡을 수 있습니다.

③ 콘텐츠 인식 정렬 넥 (CA2-Neck)

비유: "유연한 손으로 물체를 감싸는 스마트 장갑"

투명한 물체는 빛의 반사나 굴절 때문에 위치가 불안정하게 보입니다. 기존 기술은 이를 직선으로만 자르거나 평균을 내서 처리하다 보니 위치가 어긋납니다.
이 기술은 **LDConv(선형 변형 합성곱)**와 **DySample(동적 업샘플러)**를 사용합니다.

• LDConv: 고정된 사각형 필터 대신, 물체의 모양에 맞춰 유연하게 구부러지는 필터를 사용합니다. 마치 유리를 잡을 때 손가락이 유리 모양에 맞춰 휘어지듯이 말이죠.
• DySample: 픽셀을 늘릴 때 단순히 평균을 내는 게 아니라, 텍스처가 풍부한 부분 (경계) 에는 더 많은 점을 찍어 세부 정보를 보존합니다.
  이 두 가지가 합쳐져서, 물체의 경계가 흐릿해도 AI 가 그 위치를 정확하게 따라가도록 도와줍니다.

---

3. 결과: "기존 기술보다 훨씬 똑똑해졌다!"

저자들은 이 기술을 Trans10K와 GVD라는 두 가지 데이터셋 (유리잔, 실험기구, 유리창 등이 담긴 사진 모음) 으로 테스트했습니다.

• 성적: 기존에 가장 잘하던 기술들 (YOLO11, Mask R-CNN 등) 보다 정확도가 압도적으로 높았습니다. 특히 경계를 그리는 정확도 (마스크 정확도) 가 크게 향상되었습니다.
• 속도: 정확도는 높였지만, 계산 속도는 여전히 빠릅니다. 로봇이 실시간으로 유리를 잡거나 공장에서 불량품을 골라낼 때 바로 적용할 수 있을 만큼 빠릅니다.
• 데이터 기여: 연구팀은 기존에 없던 **투명 물체용 정밀 데이터 (Instance-level annotations)**를 직접 만들어 공개했습니다. 이는 마치 투명 물체를 가르치는 새로운 교과서를 만든 것과 같습니다.

4. 결론: 왜 이것이 중요한가?

이 연구는 **"투명한 물체도 이제 AI 가 완벽하게 볼 수 있다"**는 것을 증명했습니다.

• 로봇 팔이 실험실의 유리병을 안전하게 잡을 수 있게 되고,
• 자율 주행 자동차가 앞차의 유리창이나 도로의 유리 조각을 인식해 사고를 예방할 수 있게 됩니다.

간단히 말해, 투명한 물체의 '보이지 않는 경계'를 AI 가 '보이는 경계'로 바꾸어주는 혁신적인 기술이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

투명 물체 (유리창, 실험실 용기, 컵 등) 의 인스턴스 분할 (Instance Segmentation) 은 컴퓨터 비전 분야에서 다음과 같은 고유한 물리적 특성으로 인해 큰 어려움을 겪고 있습니다.

• 경계 흐림 (Boundary Blur): 복잡한 빛의 굴절로 인해 물체와 배경의 경계가 모호하게 섞입니다.
• 낮은 대비 (Low Contrast): 투명한 물체는 배경에 의존하여 외관이 결정되므로 명확한 질감이나 색상 특징이 부족합니다.
• 기존 방법의 한계: 기존 인스턴스 분할 모델들은 강한 외관 특징 (appearance cues) 과 명확한 경계에 의존하는 경향이 있어, 투명 물체에서는 성능이 급격히 저하됩니다. 또한, 기존 투명 물체 데이터셋은 시맨틱 분할 위주이거나 인스턴스 레이블이 부족하여 학습 데이터의 격차가 존재했습니다.

2. 제안된 방법론 (Methodology: SEP-YOLO)

저자들은 YOLO11 아키텍처를 기반으로 한 SEP-YOLO 프레임워크를 제안하며, 투명 물체의 경계 흐림과 낮은 대비 문제를 해결하기 위해 주파수 영역 (Frequency Domain) 과 공간 영역 (Spatial Domain) 을 협력적으로 활용하는 이중 도메인 메커니즘을 도입했습니다.

핵심 구성 요소:

1. 주파수 영역 세부 정보 강화 모듈 (FDDEM, Frequency Domain Detail Enhancement Module):

   • 목적: 투명 물체의 경계는 고주파 성분으로 나타나지만 신호 대 잡음비 (SNR) 가 매우 낮아 공간 영역의 합성곱 과정에서 쉽게 소실됩니다.
   • 작동 원리: 입력 특징을 FFT(Fast Fourier Transform) 를 통해 주파수 영역으로 변환한 후, 학습 가능한 복소수 가중치 (Learnable Complex Weights) 를 사용하여 경계와 관련된 약한 고주파 성분을 선택적으로 증폭합니다.
   • 효과: 공간 영역의 컨텍스트 정보와 주파수 영역의 경계 세부 정보를 결합하여, 기존에 희미했던 경계 정보를 명확하게 복원합니다.

2. 다중 스케일 게이트 정제 블록 (MS-GRB, Multi-Scale Gated Refinement Block):

   • 목적: 다운샘플링과 집계 과정에서 발생하는 경계 정보의 희석과 위치 불확실성을 해결합니다.
   • 작동 원리: 다중 스케일 컨볼루션 게이트 선형 유닛 (Multi-scale CGLU) 을 기반으로 하며, MSDWConv 를 통해 효율적인 컨텍스트를 추출합니다. 게이트 메커니즘을 통해 적응적으로 채널 가중치를 조정하고 노이즈를 억제합니다.
   • 효과: 깊은 의미적 특징 (Deep Semantic Features) 에서도 정밀한 위치 파악과 경계 강화가 가능하도록 합니다.

3. 콘텐츠 인식 정렬 넥 (CA2-Neck, Content-Aware Alignment Neck):

   • 목적: 투명 물체의 경계 흐림과 불안정한 공간 위치로 인한 피라미드 구조 내 특징 정렬 오류를 해결합니다.
   • 다운샘플링 경로: 표준 스트라이드 합성곱 대신 선형 변형 가능 합성곱 (LDConv) 을 사용하여, 학습 가능한 오프셋을 통해 샘플링 위치를 동적으로 조정하고 공간 세부 정보를 보존합니다.
   • 업샘플링 경로: DySample을 도입하여 픽셀 값의 단순 평균화 대신 콘텐츠 기반의 동적 샘플링을 수행함으로써 경계 아티팩트를 방지하고 정밀한 정렬을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 주파수 영역의 세부 정보 강화와 공간 영역의 다중 스케일 정렬을 통합하여 투명 물체 인스턴스 분할의 SOTA 성능을 달성한 SEP-YOLO를 개발했습니다.
2. 데이터셋 개선: 기존 투명 물체 데이터셋인 Trans10K에 고화질의 인스턴스 레벨 (Instance-level) 주석을 추가하여, 투명 물체 인스턴스 분할을 위한 중요한 데이터 격차를 해소했습니다.
3. 실시간 성능 유지: 높은 정확도를 달성하면서도 경량 아키텍처를 유지하여 실시간 추론 속도를 보장했습니다.

4. 실험 결과 (Results)

• 데이터셋: Trans10K(일상 생활 장면) 와 GVD(실험실 환경) 데이터셋에서 평가 수행.
• 성능 비교: YOLO11, Mask-RCNN, Solov2, TrInSeg 등 8 가지 최신 방법론과 비교하여 모든 지표에서 SOTA(State-of-the-Art) 성능을 기록했습니다.
  • Trans10K: Box mAP50 에서 0.852 (2 위 모델 대비 +3.6%), Mask mAP50 에서 0.851 (2 위 모델 대비 +3.8%) 을 기록했습니다.
  • GVD: 모든 메트릭에서 일관된 개선을 보였습니다.
• 효율성: YOLO11 대비 파라미터가 0.23M 만 증가하여, 높은 정확도와 낮은 복잡도 사이의 균형을 잘 유지했습니다. FPS 는 88 을 기록하여 실시간 적용이 가능합니다.
• 애블레이션 연구: FDDEM, MS-GRB, CA2-Neck 각 모듈이 투명 물체 분할 성능에 기여함을 입증했습니다. 특히 FDDEM 추가 시 경계 인식 능력이 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 투명 물체 분할의 근본적인 문제인 '경계 흐림'과 '낮은 대비'를 주파수 영역 분석을 통해 해결한 최초의 YOLO 기반 접근법 중 하나입니다.

• 산업적 적용 가능성: 로봇 매니퓰레이션 (그리핑), 자율 주행, 산업용 결함 검사 등 투명 물체 처리가 필요한 분야에서 실시간으로 높은 정확도를 요구하는 응용에 직접적으로 활용 가능합니다.
• 데이터 생태계 기여: Trans10K 에 인스턴스 주석을 추가함으로써 향후 관련 연구의 기준 (Benchmark) 을 마련하고 데이터 부족 문제를 해결했습니다.

결론적으로 SEP-YOLO 는 투명 물체의 물리적 특성을 고려한 혁신적인 아키텍처 설계를 통해 기존 모델의 한계를 극복하고, 산업 및 로봇 공학 분야에서 실용적인 솔루션을 제시했다는 점에서 의의가 큽니다.