기술 요약: 다중 스케일 텐서 합산 및 차원 축소 유도 신경망을 이용한 에지 검출

1. 문제 제기

에지 검출은 이미지 분할, 향상, 지능형 교통 시스템과 같은 하위 응용 분야에 필수적인 저수준 컴퓨터 비전 작업입니다. 딥러닝을 통한 상당한 진전이 있었음에도 불구하고, 기존 방법들은 세 가지 주요 과제를 직면하고 있습니다:

1. 효율성 대 품질의 트레이드오프: 고품질 결과를 달성하려면 종종 큰 수용 영역을 가진 깊고 복잡한 네트워크가 필요하여 높은 계산 비용과 중복 파라미터를 초래합니다.
2. 후처리 의존성: 최첨단 (SOTA) 방법들은 결과의 선명도를 보장하기 위해 비최대 억제 (NMS) 또는 형태학적 기법에 자주 의존하며, 이는 추론 파이프라인의 복잡성을 추가합니다.
3. 전이 학습 의존성: 현재 최상위 성능을 보이는 모델들은 BSDS500 과 같은 까다로운 데이터셋을 효과적으로 처리하기 위해 사전 학습이나 전이 학습에 의존하는 경우가 많습니다.
4. 데이터 특성: 벤치마크 데이터셋은 (여러 주석으로 인한) 라벨 불확실성과 클래스 불균형 (에지 대 비에지) 으로 고통받으며, 이는 노이즈와 중복에 대한 강력한 처리를 요구합니다.

2. 방법론: MTS-DR-Net

저자들은 필요한 특징을 직접 추출하는 대신 먼저 중복 정보를 제거함으로써 에지 특징을 효율적으로 추출하도록 설계된 새로운 아키텍처인 MTS-DR-Net을 제안합니다. 이 네트워크는 MTS-DR 백본과 정제 네트워크라는 두 가지 주요 구성 요소로 구성됩니다.

2.1. MTS-DR 백본

백본은 중복 특징을 폐기하면서 "필요한 부분 공간"(관련 에지 정보) 을 식별하고 유지하도록 설계되었습니다.

• 다중 스케일 텐서 합산 (MTS) 계층: Tucker 분해와 일반화된 텐서 합산에서 영감을 받아 MTS 계층은 복잡한 CNN 또는 Transformer 블록을 대체합니다. 이는 초기 레이어에서 큰 수용 영역을 달성하기 위해 다양한 창 크기 (예: 8, 16, 32, 64) 의 패치별 특징 맵에서 작동합니다. 이는 텐서 합산을 통해 학습 가능한 선형 매핑을 수행합니다:
  $$MTS(X) = \sum_{sc=1}^{SC} f^{-1}_{w_{sc}} \left( \sum_{t=1}^{T} f_{w_{sc}}(X) \times_1 A^{(t,sc)}_1 \times_2 \dots \times_J A^{(t,sc)}_J \right)$$
• 멀티헤드 게이트 (MHG) 계층: 전통적인 활성화 함수 (ReLU 등) 없이 비선형성을 도입하기 위해 MHG 계층은 게이트 연산을 사용합니다. 이는 특징 맵을 헤드로 분할하여 $1\times1$ 및 $3\times3$ 합성곱을 통해 학습된 선형 매핑 ($g_1, g_2$) 을 적용한 후 요소별 곱셈을 수행합니다. 이는 신호 공간의 곡률을 근사화합니다.
• 차원 축소 메커니즘: MTS-DR 블록은 MTS 계층 (차원 축소), MHG 계층 (비선형성), 두 번째 MTS 계층 (차원 복원) 을 순차적으로 적용합니다. 백본의 최종 출력은 원래 입력에서 시그모이드 게이트된 입력을 뺀 것으로 생성된 특징 맵 $\tilde{X}$입니다:
  $$\tilde{X} = X - \text{Sigmoid}(X) \otimes X$$
  이 연산은 중복 특징을 효과적으로 억제하고 불연속성을 강조합니다.

2.2. 정제 네트워크

백본 출력은 경량의 U 자형 정제 네트워크로 입력됩니다.

• 아키텍처: 세 가지 스케일을 가진 인코더 - 디코더 구조를 사용합니다. 인코더는 특징을 다운샘플링하고, 디코더는 특징을 업샘플링합니다.
• 사이드 퓨전: 세 가지 스케일의 특징은 각 스케일에서 학습 능력을 향상시키기 위해 네 명의 전문가를 가진 조건부 합성곱 (CondConv) 계층을 사용하여 융합됩니다.
• 출력: 네트워크는 $1\times1$ 합성곱과 시그모이드 활성화 함수를 통해 세 개의 사이드 출력과 최종 융합 에지 맵을 생성하며, 0 에서 1 사이의 확률 맵을 생성합니다.

2.3. 손실 함수

라벨 불확실성과 클래스 불균형을 해결하기 위해 모델은 가중 이진 교차 엔트로피 (WBCE) 손실을 사용합니다.

• 가중치 $\alpha$와 $\beta$를 사용하여 양 (에지) 과 음 (비에지) 픽셀을 균형 있게 맞춥니다.
• 불확실성을 완화하기 위해 임계값 $\eta$를 도입하여 모호한 라벨을 가진 픽셀을 무시합니다.
• 총 손실은 세 개의 사이드 출력과 최종 융합 출력의 WBCE 를 합산한 것입니다.

3. 주요 기여

1. 선구적인 텐서 합산: 이 작업은 복잡한 심층 구조를 위한 컴팩트한 대체재로 에지 검출 작업에 특화된 텐서 합산 전략을 최초로 활용합니다.
2. 중복 제거 우선 접근법: 특징을 직접 추출하는 기존 방법과 달리, 제안된 모델은 차원 축소를 통해 불필요한 특징을 먼저 제거하여 네트워크를 관련 부분 공간에 집중시킵니다.
3. 후처리 없는 효율성: MTS-DR-Net 은 NMS 나 기타 후처리 단계를 요구하지 않으면서 동시에 높은 정밀도와 효율성을 달성합니다.
4. 전이 학습 없는 성능: 이 모델은 전이 학습이나 사전 학습을 사용하지 않더라도 벤치마크 데이터셋에서 이전 SOTA 방법들을 능가합니다.

4. 실험 결과

이 모델은 TEED, PiDiNet, DexiNed, XYW-Net 과 비교하여 BSDS500 및 BIPEDv2 데이터셋에서 평가되었습니다.

• BSDS500: MTS-DR-2 변형은 최적 데이터 스케일 (ODS) 0.744 및 최적 이미지 스케일 (OIS) 0.758(Thin 설정) 을 달성하여 XYW-Net 보다 ODS 에서 1.9% 더 높은 성능을 보였습니다. 경량 MTS-DR-3 변형은 40.9% 적은 파라미터와 56.9% 낮은 GFLOPs로 XYW-Net 과 비교 가능한 성능을 달성했습니다.
• BIPEDv2: 모델은 평균 IOU 0.6038 및 평균 정밀도 0.8689를 달성했습니다. MTS-DR-2 변형은 최고의 ODS(0.903) 및 OIS(0.909) 를 달성했습니다.
• 절대 실험 (Ablation Studies):
  • 확장성: MTS-DR 블록 수 ($M$) 와 채널 수 ($C$) 를 늘리면 성능이 향상되었지만, 더 작은 구성 (MTS-DR-3) 도 여전히 매우 경쟁력 있었습니다.
  • 압축 비율 (CR): 0.4 에 비해 0.2 의 낮은 압축 비율은 계산 복잡성이 감소하면서 ODS/OIS 점수가 약간 더 높았습니다.
• 정성적 분석: 시각적 결과는 MTS-DR 백본이 성공적으로 동질적인 특징을 제거하여 경쟁사보다 더 풍부한 디테일과 적은 노이즈를 가진 에지 맵을 생성함을 나타냅니다.

5. 중요성 및 주장

이 논문은 다중 스케일 텐서 합산을 활용하여 네트워크 초기 단계에서 큰 수용 영역을 달성함으로써 에지 검출 아키텍처에 중대한 전환을 가져왔다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 중복 제거: 필요한 부분 공간을 분리하기 위해 차원 축소에 집중함으로써 관련 없는 특징을 처리하는 계산적 부담을 피합니다.
• 간결성과 견고성: 복잡한 사전 학습 파이프라인이나 후처리 형태학적 연산 없이 SOTA 성능을 달성합니다.
• 효율성: 기존 딥러닝 접근법보다 훨씬 적은 파라미터와 낮은 계산 비용 (GFLOPs) 으로 고품질 에지 검출이 가능함을 입증하여 리소스가 제한된 환경에 적합합니다.

저자들은 다중 스케일 텐서 합산 분해 연산자가 에지 검출 작업에서 복잡한 DNN 구조를 위한 실현 가능하고 효율적인 대체재라고 결론지었습니다.