Shallow Deep Learning Can Still Excel in Fine-Grained Few-Shot Learning

기술 요약: 얕은 딥러닝은 여전히 세밀한 퓨샷 학습에서 뛰어난 성능을 발휘할 수 있음

문제 제기
세밀한 퓨샷 학습 (FGFSL) 은 데이터의 부족과 클래스 간의 높은 유사성으로 인해 상당한 도전을 제시하며, 모델이 미묘하고 변별력 있는 특징을 추출해야 합니다. 딥러닝은 ResNet-12 와 같은 깊은 백본에 크게 의존하여 이 분야의 표준이 되었지만, 이러한 아키텍처는 추상적인 특징을 추출할 수 있기 때문에 선호됩니다. 반면, ConvNet-4 와 같은 얕은 딥 백본은 종종 간과됩니다. 지배적인 가정은 얕은 네트워크가 과도한 비추상적 시각적 속성을 추출하기 쉽고 퓨샷 인스턴스를 효과적으로 인코딩할 능력이 부족하다는 것입니다. furthermore, 기존 방법들은 얕은 백본과 고급 메커니즘 (예: ConstellationNet) 을 결합하려 시도하지만, 특징 추출 및 클러스터링 과정에서 위치 정보 손실을 적절히 해결하지 못해 세밀한 작업에서 최적이지 않은 성능을 보입니다.

방법론
저자들은 ConvNet-4 아키텍처를 기반으로 구축된 얕은 딥 메타학습 패러다임인 LCN-4 (위치 인식 군집 네트워크) 를 제안합니다. 핵심 혁신은 얕은 네트워크가 공간 및 구조 정보를 포착하는 데 있는 한계를 보완하도록 설계된 위치 인식 특징 클러스터링 모듈 (LAFCM) 에 있습니다.

방법론은 세 가지 주요 기술 구성 요소를 통합합니다:

1. 비순차 특징 보상 (NFC): 표준 합성곱이 픽셀 위치 특징을 포착하는 데 있는 한계를 해결하기 위해, 저자들은 일반적인 그리드 위치 인코딩 보상을 도입합니다. 이는 축 간격 값 ($x_{pe}, y_{pe}$) 을 생성하여 특징 맵과 연결하여 초기 그리드 좌표계를 만드는 과정을 포함합니다. 이를 통해 네트워크는 표준 합성곱 특징 추출에서 종종 손실되는 전역 구조 및 픽셀 위치 정보를 정확하게 통합할 수 있습니다.
2. 주파수 거리 보상 (FDC): 클러스터링 단계에서 위치 인코딩을 강화하기 위해, 저자들은 일반적인 주파수 영역 위치 임베딩 기법을 제안합니다. 다양한 주파수의 푸리에 기저 함수를 활용함으로써, 이 방법은 다양한 스케일과 해상도에 걸친 정보를 포착합니다. 이 접근법은 인스턴스 내의 다양한 공간 주파수를 강조하여 지역 표현 및 텍스처 해상도의 정제를 돕습니다.
3. 위치 인식 특징 클러스터링: LAFCM 은 ConstellationNet 의 표준 클러스터링을 대체합니다. 이는 공간 특징 융합, 특징 클러스터링, 그리고 잠재적 특징 위치를 통합합니다. 이 모듈은 합성곱, NFC 와 FDC 메커니즘을 포함하는 LAFCM, 그리고 교차 주의 위치 임베딩 블록을 포함하는 특정 파이프라인을 통해 특징을 처리합니다.

학습 전략은 이중 분기 접근법을 사용합니다:

• 분기 1: 베이스 데이터셋에서 비시나리오 (표준) 학습을 사용하여 훈련합니다.
• 분기 2: 시나리오 기반 (에피소드) 메타학습을 사용하여 훈련합니다.
  최종 예측은 로짓 -1, 로짓 -2, 특징 -1, 특징 -2 의 네 가지 분기에 걸쳐 특징 유사성 ($Z$) 을 종합적으로 평가하여 가중 합산으로 도출되며, 코사인 지표가 기본 유사성 측정치로 사용됩니다.

주요 기여
이 논문은 다섯 가지 주요 기여를 제시합니다:

1. LCN-4 의 도입: 대부분의 딥 메타학습 최첨단 (SoTA) 알고리즘을 능가할 수 있는 최초의 얕은 딥 메타학습 패러다임.
2. 플러그 앤 플레이 LAFCM: 이전의 ConstellationNet 과 같은 작업에서 군집 모듈의 단점을 크게 해결하는 새로운 모듈.
3. 그리드 위치 인코딩 보상: 일반 합성곱으로 추출된 특징 맵에서 누락된 위치 정보를 효과적으로 해결하는 일반적인 방법.
4. 주파수 영역 위치 임베딩: 클러스터링 특징에 대한 위치 보상을 위한 일반적인 기법으로, 주의 메커니즘에 효과적인 입력을 제공합니다.
5. 얕은 학습의 검증: 적절한 위치 보상이 통합될 때 얕은 딥러닝이 FGFSL 에서 뛰어난 성능을 발휘할 수 있음을 입증하여, 세밀한 퓨샷 이미지 인식을 위한 중요한 해결책을 제시합니다.

실험 결과
저자들은 LCN-4 를 CUB-200-2011, Aircraft-Fewshot, VGG-Flowers라는 세 가지 대표적인 세밀한 퓨샷 벤치마크에서 검증했습니다.

• ConvNet-4 베이스라인 대비 성능: LCN-4 는 기존 ConvNet-4 기반 방법을 현저히 능가합니다. CUB-200-2011 (5-way-1-shot) 에서 **84.43%**의 정확도를 달성하여 이전 최고의 ConvNet-4 방법 (LCCRN) 보다 8.21%, ConstellationNet 보다 2.74% 더 높은 성능을 보였습니다.
• 깊은 백본 대비 성능: LCN-4 는 대부분의 ResNet-12 기반 방법과 동등하거나 더 나은 성능을 달성합니다. 예를 들어, Aircraft-Fewshot 데이터셋 (5-way-1-shot) 에서 LCN-4 는 **86.00%**에 도달하여 VFD, RENet, DeepBDC 와 같은 여러 ResNet-12 기반 아키텍처를 능가했습니다.
• 어블레이션 연구: 실험은 NFC 와 FDC 가 모두 중요한 구성 요소이며, 이를 함께 사용할 때 가장 안정적이고 최적의 결과가 도출됨을 확인했습니다. 네트워크 구조에 대한 추가 분석은 Stem 블록보다 Constellation 블록이 더 큰 영향을 미치며, 첫 번째 Constellation 블록이 두 번째 블록보다 더 큰 영향을 준다는 것을 나타냈습니다.
• 일반화: 이 모델은 다양한 샷 설정 (1, 3, 5, 7 샷) 과 웨이 설정 (5-way, 6-way) 에서 강력한 일반화를 보여주며, 일관되게 베이스라인 ConstellationNet 을 능가합니다.
• 시각화: Aircraft-Fewshot 데이터셋에 대한 t-SNE 시각화는 LCN-4 가 ConstellationNet 에 비해 더 강력한 집계 및 인식 능력을 보이며, 오분류율이 낮음을 보여줍니다.

의의 및 주장
이 논문은 고성능 FGFSL 에 위해 깊은 백본이 엄격하게 필요하다는 관념에 도전한다고 주장합니다. 네트워크 깊이와 퓨샷 인스턴스를 인코딩하는 능력 사이의 관계를 재평가함으로써, 저자들은 얕은 네트워크의 인식된 열등성이 주로 위치 및 공간 정보의 손실로 인한 것임을 보여줍니다. 위치 인식 메커니즘 (NFC 및 FDC) 의 혁신적인 통합을 통해 LCN-4 는 얕은 딥러닝이 놀라운 성능을 달성할 수 있으며, 더 깊은 아키텍처와 효과적으로 경쟁하고 종종 능가할 수 있음을 입증합니다. 이 연구는 올바른 아키텍처 보상이 있다면, 얕은 네트워크의 효율성과 단순성이 복잡한 세밀한 작업을 위해 완전히 활용될 수 있음을 시사합니다.