기술 요약: STEAM (Squeeze and Transform Enhanced Attention Module)

문제 제기

합성곱 신경망 (CNN) 은 컴퓨터 비전 분야를 발전시켰지만, 지역적 합성곱 연산으로 인해 큰 수용 영역 (receptive field) 을 포착하는 데 한계가 있어 계산 및 최적화 과제를 초래합니다. 채널 어텐션 (예: SE, ECA, GCT) 과 공간 어텐션 (예: CBAM, NLNets) 과 같은 어텐션 메커니즘이 이러한 의존성을 해결하기 위해 도입되었지만, 종종 다음과 같은 트레이드오프를 겪습니다:

• 높은 계산 비용: SE 및 CBAM 과 같은 방법은 완전 연결 계층이나 큰 커널을 통한 차원 축소를 활용하여 파라미터와 GFLOPs 를 크게 증가시킵니다.
• 불완전한 모델링: 많은 효율적인 접근법은 채널 어텐션 (예: ECA, GCT) 에만 집중하거나 중복 없이 공간 컨텍스트를 효과적으로 모델링하지 못합니다.
• 비효율성: 기존 그래프 기반 접근법 또는 비로컬 (non-local) 방법은 과도한 파라미터나 계산 오버헤드를 도입하여 경량 아키텍처에는 적합하지 않습니다.

저자들은 밀집 그래프 연결의 오버헤드 없이 관계 모델링 원리를 활용하여 최소한의 파라미터와 감소된 계산을 통해 채널 및 공간 어텐션을 모두 포괄적으로 모델링하는 모듈의 공백을 확인했습니다.

방법론: STEAM

제안된 STEAM(Squeeze and Transform Enhanced Attention Module) 은 멀티헤드 그래프 트랜스포머에서 영감을 받은 그래프 관계 모델링을 사용하여 채널 상호작용 어텐션 (CIA) 과 공간 상호작용 어텐션 (SIA) 을 통합하는 고정 파라미터 모듈입니다.

1. 채널 상호작용 어텐션 (CIA)

차원 축소 (SE 와 같이) 또는 계산 비용이 많이 드는 밀집 상관 행렬을 사용하는 대신, 저자들은 채널을 순환 그래프의 노드로 모델링합니다.

• 그래프 구성: 각 채널은 특징 벡터로 공간 맵을 가진 노드로 간주됩니다. 그래프는 각 채널 노드를 순환 방식으로 즉각적인 1 홉 이웃에 연결하여 구성됩니다 (첫 번째 채널은 마지막 채널에 연결됨).
• 메커니즘: 이 모듈은 그래프 어텐션 네트워크 (Graph Attention Networks) 와 유사한 멀티헤드 스케일된 점곱 어텐션을 사용하여 인접 채널 간의 관계를 모델링합니다.
• 효율성: 이 접근법은 이웃 크기를 고정된 작은 차수 (특히 차분 실험에서 차수 2 가 최적임이 확인됨) 로 제한함으로써 깊은 GNN 의 "과소평활화 (oversmoothing)" 문제와 밀집 그래프의 계산 비용을 회피합니다.

2. 공간 상호작용 어텐션 (SIA) 및 출력 유도 풀링 (OGP)

공간 의존성을 효율적으로 모델링하기 위해, 저자들은 출력 유도 풀링 (OGP) 과 정제된 공간 그래프를 도입합니다.

• OGP: 전통적인 공간 어텐션은 종종 고해상도 특징 맵 ($H \times W$) 에서 작동하여 초기 레이어에서 계산 비용이 많이 듭니다. OGP 는 채널 차원을 따라 전역 평균 풀링 (GAP) 을 사용하여 중간 특징 맵을 고정 크기의 공간 맵 (예: $7 \times 7$) 으로 변환합니다. 이는 레이어 간 일관성을 보장하여 깊은 레이어에서는 픽셀 단위의 세부 정보를 포착하고 초기 레이어에서는 고수준 적응형 정보를 포착합니다.
• 그래프 구성: 고정 크기 맵은 각 노드 (픽셀) 가 인접한 이웃에 연결되는 그리드 그래프를 형성합니다.
• 엣지 드롭 (Edge Drop): 노드가 균일한 차수 4 를 갖는 중앙 부분 행렬에서의 과소평활화를 방지하기 위해, 저자들은 훈련 중에 무작위 엣지 드롭 기법을 도입하여 경험적으로 성능을 향상시켰습니다.
• 메커니즘: CIA 와 유사하게, 멀티헤드 그래프 어텐션을 공간 노드에 적용하여 공간 점수를 생성한 후 원래 특징 맵 차원과 일치하도록 업샘플링합니다.

3. 통합 및 아키텍처

• 순차적 배열: 차분 실험은 CIA 다음에 SIA 를 배치하는 순차적 배열 ("ca-sa") 이 병렬 또는 역순 배열보다 약간 더 나은 결과를 산출한다고 나타냅니다.
• 적응형 배치: STEAM 유닛은 단계별 블록 수 ($\lceil N_{bs}/4 \rceil$) 에 기반한 적응형 전략을 사용하여 백본 네트워크 (예: ResNet, ShuffleNet-V2) 에 통합됩니다. 유닛은 단계의 끝에 배치되거나 여러 유닛이 필요한 경우 고르게 분배됩니다.
• 파라미터 독립성: STEAM 의 파라미터 수는 백본의 채널 수 ($C$) 나 공간 차원 ($H, W$) 에 독립적이며 고정된 숨겨진 차원 $d$에만 의존합니다.

주요 기여

1. 그래프 기반 이중 어텐션: 이 논문은 멀티헤드 그래프 트랜스포머의 개념을 활용하여 채널 및 공간 어텐션을 동시에 모델링하는 최초의 그래프 기반 접근법을 제안합니다.
2. 고정 파라미터 효율성: STEAM 은 백본의 채널 차원성과 관계없이 고정된 수의 파라미터를 가진 모듈을 도입하여 성능과 계산 효율성 사이의 균형을 맞춥니다.
3. 출력 유도 풀링 (OGP): 초기 레이어에서 전체 해상도 맵을 처리하는 계산적 부담 없이 효과적인 공간 어텐션 모델링을 가능하게 하는 공간 컨텍스트를 효율적으로 포착하는 새로운 풀링 전략이 도입되었습니다.
4. 포괄적 평가: 이 방법은 대규모 이미지 분류 (ImageNet), 객체 감지, 인스턴스 분할 (MS COCO) 작업 전반에 걸쳐 검증되었습니다.

실험 결과

저자들은 표준 벤치마크에서 SE, CBAM, ECA, GCT, MCA 와 같은 최첨단 (SOTA) 모듈에 대해 STEAM 을 평가했습니다.

• 이미지 분류 (ImageNet-1K):

  • ResNet-50: STEAM 은 표준 ResNet-50 대비 Top-1 정확도를 2% 향상시켰습니다. MCA 및 GCT 와 같은 선도적인 모듈을 능가하면서 320 개의 파라미터와 3.57e-3 GFLOPs만 추가했습니다.
  • 효율성: ECA 및 GCT 와 비교하여 STEAM 은 GFLOPs 를 3 배 줄이면서 더 높은 정확도를 달성했습니다.
  • 경량 모델: ShuffleNet-V2 에서 STEAM 은 모든 대응 모듈을 능가하여 최소한의 계산 오버헤드로 두 번째로 좋은 모듈 (GCT) 대비 0.27% 의 향상을 달성했습니다.

• 객체 감지 및 인스턴스 분할 (MS COCO):

  • Faster R-CNN, Mask R-CNN, RetinaNet 을 ResNet-50 및 ResNet-101 백본과 함께 사용하여 STEAM 은 일관되게 SOTA 모듈을 능가했습니다.
  • 예를 들어, Faster R-CNN 과 ResNet-50 을 사용할 때 STEAM 은 베이스라인 대비 AP 를 1.9% 향상시켰으며 GCT 대비 0.3% 향상시켰습니다.
  • 인스턴스 분할 (Mask R-CNN) 에서 STEAM 은 베이스라인 및 기타 어텐션 모듈을 능가하여 강력한 일반화 능력을 입증했습니다.

중요성 및 주장

이 논문은 STEAM 이 효율적인 어텐션 모델링에서 중요한 진전을 나타낸다고 주장합니다. 그래프 관계 모델링을 활용함으로써 SE 나 CBAM 과 같은 전통적인 방법과 관련된 파라미터 폭발 없이 채널 및 공간 의존성을 성공적으로 포착합니다.

저자들은 STEAM 이 다음과 같다고 강조합니다:

• 계산적으로 효율적: GFLOPs 와 파라미터의 무시할 만한 증가로 뛰어난 정확도를 달성합니다.
• 다용도성: 무거운 ResNet 에서 경량 ShuffleNet 까지 다양한 아키텍처와 원활하게 통합됩니다.
• 혁신적: 어텐션 메커니즘에서 차원 축소 및 지역 합성곱의 한계를 넘어선 최초의 결합 채널 및 공간 어텐션을 위한 그래프 기반 접근법을 제안합니다.

이 연구는 STEAM 이 정확도와 계산 비용 간의 트레이드오프 측면에서 어텐션 모듈의 새로운 기준을 설정하는 강화된 딥 CNN 을 위한 견고하고 파라미터 효율적인 솔루션을 제공한다고 결론지었습니다. 저자가 제안한 향후 작업에는 공간 어텐션에 위치 인코딩을 통합하고 엣지 모델링을 통해 상관관계 그래프 학습을 강화하는 것이 포함됩니다.