LightAVSeg: Lightweight Audio-Visual Segmentation

LightAVSeg: 경량 오디오-비전 분할의 기술적 요약

문제 제기
오디오-비전 분할 (AVS) 은 비디오 시퀀스 내에서 소리를 내는 객체를 픽셀 단위로 국소화하는 것을 목표로 합니다. 최첨단 (SOTA) 방법들은 밀집된 Transformer 기반 어텐션을 통해 교차 모달 의존성을 모델링하여 높은 정확도를 달성하지만, prohibitive 한 계산 비용을 수반합니다. 이러한 모델들은 일반적으로 공간 해상도에 비례하여 스케일링되는 $N$에 대해 이차 복잡도 ($O(N^2)$) 상호작용 모듈에 의존합니다. 이로 인해 모바일 폰 및 VR 헤드셋과 같은 리소스가 제한된 엣지 장치에는 적합하지 않으며, 비디오 편집 및 증강 현실과 같은 애플리케이션을 위해 장치 내 효율적인 추론이 요구됩니다. 기존 효율성 지향 접근법들은 종종 상호작용 모듈을 주요 병목 현상으로 간과한 채 시각 백본 축소에만 집중합니다.

방법론
본 논문은 밀집된 어텐션을 선형 복잡도 연산으로 대체하기 위해 의미론적 필터링과 공간적 그라운딩을 분리하도록 설계된 경량 프레임워크인 LightAVSeg를 제안합니다. 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

1. 상호적 오디오-비전 인코더:
   정적 융합 대신, 이 모듈은 전역 오디오 상태를 정제하기 위해 계층적 양방향 업데이트를 수행합니다.

   • 의미론적 필터링 (무엇): 시각적 맥락을 사용하여 전역 오디오 상태 ($A_i$) 를 반복적으로 정제합니다. 시각적 특징 ($V_i$) 을 $1\times1$ 기술자로 공간적 최대 풀링함으로써 위치 정보를 폐기하고 순수한 의미론적 선택에 집중합니다. 이 전역 오디오 토큰은 시각적 기술자에 기반한 게이트된 재가중치 ($\sigma_h$) 를 통해 업데이트되어, 보이지 않는 객체에 해당하는 오디오 채널을 억제합니다.
   • 복잡도: 이 설계는 밀집된 토큰 간 친화도 행렬을 피하여 공간 토큰에 대해 엄격한 선형 복잡도 ($O(N)$) 를 달성합니다.
   • 오디오 유도 시각적 향상: 정제된 전역 오디오 상태는 시각적 특징의 공간 해상도로 브로드캐스트되어 잔여 합산을 통해 융합됩니다. 이는 공간적 노이즈나 무거운 프로젝션 레이어를 도입하지 않고 채널별 편향으로서 전역 의미론적 단서를 주입합니다.

2. 교차 모달 융합 디코더:
   이 모듈은 오디오가 강화된 시각적 특징을 점진적으로 업샘플링하여 최종 분할 마스크를 생성합니다.

   • 시각적 업샘플링과 병렬로 순환 오디오 상태 경로를 유지합니다. 오디오 상태는 이전 디코더 상태와 현재 인코더 상태를 연결한 후 전역 시각적 기술자로 재가중치하여 업데이트됩니다.
   • 업데이트된 오디오 상태는 경량 브로드캐스트 잔여를 통해 시각적 경로에 주입되어 시간적 일관성을 보장하고, 해상도 복구 중 디코더가 소리 나는 객체에 집중하도록 유도합니다.

3. 멀티스케일 오디오-비전 정렬 손실 ($L_{msa}$):
   경량 모델이 가짜 교차 모달 상관관계를 학습할 위험을 완화하기 위해 보조 손실이 도입됩니다.

   • 이 손실은 전역 오디오 단서와 유효한 시각적 영역 간의 명시적 픽셀 단위 정렬을 여러 스케일에서 강제합니다.
   • 정규화된 시각적 특징과 전역 오디오 임베딩 간의 공간 코사인 유사도 맵을 계산하고, 온도 매개변수로 날카롭게 만든 후 이진 교차 엔트로피 (BCE) 를 사용하여 이진 전경 마스크에 대해 감독합니다.
   • 핵심적으로, 이 브랜치는 추론 중 폐기되어 추가 오버헤드가 전혀 발생하지 않습니다.

주요 기여

1. 분리된 상호작용 설계: 본 논문은 의미론적 필터링 (상호적 오디오-비전 인코더가 처리) 과 공간적 그라운딩 (교차 모달 융합 디코더가 처리) 을 분리하는 프레임워크를 소개합니다. 이는 이차 어텐션을 계층적 채널별 변조로 대체하여 효과적인 오디오 유도를 유지하면서 선형 복잡도 ($O(N)$) 를 달성합니다.
2. 보조 정렬 손실: 저자들은 추론 비용을 증가시키지 않으면서 디코더가 "어디"를 분할할지 결정하도록 유도하기 위해 훈련 중 의미론적 일관성을 강제하는 멀티스케일 오디오-비전 정렬 손실 ($L_{msa}$) 을 제안합니다.
3. 모바일 최적화 성능: 이 프레임워크는 경량 백본 (비전을 위한 SeaFormer, 오디오를 위한 MobileNetV2) 과 효율적인 상호작용 메커니즘을 활용하여 모바일 배포에 명시적으로 맞춤화되었습니다.

실험 결과
지연 시간 측정을 위해 Snapdragon 8 Elite 모바일 CPU 를 사용하여 AVS 벤치마크 (S4, MS3, AVSS) 에서 광범위한 실험이 수행되었습니다.

• 정확도 - 효율성 트레이드오프: LightAVSeg 는 경량 방법들 사이에서 새로운 최첨단 성능을 달성합니다. MS3 벤치마크에서 50.4 mIoU를 달성하며, 이는 무거운 AVSegFormer-R50 의 약 1/7 인 20.5M 파라미터만을 사용합니다.
• 지연 시간: 이 모델은 모바일 CPU 에서 163.4 ms의 추론 지연 시간을 달성하여, AVSegFormer-R50(프레임당 1.2 초 이상 소요) 대비 약 8 배의 속도 향상을 보입니다.
• 비교: LightAVSeg 는 다른 경량 베이스라인 (예: AVSBench-SeaFormer-L) 보다 우수한 성능을 발휘하며, 실시간 성능을 유지하면서 무거운 ResNet-50 기반 대응 모델들과 정확도 면에서 경쟁합니다.
• 애블레이션 연구: 실험은 상호적 인코더 (특히 계층적 오디오 정제) 와 $L_{msa}$ 손실이 성능에 결정적임을 확인했습니다. 제안된 선형 상호작용은 단순 백본 교체보다 모바일 배포에 더 효과적인 것으로 나타났습니다.

의의 및 주장
본 논문은 LightAVSeg 가 고성능 연구 모델과 실용적인 모바일 배포 사이의 간극을 해소한다고 주장합니다. 상호작용 모듈 병목 현상을 직접 해결함으로써, 저자들은 무거운 어텐션 메커니즘에 의존하지 않고도 효율적인 교차 모달 융합이 가능함을 입증합니다. 이 연구는 컴팩트한 모델이 AVS 벤치마크에서 최첨단 성능을 달성하면서도 계산적 제약으로 인해 이전에 제한되었던 상호작용형 장치 내 애플리케이션을 가능하게 함을 확립합니다. 저자들은 이를 엣지 장치에서 AVS 를 실현 가능하게 만드는 한 걸음으로 위치시키지만, 장치 내 비디오 편집 및 증강 현실이라는 일반적인 맥락 이상의 구체적인 미래 애플리케이션에 대해서는 추측하지 않습니다.