AV-Unified: A Unified Framework for Audio-visual Scene Understanding

이 논문은 다양한 오디오 - 비주얼 태스크의 입력과 출력을 이산 토큰 시퀀스로 표준화하고, 다중 스케일 시공간 감지 네트워크와 교차 모달 가이드를 통해 단일 아키텍처로 통합 학습하는 'AV-Unified' 프레임워크를 제안하여 복잡한 오디오 - 비주얼 장면 이해를 가능하게 합니다.

핵심

🎧👁️ "AV-Unified": 귀와 눈을 하나로 묶은 '만능 감각 통역사'

이 논문은 우리가 세상을 볼 때와 들을 때, 뇌가 어떻게 소리와 영상을 자연스럽게 연결하는지 모방한 새로운 인공지능 모델인 **'AV-Unified'**를 소개합니다.

기존의 인공지능들은 소리를 분석하는 일, 영상을 자르는 일, 소리가 나는 곳을 찾는 일 등을 각각 따로따로 배웠습니다. 마치 한 사람은 요리만 하고, 다른 사람은 청소만 하고, 또 다른 사람은 운전만 하는 상황과 비슷하죠. 하지만 인간은 이 모든 일을 동시에, 하나의 흐름으로 처리합니다.

이 논문은 **"왜 각각 따로 배우지, 하나로 통합해서 배울 수 없을까?"**라는 질문에서 시작합니다.

---

🌟 핵심 아이디어: "모든 일을 하나의 언어로 번역하자"

1. 문제점: 각자 다른 언어를 쓰는 팀원들

기존 AI 모델들은 각자 다른 일을 할 때 서로 다른 방식 (포맷) 을 사용했습니다.

• 소리가 나는 시간을 찾을 때는 "시작 3 초, 끝 5 초"라고 말합니다.
• 소리가 나는 곳을 찾을 때는 "화면 왼쪽 하단"이라고 말합니다.
• 무엇이 소리를 냈는지를 찾을 때는 "기타"라고 말합니다.

이렇게 각자 다른 언어를 쓰니, 하나의 모델이 모든 일을 동시에 배우기 힘들었습니다. 마치 서로 다른 언어를 쓰는 팀원들이 한 방에 모여서 프로젝트를 진행하는 것처럼 비효율적이었죠.

2. 해결책: "모든 것을 '문장'으로 바꾸는 마법"

AV-Unified 는 이 문제를 해결하기 위해 모든 입력과 출력을 '문장 (시퀀스)'이라는 하나의 공통 언어로 변환했습니다.

• 비유: 마치 모든 직원이 **영어 (Token)**만 할 수 있도록 훈련시킨 것과 같습니다.
  • "소리가 3 초에서 5 초까지 난다" → "소리가 3 초에 시작해서 5 초에 끝났다"라는 문장으로.
  • "왼쪽에서 기타 소리가 난다" → "왼쪽에 기타가 있다"라는 문장으로.
  • "기타가 어디에 있니?" → "기타의 위치는?"이라는 질문으로.

이제 AI 는 **하나의 모델 (하나의 두뇌)**로 모든 일을 처리할 수 있게 되었습니다.

---

🛠️ 어떻게 작동할까요? (3 가지 핵심 도구)

AV-Unified 는 세 가지 특별한 장비를 갖추고 있습니다.

1. 🕰️ 다양한 시간 감각을 잡는 '멀티 스케일 시계' (Temporal Perception)

세상에는 짧은 소리 (박수) 도 있고, 긴 소리 (노래) 도 있습니다.

• 비유: 기존 AI 는 초시계만 들고 있어서 1 초 단위의 짧은 사건은 잘 잡지만, 10 초가 걸리는 긴 사건은 놓치기 일쑤였습니다.
• AV-Unified: 초시계, 시계, 달력을 모두 들고 있습니다. 그래서 1 초짜리 짧은 소리도, 1 분짜리 긴 연주도 모두 정확히 시간의 흐름에 따라 파악합니다.

2. 👁️👂 소리와 영상을 서로 가르쳐 주는 '쌍방향 나침반' (Spatial Perception)

소리가 나는 곳을 찾는 것은 어렵습니다. 소리는 들리지만, 화면에서는 어디인지 알기 힘들기 때문이죠.

• 비유: 기존 모델은 눈만 가린 채 소리를 듣고 "어디서 들렸지?"라고 추측하거나, 귀를 막고 "저기 움직이는 게 소리를 냈나?"라고 추측했습니다.
• AV-Unified: 눈과 귀가 서로 대화합니다.
  • "귀가 들리는 소리가 '기타'라면, 눈은 '기타 모양'을 찾아봐!"
  • "눈이 '기타'를 봤다면, 귀는 '기타 소리'를 집중해서 들어봐!"
  • 이렇게 서로를 도와주며 정확한 위치를 찾아냅니다.

3. 📝 "무엇을 할지" 알려주는 '작업 지시서' (Task Prompt)

하나의 모델이 여러 일을 할 때, 혼란스러울 수 있습니다.

• 비유: 요리사에게 "오늘은 뭐 할 거야? 국 끓일래? 볶음밥 할래?"라고 물으면 당황합니다. 하지만 **"오늘은 볶음밥 해!"**라고 명확히 말해주면 집중합니다.
• AV-Unified: AI 에게 "오늘은 소리가 나는 시간을 찾아줘" 혹은 **"오늘은 소리가 나는 곳을 찾아줘"**라고 **명령어 (프롬프트)**를 입력합니다. AI 는 이 명령을 보고, 필요한 정보만 집중해서 처리합니다.

---

🏆 결과는 어떨까요?

이 모델은 여러 가지 시험 (벤치마크) 에서 뛰어난 성과를 냈습니다.

• 소리가 언제 시작하고 끝나는지 찾는 일 (AVE, LLP)
• 소리가 나는 물체의 위치를 찾는 일 (SSL)
• 소리가 나는 물체의 모양을 그림으로 그리는 일 (AVS)
• 영상에 대한 질문에 답하는 일 (AVQA)

기존에 따로따로 만들었던 모델들보다 더 똑똑하고, 특히 **복잡한 상황 (예: 여러 악기가 동시에 연주할 때)**에서 서로의 정보를 활용해 더 정확한 답을 냈습니다.

---

💡 요약: 왜 이것이 중요한가요?

이 연구는 **"인공지능이 인간처럼 통합적으로 세상을 이해할 수 있는 첫걸음"**입니다.

앞으로 우리는 소리와 영상을 따로 분석하는 AI 가 아니라, **"이 소리가 어디서, 언제, 무엇을 통해 나는지"**를 한 번에 이해하는 만능 감각 통역사를 만나게 될 것입니다. 이는 로봇이 우리와 더 자연스럽게 대화하거나, 시각 장애인을 위한 더 정교한 보조 기기를 만드는 데 큰 도움이 될 것입니다.

한 줄 요약:

"AV-Unified 는 소리와 영상을 각각 따로 배우게 하던 AI 를, 하나의 언어로 모든 일을 동시에 배우는 천재로 만들어주었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 기존의 오디오 - 비주얼 (Audio-Visual) 장면 이해 연구는 이벤트 로컬라이제이션 (AVE), 비디오 파싱 (AVVP), 음원 위치 추정 (SSL), 분할 (AVS), 질문 응답 (AVQA) 등 각 작업을 개별적으로 접근하는 경향이 강했습니다.
• 문제점:
  • 상호 연관성 무시: 인간은 세상을 지각할 때 여러 감각 정보를 통합하여 단일한 이해를 형성하지만, 기존 모델들은 이를 분리된 하위 작업으로만 처리하여 복잡한 장면의 포괄적인 이해와 작업 간 상호작용을 탐구하기 어렵습니다.
  • 입출력 형식의 불일치: 각 작업마다 입력 (이미지, 오디오, 텍스트, 마스크 등) 과 출력 형식이 상이하여 단일 아키텍처로 통합 학습하는 데 어려움이 있습니다.
  • 스케일 및 지도 신호 부족: 오디오 - 비주얼 이벤트는 시간적 규모 (다양한 지속 시간) 가 다르고, 공간적 위치 (소리와 시각 객체의 매칭) 에 대한 지도 신호가 부족한 경우가 많아 정확한 모델링이 어렵습니다.
• 목표: 시간적 로컬라이제이션, 공간적 로컬라이제이션, 픽셀 단위 분할, 시공간 추론 등 다양한 오디오 - 비주얼 작업을 하나의 통합된 프레임워크에서 공유 파라미터로jointly(공동) 학습할 수 있는 모델 개발.

2. 제안 방법론: AV-Unified (Methodology)

저자들은 다양한 작업을 시퀀스 - 투 - 시퀀스 (Sequence-to-Sequence) 형식으로 통일하고, 이를 처리하기 위한 AV-Unified 프레임워크를 제안했습니다. 주요 구성 요소는 다음과 같습니다.

A. 통합 작업 표현 (Unified Task Representations)

• 토큰화 (Tokenization): 모든 작업의 입력 (비디오, 오디오, 텍스트 프롬프트) 과 출력을 이산적인 토큰 (discrete tokens) 시퀀스로 변환합니다.
• 공유 아키텍처: 단일 모델이 모든 작업을 처리하도록 설계하여, 작업별 전용 브랜치가 필요 없게 했습니다.

B. 핵심 모듈: 다중 스케일 시공간 지각 모델 (MS-STPM)

시간적 및 공간적 지각을 동시에 강화하기 위해 설계된 핵심 모듈입니다.

1. 다중 스케일 시간 지각 모듈 (Multi-scale Temporal Perception Module, TPM):

   • 다양한 지속 시간을 가진 오디오 - 비주얼 이벤트를 포착하기 위해 설계되었습니다.
   • 멀티스케일 윈도우 어텐션 (Multi-scale window attention): 네트워크 깊이에 따라 윈도우 크기가 증가하는 스택된 시프트 윈도우 트랜스포머를 사용하여, 국소적 맥락과 전역적 맥락을 모두 포착합니다.
   • 오디오와 비주얼 특징 간의 자기 어텐션 (Self-attention) 과 교차 어텐션 (Cross-attention) 을 통해 시간적 의존성을 모델링합니다.

2. 교차 모달 가이드 기반 공간 지각 모듈 (Cross-modal Guidance-based Spatial Perception Module, SPM):

   • 오디오와 비주얼 간의 공간적 연관성을 모델링합니다.
   • 양방향 교차 어텐션: 오디오 특징이 시각 패치 (Visual patches) 를 정제하고, 반대로 시각 특징이 오디오를 정제하는 방식으로 작동합니다.
   • 이는 오디오 - 비주얼 정렬이 부족한 영역에서 시각 객체와 소리의 매칭을 강화하여 공간적 위치 추정을 돕습니다.

C. 태스크 프롬프트 가이드 학습 모듈 (Task-prompt Guided Learning Module, TPGL)

• 역할: 각 작업 (예: AVE 는 시간적, AVS 는 공간적, AVQA 는 시공간적) 에 따라 모델이 주의해야 할 특징을 선택적으로 강조합니다.
• 구현: 작업별 텍스트 프롬프트 (예: "이 비디오의 사건을 설명하세요" 또는 "소리를 내는 물체의 위치는 어디인가요?") 를 입력받아, 이를 쿼리 (Query) 로 사용하여 시간 및 공간 특징 시퀀스 내에서 관련성 높은 특징에 가중치를 부여합니다.

D. 학습 전략

• 단일 배치 학습: 각 학습 반복(iteration) 에서 하나의 작업에서 샘플을 무작위 추출하여 해당 작업의 손실 함수로 파라미터를 업데이트합니다. 이는 '파괴적 망각 (Catastrophic forgetting)'을 방지하고 공유 표현을 학습하게 합니다.
• 데이터셋: AVE, LLP, VGG-SS, AVS, MUSIC-AVQA 등 다양한 벤치마크 데이터셋을 통합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 시간적 로컬라이제이션 (AVE, AVVP), 공간적 로컬라이제이션 (SSL), 픽셀 단위 이해 (AVS), 시공간 추론 (AVQA) 등 기존에 분리되었던 주요 오디오 - 비주얼 작업을 시퀀스 - 투 - 시퀀스 형식으로 통합하고 공유 파라미터 네트워크로 학습했습니다.
2. 다중 스케일 시공간 지각 모델 (MS-STPM): 다양한 시간 규모의 이벤트 포착과 공간적 오디오 - 비주얼 정렬 부족 문제를 해결하기 위한 TPM 과 SPM 을 설계했습니다.
3. 태스크 프롬프트 가이드 학습: 작업별 특성에 맞춰 모델이 적응적으로 특징을 추출하도록 유도하는 프롬프트 기반 메커니즘을 도입했습니다.
4. 범용성 입증: 단일 모델로 다양한 작업에서 우수한 성능을 달성하여, 포괄적인 오디오 - 비주얼 장면 이해의 가능성을 입증했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 데이터셋에서 기존 SOTA(State-of-the-Art) 모델들과 비교 실험을 수행했습니다.

• 시간적 작업 (AVE, LLP): AVE 데이터셋에서 Fully-Supervised 기준 78.7% 의 정확도를 기록하여 기존 최상위 모델 (77.8%) 을 상회했습니다. LLP 데이터셋에서도 모든 메트릭에서 개선된 성능을 보였습니다.
• 공간적 작업 (VGG-SS): 음원 위치 추정 (SSL) 에서 CIoU 39.16%, AUC 41.24% 를 기록하여 기존 방법들을 능가했습니다.
• 분할 작업 (AVS - S4, MS3, AVSS): 단일 작업 학습 대비 공동 학습 (Joint Training) 을 통해 MS3 에서 mIoU 0.2%, F-Score 0.9% 향상 등의 성과를 보였습니다.
• 시공간 추론 (MUSIC-AVQA): 복잡한 추론 작업 (Counting, Localization 등) 에서 공동 학습이 모델의 추론 능력을 향상시켰음을 확인했습니다.
• 생성된 결과의 시각화: 태스크 프롬프트를 사용할 경우, 모델이 질문과 관련된 핵심 영역 (예: 소리 나는 악기) 에 정확하게 주의를 집중하는 것을 히트맵을 통해 확인했습니다.

5. 의의 및 결론 (Significance)

• 통합적 접근의 필요성: 인간과 유사하게 여러 감각 정보를 통합하여 복잡한 장면을 이해하는 통합 프레임워크의 중요성을 강조했습니다.
• 효율성과 확장성: 별도의 대규모 데이터 구축이나 작업별 파인튜닝 없이도, 단일 아키텍처로 다양한 작업을 처리할 수 있어 효율적입니다. (기존 Crab 모델과의 비교에서 데이터 의존도 측면에서 우위를 점함)
• 미래 방향: 현재 일부 하위 작업에서 단일 작업 전용 모델 대비 성능이 다소 낮을 수 있으나, 이는 작업 간 협업의 복잡성에서 기인한 것으로, 향후 더 다양한 데이터셋과 아키텍처를 통해 해결할 수 있는 잠재력을 가지고 있습니다.

이 논문은 멀티모달 이해를 위한 새로운 패러다임을 제시하며, 오디오와 비주얼의 깊은 상관관계를 통합적으로 모델링하는 데 중요한 이정표가 됩니다.