Crab$^{+}$: A Scalable and Unified Audio-Visual Scene Understanding Model with Explicit Cooperation

음시각적 작업의 이질성으로 인한 부정적 전이를 해결하기 위해 명시적 추론이 포함된 대규모 데이터셋 (AV-UIE v2) 과 작업 간 상호작용을 동적으로 조정하는 I-LoRA 아키텍처를 제안하여, 단일 작업 학습을 능가하는 포괄적인 오디오 - 비주얼 장면 이해 모델 Crab$^{+}$를 개발했습니다.

핵심

🦀 크랩 플러스 (Crab+): 소리와 영상을 동시에 이해하는 '만능 요리사'

1. 문제점: 왜 기존 AI 는 혼란스러워할까요?

기존의 AI 들은 보통 "한 가지 일만 잘하는 전문가"였습니다. 예를 들어, '소리를 듣는 AI'와 '영상을 보는 AI'는 따로 훈련되었습니다.

하지만 연구자들은 "하나의 AI 가 모든 일을 다 하면 어떨까?"라고 생각했습니다. 그런데 문제는 혼합 요리를 만들려다 실패하는 것과 같았습니다.

• 비유: 한 요리사에게 "초밥을 만들고, 스테이크를 굽고, 케이크를 장식하라"고 동시에 시켰다고 상상해 보세요. 초밥을 만들 때 필요한 손놀림과 스테이크를 굽는 손놀림은 서로 다릅니다. 두 가지 일을 동시에 하려니 서로 방해가 되어 (이를 **'부정적 전이'**라고 합니다), 초밥도 맛이 없고 스테이크도 태워버리는 결과가 나옵니다.
• 현실: 기존 연구에 따르면, 여러 일을 한 번에 시키자 AI 의 성능이 오히려 55% 정도 떨어지는 일이 발생했습니다.

2. 해결책 1: 데이터 (재료) 를 다듬다 - "AV-UIE v2"

크랩 플러스는 이 문제를 해결하기 위해 먼저 **데이터 (재료)**를 바꿨습니다.

• 비유: 단순히 "초밥, 스테이크, 케이크"라는 이름만 적힌 레시피를 주는 대신, **"왜 이렇게 해야 하는지, 어떤 순서로 해야 맛있는지"**에 대한 상세한 **설명 (추론 과정)**을 함께 적어주었습니다.
• 효과: AI 가 "아, 소리를 들을 때는 이렇게 집중해야 하고, 영상을 볼 때는 저렇게 봐야구나"라고 각 작업의 차이를 명확히 이해하게 되었습니다. 이를 통해 서로 다른 작업들 사이의 연결고리를 만들었습니다.

3. 해결책 2: 모델 (요리사) 을 업그레이드 - "I-LoRA"

다음으로 AI 의 **뇌 구조 (모델)**를 개선했습니다.

• 기존 방식: 모든 작업에 똑같은 '도구'를 사용하는 고정된 방식이었습니다.
• 크랩 플러스의 방식 (I-LoRA): **"지능형 도우미"**를 도입했습니다.
  • 비유: 요리사가 일을 시작할 때, **"이제 초밥을 만들 때는 A 도구를 쓰고, 스테이크를 구울 때는 B 도구를 써라"**라고 상황에 따라 도구를 바꿔주는 스마트 스위치가 달린 것입니다.
  • 작동 원리: 이 '스마트 스위치 (라우터)'는 들어오는 질문의 종류를 보고, 가장 적합한 '전문가 팀 (LoRA 헤드)'을 자동으로 호출합니다. 그래서 서로 다른 작업들이 서로의 일을 방해하지 않고, 각자의 전문성을 살려 협력할 수 있게 됩니다.

4. 결과: 1+1=3 의 시너지

이 두 가지 변화 (데이터의 상세한 설명 + 지능형 도구 교체) 를 통해 크랩 플러스는 놀라운 성과를 거두었습니다.

• 기존: 여러 일을 같이 하려다 55% 가 망가짐.
• 크랩 플러스: 여러 일을 같이 하려니 88% 의 작업에서 오히려 더 잘하게 됨!
• 비유: 이제 이 요리사는 초밥, 스테이크, 케이크를 동시에 만들면서도 각각의 맛을 완벽하게 살려냅니다. 심지어 혼자서 하나씩 할 때보다 더 빠르고 맛있게 만들기도 합니다.

5. 실제 능력 (예시)

이 모델은 하나의 영상과 소리를 보고 다음과 같은 다양한 일을 동시에 해냅니다.

• 질문: "왼쪽 악기가 오른쪽보다 소리가 더 큰가?" (이해와 추론)
• 위치 찾기: "소리가 나는 물체의 위치를 화면에 표시해 줘." (공간 인식)
• 감정 분석: "이 사람의 표정과 목소리를 보고 감정이 뭐야?" (감정 읽기)
• 이벤트 설명: "이 영상에서 0 초부터 10 초 사이에 무슨 일이 일어났어?" (시간적 이해)

📝 한 줄 요약

**"크랩 플러스"**는 소리와 영상을 동시에 이해하는 AI 가 여러 일을 할 때 서로 방해받지 않고, 오히려 서로 도와주며 더 똑똑해지는 방법을 찾아낸 혁신적인 모델입니다. 마치 "혼란스러운 주방을 정리하고, 상황에 맞는 도구를 쥐어주어 요리사 (AI) 가 모든 요리를 완벽하게 해내게 만든 것"과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 오디오 - 비주얼 대규모 언어 모델 (AV-LLM) 은 멀티모달 지능의 핵심으로, 단일 아키텍처 내에서 다양한 오디오 - 비주얼 장면 이해 작업을 수행하는 것을 목표로 합니다.
• 핵심 문제: 기존 연구들은 사전 훈련된 모델을 지시 튜닝 (Instruction Tuning) 을 통해 다중 작업 (Multi-task) 능력을 갖추게 하지만, 심각한 부정적 전이 (Negative Transfer) 현상이 발생합니다.
  • 실험 결과, 단일 작업 학습에 비해 약 55% 의 작업에서 성능이 저하되는 것으로 확인되었습니다.
• 원인: 이는 오디오 - 비주얼 작업 간의 이질성 (Heterogeneity) 에서 기인합니다.
  1. 작업 세분도 (Granularity) 의 차이: 저수준의 위치 추정 (Grounding) 작업과 고수준의 추론 (Reasoning) 작업이 서로 다른 수준의 표현을 요구하여, 단순한 지시 튜닝만으로는 효과적인 협력이 어렵습니다.
  2. 상충되는 능력 요구사항: 시간적 위치 추정, 공간적 위치 추정, 시맨틱 추론 등 각 작업이 모델에게 요구하는 상호작용 패턴이 다르며, 고정된 파라미터 효율적 적응 방법 (예: 기존 LoRA) 은 이러한 상충을 해결하지 못해 파라미터 간섭을 유발합니다.

2. 제안 방법론 (Methodology)

저자들은 데이터와 모델 두 가지 관점에서 명시적 협력 (Explicit Cooperation) 을 통해 이 문제를 해결하는 Crab+ 모델을 제안합니다.

가. 데이터 측면: AV-UIE v2 (Audio-Visual Unified Instruction-tuning v2)

• 규모 및 구성: 17 개의 데이터셋과 7 가지 작업 (감정 인식, 행동 인식, 크로스 모달 매칭 등 포함) 을 아우르는 약 222,000 개의 샘플로 구성된 대규모 데이터셋입니다.
• 명시적 추론 과정 (Explicit Reasoning Processes): 기존 데이터의 불일치를 해결하기 위해, 단순한 정답 (Label) 대신 상세한 추론 과정을 포함하는 텍스트를 생성하여 중간 표현 (Intermediate Representation) 으로 사용합니다.
  • 이는 작업 간 세분도 차이를 완화하고, 작업별 상호작용을 모델이 학습할 수 있도록 돕습니다.
  • 데이터 품질 보장을 위해 MLLM 을 이용한 생성 후 인간 검증 (Human Correction) 프로세스를 적용했습니다.

나. 모델 측면: 통합 아키텍처 및 I-LoRA

• 통합 입력 - 출력 인터페이스: 모든 작업의 타겟을 시퀀스 (Sequence) 로 변환하여 단일 단계 (Single-stage) 학습 파이프라인을 구축합니다.
  • 비주얼, 오디오, 텍스트 토큰을 통합하여 LLM 백본에 주입합니다.
  • 분할 (Segmentation) 작업의 경우, SAM2 를 고정된 모듈로 활용하여 공간 프롬프트 (바운딩 박스, 점) 를 예측하는 방식으로 통합합니다.
• 상호작용 인식 LoRA (Interaction-aware LoRA, I-LoRA):
  • 문제 해결: 다중 작업 학습 시 발생하는 파라미터 간섭을 완화하기 위해 제안되었습니다.
  • 구조: 공유되는 저랭크 행렬 $A$와 여러 개의 전문화된 LoRA 헤드 $\{B_i\}$, 그리고 동적 라우팅 (Dynamic Routing) 메커니즘을 포함합니다.
  • 동작 원리: 학습 가능한 라우터가 입력 토큰의 의미적 요구사항을 분석하여, 각 토큰을 가장 적합한 $B$ 헤드로 동적으로 라우팅합니다. 이를 통해 상충되는 오디오 - 비주얼 상호작용 패턴을 분리 (Decouple) 하되, 공유 지식은 유지하여 긍정적 전이를 유도합니다.

3. 주요 기여 (Key Contributions)

1. Crab+ 모델 개발: 작업 이질성을 명시적 협력을 통해 해결하여, 다양한 AV-LLM 패러다임 (Native AV-LLM, LLM+V+A, V-LLM+A) 에서 확장 가능하고 통합된 장면 이해 모델을 구현했습니다.
2. AV-UIE v2 데이터셋 구축: 222K 개의 샘플을 포함하며, 명시적 추론 과정을 통해 작업 간 세분도 차이를 해소한 대규모 지시 튜닝 데이터셋을 공개했습니다.
3. I-LoRA 메커니즘 제안: 동적 라우팅을 통해 파라미터 간섭을 줄이고 작업별 요구사항을 충족시키는 새로운 적응 모듈을 설계했습니다.
4. 부정적 전이의 반전: 기존 다중 작업 학습에서 55% 의 성능 저하가 발생하던 것을, 약 88% 의 작업에서 단일 작업 베이스라인을 능가하는 긍정적 전이 (Positive Transfer) 로 전환하는 데 성공했습니다.

4. 실험 결과 (Results)

• 범용성 및 성능: Crab+ 는 기존 통합 모델들보다 더 넓은 범위의 작업을 지원하며, 전문화된 단일 작업 모델 (Specialized Models) 과 비교해도 대부분의 벤치마크에서 우수한 성능을 기록했습니다.
  • 인식 작업: Kinetics-Sounds (91.12%), UCF51 (94.04%) 에서 최상위 성능 달성.
  • 위치 추정 및 분할: ARIG, Ref-AVS 등 공간적 위치 추정 작업에서 기존 전용 모델 대비 큰 폭의 성능 향상 (예: ARIG 에서 +52.47% 향상).
  • 질문 응답 (QA): MUSIC-AVQA 및 AVQA 벤치마크에서 높은 정확도 달성.
• 단일 vs 다중 작업 비교:
  • 기존 LoRA 기반 다중 학습은 55% 의 작업에서 성능 저하를 보였으나, 제안된 I-LoRA 를 적용한 Crab+ 는 94% 의 작업에서 성능 향상을 보였습니다.
  • 순 성능 향상 (Net Gain) 이 -10% 에서 +88% 로 극적으로 개선되었습니다.
• 아키텍처 일반성: LLaMA2 기반, LLaMA3 기반, Qwen2.5-Omni 등 다양한 백본 아키텍처에서 일관된 성능 향상을 입증했습니다.
• 분석 (Visualization & Ablation):
  • I-LoRA 의 라우터는 작업별 (예: 공간 위치, 시간 위치, 감정 인식) 로 명확한 클러스터링을 형성하여 작업별 특성을 잘 포착함을 확인했습니다.
  • 헤드 제거 실험 (Head Dropping) 을 통해 각 헤드가 상호 보완적인 정보를 담당함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 오디오 - 비주얼 작업의 이질성을 '장애물'이 아닌 '협력의 기회'로 재해석하여, 데이터와 모델 설계의 명시적 협력을 통해 해결책을 제시했습니다.
• 실용적 가치: 단일 모델로 저수준의 인식 (감지, 위치 추정) 부터 고수준의 추론 (질문 응답, 감정 분석) 까지 포괄적으로 수행할 수 있는 강력한 범용 오디오 - 비주얼 어시스턴트의 기반을 마련했습니다.
• 미래 전망: 이 연구는 멀티모달 AI 가 특정 작업에 국한되지 않고, 인간과 유사한 통합적인 인지 능력을 갖추는 방향으로 나아가는 중요한 걸음으로 평가됩니다.

이 논문은 멀티모달 통합 학습의 핵심 난제인 '부정적 전이'를 효과적으로 극복하고, 단일 모델이 다양한 복잡한 오디오 - 비주얼 시나리오를 처리할 수 있는 새로운 기준 (Baseline) 을 제시했다는 점에서 큰 의의를 가집니다.