AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward

기술 요약: AVCap: 세밀한 인지 보상을 통한 오디오-비디오 결합 캡셔닝 강화

문제 정의

멀티모달 비디오 이해 및 생성 분야는 상세하고 미세한 수준의 오디오-비주얼 캡션을 생성하는 데 방해가 되는 세 가지 핵심적인 구조적 결함을 안고 있습니다:

1. 데이터 부족: 미세하고 시간적으로 정렬된 오디오-비주얼 디테일이 주석(annotation)된 고품질 공개 데이터셋이 부족합니다. 기존 리소스들은 대개 시각 중심적이거나 필요한 의미론적 세밀함이 결여되어 있습니다.
2. 조잡한 보상 신호: 이 분야의 강화 학습(RL) 방법론은 조잡한 이벤트 단위의 보상 신호(예: 내러티브 체크리스트)에 의존합니다. 이는 원자 단위(atomic-level)의 사실적 정확성을 최적화하지 못하며, 특정 청각적 또는 시각적 디테일과 그 동기화를 간과하는 경우가 많습니다.
3. 평가 격차: 기존 벤치마크와 지표들은 결합된 오디오-비주얼 의미론의 정보 밀도와 원자적 정확성을 평가하기보다는 조잡한 이벤트 단위의 정렬에 초점을 맞추고 있습니다.

결과적으로, 현재의 방법론들은 캡션이 사실적으로 정확하면서도 의미론적으로 포괄적이도록 만드는 데 어려움을 겪고 있으며, 이는 미세한 디테일에서의 환각(hallucination)과 누락으로 이어집니다.

방법론

저자들은 새로운 데이터셋, 혁신적인 학습 알고리즘, 그리고 특화된 평가 벤치마크로 구성된 통합 프레임워크를 제안합니다.

1. AVCap-100K 데이터셋

데이터 부족 문제를 해결하기 위해, 저자들은 100,000개의 비디오-캡션 쌍으로 구성된 AVCap-100K 데이터셋을 큐레이션했습니다. 주석 파이프라인은 원자 단위의 밀도와 시간적 정렬을 보장하기 위해 엄격한 다단계 전략을 채택합니다:

• 동적 분할(Dynamic Segmentation): 비디오를 60초 단위로 분할하며, 의미론적 무결성을 보존하기 위해 남은 클립들을 병합합니다.
• 단일 모달 분리(Unimodal Disentanglement): 교차 모달 환각을 방지하기 위해, 파이프라인은 사전 지식(priors)을 독립적으로 추출합니다:
  • 시각 브랜치: 음향 편향이 없는 설명을 생성하기 위해 무음 비디오 스트림을 처리합니다.
  • 계층적 오디오 브랜치: 소스 분리(Demucs)를 사용하여 보컬과 배경 음악(BGM)을 분리합니다. 보컬은 ASR 및 화자 분리를 거치며, BGM은 시간적 역동성을 위해 15초 창(window) 단위로 분할됩니다.
• 결합 추론(Joint Reasoning): 대규모 멀티모달 모델(Qwen3-Omni-Thinking)이 이러한 단일 모달 사전 지식들을 하나의 결합된 캡션으로 합성하며, 시각적 이벤트와 청각적 신호를 명시적으로 정렬합니다.
• 품질 필터링: 시각적 정확성, 오디오 충실도, 정렬 정밀도를 기준으로 캡션을 평가하는 등급 기반 필터를 사용하여 신뢰도가 높은 샘플만을 유지합니다.

2. Detail-Aware GRPO (Da-GRPO)

저자들은 **Da-GRPO(Detail-Aware Group Relative Policy Optimization)**를 통해 최적화된 모델인 AVCap을 소개합니다. 이 접근 방식은 정밀한 제어 가능성을 강제하기 위해 RL 보상 메커니즘을 재구성합니다:

• Raise-Answer-Check 패러다임: 전체적인 점수 산정 대신, 판사 모델(Judge Model)이 정답(ground truth)으로부터 유도된 $N$개의 원자 단위 프로브(질문 세트)를 생성합니다. 이 질문들은 시각(Visual), 오디오(Audio), 결합 상호작용(Joint interactions)으로 분류됩니다.
• 조밀한 보상 집계(Dense Reward Aggregation): 생성된 캡션에 대해, 판사 모델은 해당 캡션을 유일한 문맥으로 사용하여 프로브에 답합니다. 예측된 답변은 정답과 의미론적으로 검증됩니다.
• 보상 신호: 최종 보상은 모든 프로브에 대한 의미 유사도 점수의 정규화된 평균입니다. 이는 캡션이 미세한 시각적 및 청각적 사실을 보존하는지 엄격하게 측정하는 조밀하고 디테일 지향적인 신호를 생성하여, 정책이 환각을 최소 최소화하도록 유도합니다.

3. AVCap-Bench & AVCap-Score

원자 단위에서 성능을 평가하기 위해, 저자들은 AVCap-Bench(1,000개의 홀드아웃 예시)와 AVCap-Score 지표를 구축했습니다.

• QA 기반 검증: 학습 보상과 유사하게, 지표는 판사 모델을 사용하여 정답으로부터 20개의 원자 단위 질문을 생성합니다.
• 스코어링: 생성된 캡션은 이 질문들에 답하는 데 사용됩니다. 답변은 정답과 비교되어 의미 유사도 점수(0–5)를 계산합니다.
• 세분화: 점수는 Visual-Score, Audio-Score, Joint-Score로 분해되어, 표면적인 어휘 중첩을 넘어 결합된 의미론적 정렬을 평가하는 정밀한 기준을 제공합니다.

주요 기여

1. AVCap-100K: 우수한 오디오-비주얼 밀도로 주석이 달린 100K개의 고품질 비디오-캡션 쌍 데이터셋을 통해 미세한 학습 데이터의 희소성 문제를 해결했습니다.
2. AVCap 모델: Da-GRPO로 학습되어 오픈 소스 모델 중 SOTA(최고 성능)를 달성하고 독점 시스템과 경쟁할 수 있는 모델입니다.
3. AVCap-Bench & AVCap-Score: 원자 단위에서 미세한 정보 콘텐츠를 엄격하게 정량화하기 위해 설계된 최초의 특화된 벤치마크 및 지표입니다.

실험 결과

광범적인 평가는 제안된 프레임워크의 효능을 입증합니다:

• 일반 벤치마크 성능: Video-SALMONN-2에서 AVCap-30B는 총점 32.7점을 기록하며(환각률을 10.3%로 감소), 기존 오픈 소스 베이스라인들을 능가합니다. UGC-VideoCap에서는 평균 점수 85.1점에 도달합니다.
• 독점 모델과의 비교: AVCap-30B는 WorldSense(34.3 vs 33.8)와 AVCap-Score(56.94 vs 50.62)를 포함한 여러 평가에서 Gemini-2.5-Pro와 같은 독점 모델과 대등하거나 이를 능가합니다. Gemini-2.5-Pro가 DailyOmni(60.2 vs 52.1)에서는 앞서지만, AVCap-30B는 광범한 벤치마크 세트 전반에서 경쟁력을 유지합니다.
• 미세 조정 평가: AVCap-Score 벤치마크에서 AVCap-30B는 총점 56.94를 기록하여, 기존 오픈 소스 베이스라인(예: AVoCaDO 46.05) 및 독점 모델(Gemini-2.5-Pro 50.62)을 크게 앞섭니다.
• 절제 연구(Ablation Studies): 실험 결과는 Da-GRPO의 원자 단위 보상 신호가 조잡한 수준의 대안(N-gram 또는 전체적 보상)보다 일관되게 우수하며, 데이터셋(AVCap-100K)이 표준 SFT에 비해 상당한 이득을 제공함을 확인시켜 줍니다.

의의 및 주장

본 논문은 오디오-비주얼 캡셔닝 분야의 "구조적 결함"을 해결함으로써 AVCap가 상세한 오디오-비주얼 캡셔닝의 기준을 재정의한다고 주장합니다. 본 연구의 의의는 다음과 같습니다:

• 데이터 중심의 개선: 고품질의 미세한 데이터셋(AVCap-100K)이 멀티모달 모델의 잠재력을 끌어올리는 데 결정적임을 보여주었으며, 이를 통해 7B 모델이 이전의 SOTA 베이스라인을 넘어설 수 있게 했습니다.
• 방법론적 전환: 원자 단위의 보상 신호(via Da-GRPO)가 모델을 사실적 현실에 접지(grounding)시키는 데 있어 조잡한 이벤트 단위 보상보다 우월함을 증명하였으며, 효과적으로 환각을 줄이고 시간적 동기화를 개선했습니다.
• 평가의 엄밀성: 어휘적 중첩을 넘어 비디오와 텍스트 사이의 실제 정보적 동등성을 측정하는 새로운 평가 패러다임(AVCap-Score)을 구축하여, 미세한 이해를 위한 더 신뢰할 수 있는 지표를 제공했습니다.

저자들은 자신들의 작업이 모델이 유창할 뿐만 아니라 시각과 청각의 복잡한 상호작용과 의미론적으로 상세하고 사실적으로 정렬된 캡션을 전달할 수 있게 하는 포괄적인 솔루션이라고 규정합니다.