Scaling Audio-Visual Quality Assessment Dataset via Crowdsourcing

이 논문은 기존 오디오 - 비주얼 품질 평가 (AVQA) 데이터셋의 한계를 극복하기 위해 크라우드소싱 기반의 주관적 실험 프레임워크와 체계적인 데이터 준비 전략을 도입하여, 현재까지 가장 크고 다양한 1,620 개의 사용자 생성 A/V 시퀀스로 구성된 'YT-NTU-AVQ' 데이터셋을 구축하고 그 유효성을 검증했습니다.

핵심

이 논문은 "사람들이 유튜브 같은 곳에서 보는 영상과 듣는 소리의 품질을 어떻게 더 잘, 더 많이 평가할 수 있을까?" 라는 문제를 해결하기 위한 연구입니다.

기존의 연구들은 너무 작고 제한적이었기 때문에, 인공지능이 인간의 감각을 제대로 배우지 못했습니다. 이 연구팀은 "대중의 힘을 빌려 (크라우드소싱) 거대한 데이터베이스를 만들었다" 는 것이 핵심입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "작은 실험실"의 한계

과거에 영상과 소리의 품질을 평가할 때는 고급 실험실에서 전문가들을 모아놓고 평가하게 했습니다.

• 비유: 마치 미슐랭 가이드 심사위원을 10 명만 모아놓고, 아주 조용한 방에서 정교한 도구를 쓰며 음식을 평가하는 것과 같습니다.
• 문제점: 시간이 너무 오래 걸리고, 비용이 비싸며, 평가하는 음식 (영상) 의 종류도 제한적입니다. 그래서 인공지능 (AI) 이 배우기엔 데이터가 너무 적었습니다.

2. 해결책: "전 세계의 미식가"를 초대하다 (크라우드소싱)

연구팀은 "왜 실험실에만 갇혀 있을까? 전 세계의 일반인들에게 평가를 맡기자!"라고 생각했습니다.

• 비유: 유튜브 같은 플랫폼에 올라온 수천 개의 영상을, 전 세계의 일반 시청자들이 각자의 집 (거실, 카페, 지하철) 에서 스마트폰이나 노트북으로 평가하게 한 것입니다.
• 도전: 일반인들은 실험실처럼 조용하지도, 고장 난 이어폰을 쓰지 않고, 집중력도 떨어질 수 있습니다. (예: 소음이 심한 곳에서 평가하거나, 아무거나 점수를 매기는 경우)

3. 해결 방법: "신뢰할 수 있는 평가자"를 가려내는 3 단계 필터링

이 연구의 가장 빛나는 부분은 "어떻게 하면 일반인의 평가도 믿을 수 있게 만들까?" 에 대한 해법입니다. 그들은 3 단계의 엄격한 필터를 만들었습니다.

1. 환경 점검 (Pretest): "집이 조용한가요? 이어폰은 연결되어 있나요?"라고 확인하고, 간단한 테스트 영상을 보여줍니다.
2. 자격 시험 (Qualification): 이 테스트에서 실제 전문가들의 평가와 비슷한 패턴으로 점수를 매긴 사람만 '자격자'로 인정합니다. (예: "이 영상은 소리가 나쁘고 화질도 나쁘다"라고 한 전문가와 다르게 "소리는 좋지만 화질은 나쁘다"라고 하면 탈락)
3. 본시험 (Formal Test): 자격을 받은 사람만 나머지 1,500 개 이상의 영상을 평가합니다.

• 핵심: 단순히 점수를 모으는 게 아니라, 누가 진지하게 평가했는지, 누가 엉뚱하게 평가했는지를 수학적으로 분석해서 엉터리 데이터를 걸러냅니다. 마치 수능 모의고사를 통해 실력 있는 학생들만 뽑아 본고사를 보게 하는 것과 같습니다.

4. 결과: 거대한 "음식 평가 지도" (YT-NTU-AVQ 데이터셋)

이 과정을 통해 만들어진 데이터셋은 1,620 개의 다양한 영상으로 구성되었습니다.

• 다양성: 요리, 춤, 게임, 여행 등 다양한 주제와, 화질/음질이 좋은 것부터 나쁜 것까지 골고루 포함되어 있습니다.
• 새로운 정보: 단순히 "전체 점수 5 점"만 매긴 게 아니라, "화질 점수", "음질 점수", 그리고 "화질과 음질 중 무엇을 더 중요하게 봤는지" 까지 세세하게 기록했습니다.

5. 재미있는 발견: "눈이 귀를 지배한다?"

이 데이터를 분석한 결과, 아주 흥미로운 사실이 나왔습니다.

• 발견: 사람들은 영상과 소리를 함께 볼 때, 소리가 조금 나빠도 화질이 좋으면 "전체적으로 좋다"고 평가하는 경향이 강했습니다.
• 비유: 맛있는 음식 (화질) 이 나오는데, 옆에서 약간의 잡음 (음질) 이 들린다면, 사람들은 "음식은 맛있으니 괜찮아"라고 생각한다는 뜻입니다. 즉, 시각 (눈) 이 청각 (귀) 보다 훨씬 더 큰 영향력을 미친다는 것을 발견했습니다.

6. 결론: 왜 이 연구가 중요한가?

이 연구는 "AI 가 인간의 감각을 더 잘 이해하게 하는 거대한 학습용 교재" 를 만들었습니다.

• 앞으로 유튜브나 스트리밍 서비스에서 "이 영상은 소리가 너무 나빠서 고쳐야 해" 라고 AI 가 자동으로 알려주거나, "이 영상은 화질과 음질이 완벽하게 균형 잡혀 있어" 라고 추천해주는 기술의 기초가 될 것입니다.

한 줄 요약:

"작은 실험실 대신 전 세계 일반인을 초대하고, 엄격한 시험으로 '진짜 평가자'만 뽑아, AI 가 인간의 눈과 귀를 더 잘 이해하도록 거대한 학습 데이터를 만든 혁신적인 연구입니다."

기술 요약

1. 연구 배경 및 문제점 (Problem)

음향 - 영상 품질 평가 (AVQA, Audio-Visual Quality Assessment) 연구는 기존 데이터셋의 한계로 인해 진전이 더뎌 왔습니다. 주요 문제점은 다음과 같습니다:

• 데이터의 규모와 다양성 부족: 기존 데이터셋은 규모가 작고, 콘텐츠 및 품질 분포의 다양성이 부족하며, 주로 실험실 환경에서 제한적으로 수집되었습니다.
• 단일 점수 Annotation 의 한계: 대부분의 데이터셋이 전체적인 품질 점수 (Overall Score) 만을 제공하여, 오디오와 비주얼 모달리티가 어떻게 상호작용하며 인간의 지각에 영향을 미치는지에 대한 심층적인 연구 (멀티모달 지각 메커니즘) 를 어렵게 만듭니다.
• 확장성의 어려움: AVQA 는 오디오와 비디오를 동시에 평가해야 하므로, 실험실 환경의 엄격한 통제 없이는 신뢰할 수 있는 주관적 평가를 대규모로 수행하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 크라우드소싱 기반의 확장 가능한 AVQA 데이터셋 구축 프레임워크를 제안했습니다.

가. 크라우드소싱 주관적 실험 프레임워크 설계

• 플랫폼: jsPsych 기반의 커스텀 플랫폼을 개발하여 실험실 환경의 제약을 제거하고 다양한 환경에서 대규모 참여를 유도했습니다.
• 환경 통제 및 검증:
  • 조용한 공간, 적절한 화면, 헤드폰 사용 등을 확인하는 소프트 컨펌 및 자동 체크 (화면 해상도, 네트워크, 오디오 출력 장치 등) 를 수행했습니다.
  • 전체 화면 재생 강제, 타임라인 드래그 금지, 필수 재생 시간 충족 등 재생 제약을 두어 주의 산만함을 방지했습니다.
• 다차원 평가 (Multi-dimensional Rating): 단일 점수 대신 4 가지 질문을 통해 다차원 데이터를 수집했습니다.
  1. AVQA Score: 전체 음향 - 영상 품질 (1~5 점).
  2. AV_VQA Score: 비디오 품질만 평가.
  3. AV_AQA Score: 오디오 품질만 평가.
  4. Attention Weight: 전체 품질 평가 시 오디오와 비디오 중 어디에 더 주의를 기울였는지 (0~100% 분할).

나. 다단계 실험 및 데이터 필터링 (Multi-stage Experiment & Filtering)

데이터의 신뢰성을 확보하기 위해 3 단계 실험 프로세스와 동적 필터링을 도입했습니다.

1. Pretest (사전 테스트): 120 개의 비디오로 기준 점수를 설정하고 신뢰할 수 있는 피험자를 선별.
2. Qualification Test (자격 심사): 새로운 피험자가 사전 테스트 세트를 평가하여 필터링 기준 (SROCC > 0.5, STD > 0.5) 을 통과한 경우만 정식 테스트 참여 자격 부여.
3. Formal Test (본 테스트): 자격을 얻은 피험자만 1,500 개의 비디오를 평가.

• 동적 필터링: 순위 일관성 (Ranking Consistency, SROCC) 과 점수 분산 (Score Dispersion, STD) 을 결합하여 무작위적이거나 일관성 없는 제출을 제거했습니다.

다. 데이터 준비 및 샘플링 전략

• 계층적 샘플링 (Stratified Sampling): VALOR 데이터셋 (100 만 개 이상의 YouTube A/V 시퀀스) 을 기반으로 오디오 품질 (AudioBox), 비디오 품질 (FasterVQA), 오디오 의미론 (Speech, Music, Sound 등 7 가지 조합) 을 고려하여 계층적 샘플링을 수행했습니다.
• 수동 보정: 2017 년 이후의 최신 콘텐츠와 다양한 주제 (동물, 요리, 게임 등 10 개 카테고리) 를 포함하기 위해 크리에이티브 커먼즈 (CC) 라이선스 비디오를 수동으로 추가하여 총 1,620 개의 시퀀스를 구성했습니다.
• 추가 Annotation: Gemini 2.5 를 활용하여 오디오/비디오 카테고리 및 비디오 요약 (Summary) 을 자동 생성하고 수동 검증을 통해 보강했습니다.

3. 주요 기여 (Key Contributions)

1. YT-NTU-AVQ 데이터셋: 현재까지 가장 크고 다양성이 풍부한 AVQA 데이터셋으로, 1,620 개의 사용자 생성 콘텐츠 (UGC) 오디오/비디오 시퀀스로 구성되었습니다.
2. 신뢰할 수 있는 크라우드소싱 프레임워크: 실험실 환경이 아닌 일반 환경에서도 고품질의 AVQA 데이터를 수집할 수 있음을 입증한 최초의 주관적 실험 프레임워크를 제안했습니다.
3. 다차원 어노테이션: 전체 품질뿐만 아니라 모달리티별 품질 (오디오/비디오 분리) 과 주의 집중도 (Attention Weight) 를 포함한 풍부한 어노테이션을 제공하여 멀티모달 지각 메커니즘 연구에 기여합니다.
4. 공개: 데이터셋과 플랫폼 소스 코드를 GitHub 를 통해 공개하여 연구 커뮤니티의 활용을 장려했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

• 데이터 품질: 3 단계 필터링을 통해 수집된 데이터는 높은 신뢰도를 보였으며, MOS (Mean Opinion Score) 분포는 가우시안 형태를 띠어 다양한 품질 수준을 잘 포괄함을 확인했습니다.
• 모달리티 상관관계:
  • 전체 AVQA 점수와 비디오 품질 점수 (AV_VQA) 간의 상관관계가 매우 높았습니다 (SROCC = 0.9938). 이는 UGC 콘텐츠에서 시각적 품질이 오디오보다 전체 품질 평가에 더 지배적인 영향을 미친다는 것을 시사합니다.
  • 오디오 품질 점수 (AV_AQA) 와의 상관관계도 높았으나 (SROCC = 0.9714), 시각적 요소의 영향력이 더 큽니다.
• 주의 집중 (Attention) 분석:
  • 피험자들은 평균적으로 오디오와 비디오에 균등하게 주의를 기울였으나 (약 50%), 품질이 낮은 모달리티에 주의를 더 기울이는 경향이 있었습니다.
  • 흥미롭게도, 전체 점수는 더 높은 품질을 가진 모달리티에 더 가깝게 형성되는 비대칭적 지각 패턴을 보였습니다.
  • 음악 공연이나 대화 등 오디오와 비디오가 밀접하게 연관된 상황에서는 오히려 오디오에 대한 주의 집중도가 낮게 보고되어, 인간이 전체적인 맥락 (Holistic Integration) 으로 지각함을 시사합니다.
• 모델 성능: 기존 VQA 모델 (Q-Align 등) 이 이 데이터셋에서 매우 높은 성능을 보였으며, 이는 UGC 환경에서 비디오 품질이 주요 결정 요인임을 뒷받침합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 AVQA 분야에서 실험실 중심의 접근 방식을 넘어 대규모 크라우드소싱을 통한 데이터 확장이 가능함을 입증했습니다.

• 실용성: 실제 사용자 환경 (In-the-wild) 에서 수집된 대규모 고품질 데이터셋은 멀티모달 학습 모델의 훈련, 미세 조정 (Fine-tuning), 평가에 필수적인 자원을 제공합니다.
• 과학적 통찰: 오디오와 비디오가 인간 지각에 미치는 상호작용과 주의 집중 메커니즘에 대한 새로운 통찰을 제공하며, 향후 멀티모달 품질 평가 알고리즘 개발의 기초가 됩니다.
• 확장성: 제안된 프레임워크는 향후 다양한 멀티모달 품질 평가 연구에 표준적인 방법론으로 적용될 수 있습니다.