From Content to Audience: A Multimodal Annotation Framework for Broadcast Television Analytics

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 방송 텔레비전 산업은 '평균 분당 시청률 (AMR)'과 같은 정량적 지표를 통해 시청자 참여도를 측정하지만, 시청률 변동의 원인 (왜 특정 콘텐츠가 시청자를 끌어들이거나 이탈시키는가) 을 설명하는 semantic(의미론적) 분석은 여전히 수작업에 의존하거나 확장성이 부족합니다.
• 문제점:
  • 멀티모달 대규모 언어 모델 (MLLM) 은 일반적인 비디오 이해 능력이 뛰어나지만, 방송 특유의 구조 (시간적 구조화, 편집 패턴, 운영 제약) 에 적용했을 때의 성능은 실증적으로 충분히 연구되지 않았습니다.
  • 실시간 방송 환경에서 전체 비디오 입력 (Video-based) 이 정적 프레임 입력 (Image-based) 보다 항상 더 나은 성능을 내는지, 그리고 계산 비용 대비 효율적인지 여부가 불분명합니다.
  • 생성된 의미론적 주석 (Semantic Annotation) 을 분 단위의 청중 데이터와 통합하여 인구통계학적 참여 패턴을 분석하는 실제 운영 프레임워크가 부재합니다.

2. 방법론 (Methodology)

A. 데이터셋 구축 (Dataset Construction)

• 소스: 2025 년 이탈리아에서 방영된 4 가지 장르 (시사 토크쇼, 탐사 프로그램, 문화 프로그램, 라이프스타일) 의 방송 프로그램 25 편에서 추출된 총 100 개의 1 분 클립.
• 주석 태스크 (4 가지 차원):
  1. 주제 분류 (Topic Classification): 28 개 라벨 (정치, 경제, 엔터테인먼트 등) 로 분류.
  2. 환경 분류 (Environment Classification): 22 개 라벨 (스튜디오, 아파트, 차량 등) 로 시각적 배경 분류.
  3. 개체명 인식 (Named Entity Recognition): 화면에 등장하는 인물 식별.
  4. 민감도 콘텐츠 탐지 (Sensitive Content Detection): 폭력, 범죄, 성적 콘텐츠 등 9 가지 카테고리 탐지.
• 품질 관리: 두 명의 어노테이터가 독립적으로 작업하여 일관성 (Cohen's κ) 을 확보하고, 불일치는 합의 과정을 통해 해결.

B. 파이프라인 설계 및 평가

• 비교 대상: 이미지 기반 파이프라인 (균일 샘플링된 12 프레임) vs 비디오 기반 파이프라인 (전체 60 초 클립을 원시 비디오로 입력).
• 입력 구성 전략:
  • 시각적 신호 (프레임 또는 비디오)
  • 자동 음성 인식 (ASR) 텍스트
  • 화자 분리 (Speaker Diarization)
  • 메타데이터 (프로그램 제목, 날짜, 장르 등)
• 평가 모델: 총 9 개의 최첨단 MLLM (Gemini 3.0 Pro, LLaMA 4 Maverick, Qwen-VL 시리즈, Gemma 3 등) 을 대상으로 평가.
• 실제 배포: 선정된 최적 파이프라인을 2025 년 이탈리아 방송된 14 편 전체 에피소드 (3,000 분 이상) 에 적용하여 분 단위 주석을 생성하고, 이를 이탈리아 미디어 회사가 제공한 정규화된 청중 데이터와 통합.

3. 주요 결과 (Key Results)

A. 파이프라인 및 입력 모달리티 비교

• 비디오 vs 이미지: 비디오 기반 입력이 이미지 기반 입력보다 항상 더 나은 성능을 내지는 않음.
  • 모델 의존성: 대형 모델은 시간적 연속성을 효과적으로 활용하여 성능이 향상되지만, 중소형 모델은 긴 멀티모달 컨텍스트로 인한 토큰 과부하 (Token Overload) 로 성능이 저하됨.
  • 작업별 최적 입력:
    • 주제 분류: 텍스트 (ASR) 가 가장 강력한 성능 드라이버. 비디오 입력은 텍스트가 있을 때 추가 이점이 미미함.
    • 환경 분류: 시각적 입력이 핵심. 동적인 장면 (차량, 야외) 에서는 비디오 입력이 유리하지만, 정적인 스튜디오 환경에서는 프레임으로도 충분함.
    • 민감도 콘텐츠: 시각적 단서가 중요하나, 텍스트의 경우 오작동 (False Positive) 위험이 있음.
    • 인물 인식: 메타데이터가 가장 중요한 요소. 텍스트와 메타데이터가 없으면 모델이 인물을 착각 (Hallucination) 하는 경향이 강함.
• 최적 구성: ASR + 메타데이터 조합이 대부분의 작업에서 가장 일관된 성능을 보임. 특히 Gemini 3 Pro가 비디오 + 메타데이터 입력으로 모든 작업에서 균형 잡힌 성능을 보여 배포용으로 선정됨.

B. 청중 분석 (Audience Analytics) 인사이트

• 인구통계학적 패턴:
  • 55 세 이상 (시니어): 가장 크고 안정적인 시청층. 고빈도 정치적 주제에 의해 유지됨.
  • 15-34 세 (청년): 에피소드 간 변동성이 큼. 특정 주제 (예술, 문학, 스포츠 등) 에 따라 참여도가 극명하게 달라짐.
• 주제별 민감도:
  • '예술과 문학'은 청년층에게는 긍정적 반응을, 시니어에게는 부정적 반응을 보임 (세대 간 이질성).
  • '음악', '운동' 등은 모든 세대에게 부정적이지만, 연령대가 높을수록 그 강도가 증가.
  • '요리'와 '일반 스포츠'는 세대 간 진폭 차이는 있으나 방향성은 일치하는 공통 관심사.

4. 주요 기여 (Contributions)

1. 도메인 특화 벤치마크: 이탈리아 prime-time 방송에 맞춘 4 가지 의미론적 태스크를 수행하는 100 개 클립의 벤치마크 구축.
2. 실증적 비교 연구: 이미지 기반과 비디오 기반 MLLM 파이프라인의 체계적 비교를 통해, "비디오 입력이 항상 우월하지 않으며, 메타데이터와 ASR 이 더 중요한 성능 드라이버"임을 입증.
3. 운영적 배포 및 통합: 자동화된 의미론적 주석과 분 단위 청중 데이터를 통합하여, 콘텐츠 구조와 인구통계학적 참여 간의 상관관계를 분석하는 실제 시스템의 타당성을 입증.

5. 의의 및 시사점 (Significance)

• 실무적 가치: 방송사 및 미디어 분석가에게 콘텐츠의 어떤 부분이 특정 세대의 시청률 변동에 기여하는지 데이터 기반으로 설명할 수 있는 도구를 제공.
• 기술적 통찰: 멀티모달 모델의 성능 향상을 위해 무조건적인 비디오 입력 확대보다는, 작업 특성에 맞는 입력 전략 (메타데이터, 텍스트, 프레임 샘플링 최적화) 과 모델 크기 선택이 더 중요함을 시사.
• 확장성: 수작업으로는 불가능했던 대규모 방송 콘텐츠의 장기적 감사 (Longitudinal Audit) 및 장르 진화 연구가 자동화를 통해 가능해짐.

이 논문은 단순한 비디오 이해 기술을 넘어, 콘텐츠 분석과 청중 데이터의 융합을 통해 방송 산업의 의사결정을 지원하는 새로운 데이터 과학 프레임워크를 제시했다는 점에서 의의가 큽니다.