기술 요약: 비디오 광고 주시도 예측을 위한 ViASNet

문제 제기

디지털 미디어 환경은 TV, 소셜 미디어, 전자상거래 플랫폼 전반에 걸쳐 숏폼 비디오 광고로 전환되었습니다. 이러한 광고는 높은 참여도를 달성할 수 있지만, 그 만연함으로 인해 상당한 '혼란 (clutter)'을 초래하여 광고주가 시청자의 주의를 끌 수 있는 콘텐츠를 설계하기 어렵게 만듭니다. 광고 효과성을 평가하는 전통적인 방법은 주로 안구 운동을 분석하기 위해 신경 생리학적 측정, 특히 안구 추적을 의존합니다. 그러나 안구 추적 데이터를 수집하고 처리하는 것은 비용이 많이 들고 시간이 소요되어, 특히 생성형 AI 의 부상으로 인해 생산되는 방대한 양의 비디오 광고에 대한 신속하고 대규모의 테스트를 방해합니다.

기존의 주시도 예측을 위한 계산 모델은 비디오 광고에 적용될 때 여러 가지 과 faced 합니다:

1. 시간적 역동성: 비디오 프레임과 안구 운동의 동시적 시간적 역동성을 모델링하는 것은 계산적으로 어렵습니다.
2. 장면 전환: 비디오 광고는 안구 운동 패턴을 방해하는 빠르고 의도적인 장면 변화를 특징으로 하므로, 모델이 급격한 전환을 고려해야 합니다.
3. 의미론적 및 오디오 영향: 주시도는 저수준 시각적 특징 (대비, 운동) 뿐만 아니라 고수준 장면 의미론과 오디오 스트림에 의해 주도되며, 이는 특정 시각적 특징을 강화할 수 있습니다.
4. 현재 모델의 한계: 최첨단 동적 주시도 모델은 종종 클립의 마지막 프레임에 대해서만 주시도를 예측하거나 장면 서사와 오디오를 효과적으로 통합하지 못합니다.

방법론: ViASNet

저자들은 숏폼 비디오 광고의 엔드 - 투 - 엔드 동적 주시도 예측을 위해 설계된 심층 학습 아키텍처인 **ViASNet(Video Ad Saliency Network)**을 제안합니다. 이 모델은 3D U-Net 구조를 기반으로 구축되었으며, 프레임별 주시도 맵을 예측하기 위해 다중 모달 입력을 통합합니다.

아키텍처 구성 요소

1. 입력 전처리:

   • 비디오 광고는 PySceneDetect 를 사용하여 장면으로 분할됩니다.
   • 시각적 프레임은 $224 \times 384$ 크기로 조정됩니다.
   • 원시 오디오 신호는 $[-1, 1]$로 정규화되고 시각적 프레임과 정렬되며, 전처리 주관성을 줄이기 위해 주파수 영역 변환을 피합니다.
   • 안구 추적 데이터를 사용하여 가우시안 블러링과 최소 - 최대 정규화를 통해 실제 주시도 맵이 생성됩니다.

2. 인코더:

   • 비전 인코더: 운동 인식을 위해 설계된 사전 훈련된 S3D 백본 (분해된 3D 컨볼루션) 을 활용합니다. 이는 장면의 배치 (batches) 를 처리하여 공간적 및 시간적 특징을 추출합니다.
   • 오디오 인코더: 원시 오디오 신호를 처리하기 위해 피처 피라미드 아키텍처 (하향식 및 상향식 경로를 측면 연결과 결합) 를 갖춘 맞춤형 7 층 CNN 입니다.
   • 장면 의미론 인코더: 장면 캡션을 생성하기 위해 대규모 다중 모달 모델 Qwen3-VL-Plus를 사용합니다. 서사적 연속성을 포착하기 위해 이전 장면의 캡션이 현재 장면을 위한 프롬프트에 주입됩니다. 그런 다음 이러한 캡션은 미세 조정된 BERT(BERT-base-uncased) 모델을 사용하여 인코딩됩니다.

3. 다중 모달 융합:

   • 비전, 오디오, 의미론의 특징은 연결되고 **다중 모달 통합 주의 네트워크 (MUAN)**에 의해 처리됩니다.
   • 이 블록은 모달 내 의존성을 위해 **자기 주의 (self-attention)**를, 모달 간 의존성 (예: 오디오 - 비디오, 비디오 - 의미론) 을 위해 **공동 주의 (co-attention)**를 사용하여 모달 간의 복잡한 상호작용을 포착할 수 있게 합니다.

4. 디코더 및 판독:

   • 디코더는 업샘플링을 위한 전치 컨볼루션을 갖춘 U-Net 구조를 따르며, 스킵 연결을 사용하여 인코더의 공간적 세부 정보를 보존합니다.
   • 판독 네트워크(ResNet 병목 블록과 유사) 는 결합된 특징을 처리하여 채널 깊이를 줄이고 원래 깊이를 복원하기 전에 공간적 패턴을 포착합니다.

5. 출력 정제:

   • 최종 출력은 시청자가 화면 중앙에 주의를 고정하는 경향을 설명하기 위해 중앙 편향 (Center Bias) 구성 요소 (학습 가능한 2D 가우시안 커널을 통해 모델링됨) 를 포함합니다.
   • 학습 가능한 가우시안 블러가 출력에 적용되어 주시도 맵을 부드럽게 만든 후, 확률 분포를 생성하기 위해 소프트맥스 활성화가 적용됩니다.

이 모델은 예측된 주시도 맵과 실제 주시도 맵 간의 Kullback-Leibler (KL) 발산을 사용하여 엔드 - 투 - 엔드로 훈련됩니다.

주요 기여

1. 새로운 아키텍처: 통합 주의 메커니즘을 통해 시각, 오디오, 의미론적 장면 정보를 통합하는 특수 심층 주시도 네트워크인 ViASNet 의 개발.
2. 다중 모달 통합: 오디오 스트림과 장면 의미론 (LLM 생성 캡션을 통해) 이 시각적 주시도에 미치는 영향을 명시적으로 모델링하여 이전 동적 주시도 모델의 공백을 해소.
3. 진단 도구: 예측된 주시도 맵에서 계산된 프레임별 엔트로피를 시청자 참여도를 진단하는 지표로 도입. 높은 엔트로피는 낮은 참여도 (산만한 주의) 를 나타내고, 낮은 엔트로피는 높은 참여도 (집중된 주의) 를 나타냄.
4. 포괄적 평가: 각 광고당 약 20 명의 시청자로부터 안구 추적 데이터를 수집한 151 개의 비디오 광고 데이터셋 (136 개 훈련용, 15 개 테스트용) 에 대한 광범위한 테스트.

결과

이 모델은 네 가지 기준선 (Itti-Koch(계산적), BMS(계산적), DeepGaze IIE(심층 학습, 정적 훈련), ViNet-S(심층 학습, 동적 훈련)) 에 대해 평가되었습니다.

• 성능 지표: ViASNet 은 테스트 세트에서 모든 여섯 가지 평가 지표 (KL, CC, NSS, SIM, AUC, s-AUC) 에서 최첨단 성능을 달성했습니다.
  • 프레임별 정적 예측보다 동적 모델링의 이점을 강조하며, AUC 에서 DeepGaze IIE 보다 20% 이상, 다른 지표에서도 훨씬 더 크게 우위를 점했습니다.
  • 대부분의 지표에서 ViNet-S 를 능가하여 비디오 광고에 대한 특정 아키텍처의 유효성을 입증했습니다.
• 절차적 연구 (Ablation Studies): 구성 요소를 제거한 실험은 통합 주의 메커니즘 (제거 시 KL 4.0% 증가) 과 판독 네트워크 (3.8% 증가) 의 중요성을 확인했습니다. 오디오와 캡션 주의는 개별적인 영향이 작았지만 성능에 측정 가능한 기여를 했습니다.
• 엔트로피 분석: 이 연구는 예측된 엔트로피가 실제 안구 고정 변동성과 상관관계 (0.51) 가 있음을 입증했습니다. 엔트로피 지표는 산만한 객체/텍스트로 인해 높은 엔트로피를 보이는 등 시청자의 주의를 끌지 못한 특정 장면과 전체 광고를 성공적으로 식별했으며, 얼굴/제품에 집중된 낮은 엔트로피를 유지한 광고도 식별했습니다.

중요성 및 주장

저자들은 ViASNet 을 고비용, 저비용 생산 시대에 비디오 광고 테스트를 확장하는 과제를 해결하는 실용적인 솔루션으로 위치시킵니다. 논문은 다음과 같이 주장합니다:

• 자동화: ViASNet 은 보지 못한 비디오 광고에 대한 동적 주시도 맵의 자동 예측을 가능하게 하여, 비싸고 느린 안구 추적 연구에 대한 의존성을 줄입니다.
• 진단 능력: 프레임별 엔트로피를 계산함으로써, 시스템이 주의를 끌지 못하는 특정 장면이나 광고를 식별하여 광고주가 출시 전에 저조한 성능의 콘텐츠를 수정하거나 제거할 수 있게 합니다.
• 인간 - 루프 (Human-in-the-Loop): 저자들은 ViASNet 이 인간 광고 테스트를 대체해서는 안 되며, 대신 인간 - 루프 (HITL) 설정에서 도구로 사용되어야 한다고 겸손하게 제안합니다. 이 접근 방식은 자동화된 테스트의 속도와 인간 전략적 감독을 결합하여 광고 설계를 안내하고, 진정성과 윤리적 고려사항이 유지되도록 합니다.

이 연구는 ViASNet 과 같은 심층 주시도 모델이 광고 설계 및 테스트 주기를 크게 단축시켜 경쟁이 치열한 숏폼 비디오 환경에서 시청자 참여도를 최적화하기 위한 중요한 진단을 제공할 수 있다고 결론지었습니다.