Automatic Funny Scene Extraction from Long-form Cinematic Videos

이 논문은 시각, 텍스트, 오디오 등 다양한 모달리티를 활용하여 장편 영화에서 유머 장면을 자동으로 탐지하고 순위 매기는 엔드 투 엔드 시스템을 제안하며, 이를 통해 스트리밍 플랫폼의 콘텐츠 제작 효율성과 사용자 참여도를 크게 향상시킬 수 있음을 입증합니다.

핵심

영화 속 '웃음 포인트'를 찾아주는 AI 비서 이야기

이 논문은 넷플릭스나 아마존 프라임 비디오 같은 스트리밍 서비스에서 긴 영화나 드라마를 보고 있을 때, "어? 이 부분 웃긴데?"라고 생각하게 되는 장면을 자동으로 찾아내어 짧은 클립으로 만들어주는 기술에 대해 설명합니다.

마치 수백 장의 사진이 담긴 앨범에서 가장 재미있는 순간만 골라내어 '하이라이트 영상'을 만들어주는 똑똑한 AI 비서라고 생각하시면 됩니다.

이 기술이 왜 필요한지, 그리고 어떻게 작동하는지 쉬운 비유로 설명해 드릴게요.

---

1. 왜 이런 기술이 필요한가요? (문제 상황)

지금까지 영화나 드라마에서 웃긴 장면을 찾으려면, 편집자가 수시간을 투자해 직접 보고 골라야 했습니다. 영화는 길고 이야기가 복잡해서, "이 장면이 정말 웃긴가? 아니면 그냥 긴장되는 장면인가?"를 구분하기가 매우 어렵습니다.

하지만 사용자는 긴 영화를 다 보기 전에 **"이 영화가 정말 재미있을까?"**를 빠르게 확인하고 싶어 합니다. 그래서 **짧고 웃긴 영상 (스낵 콘텐츠)**을 만들어 사용자의 관심을 끌고 싶지만, 사람이 일일이 하기는 너무 벅찬 상황입니다.

2. 이 시스템은 어떻게 작동할까요? (3 단계 과정)

이 시스템은 크게 세 가지 단계로 나뉩니다.

1 단계: 장면을 잘게 자르기 (Shot Detection)

영화는 수많은 '샷 (Shot, 카메라가 한 번에 찍은 연속된 화면)'으로 이루어져 있습니다.

• 비유: 긴 영화를 레고 블록처럼 작은 조각으로 쪼개는 작업입니다.
• 기술: AI 가 화면의 변화를 감지해서 "여기서 장면이 바뀌었네?"라고 알아챕니다.

2 단계: 비슷한 조각들을 묶어 '장면 (Scene)' 만들기 (Scene Segmentation)

작은 조각들 (샷) 을 모아서 하나의 이야기 흐름을 가진 '장면'으로 묶어야 합니다.

• 비유: 흩어진 퍼즐 조각들을 맞춰서 하나의 그림을 완성하는 과정입니다.
• 핵심 기술:
  • 눈 (Visual): 화면에 누가 나오는지, 배경이 어떻게 변하는지 봅니다.
  • 귀와 입 (Audio & Text): 대사가 무엇인지, 배경음은 어떤지 분석합니다.
  • 이전 연구와의 차이점: 기존에는 단순히 화면만 봤는데, 이 기술은 **"이 장면의 대사와 화면을 함께 봐야 진짜 장면을 구분할 수 있다"**는 점을 깨달았습니다. 마치 영화를 볼 때 자막과 화면을 동시에 보며 이해하는 것과 비슷합니다.

3 단계: "이게 진짜 웃긴가?" 판별하기 (Humor Tagging & Ranking)

이제 묶인 장면들 중에서 진짜 웃긴 것을 골라내야 합니다.

• 비유: 웃음 코치가 등장합니다.
• 어떻게 판별하나요?
  1. 웃음 소리 감지: 사람들이 "하하하" 웃는 소리가 들리는지 AI 가 듣습니다.
  2. 대사 분석: 대사가 "도대체 왜 웃겨?"라는 상황을 만들어내는지 (예: 예상치 못한 반전, 말장난) 텍스트로 분석합니다.
  3. 안전 필터 (Guardrail): 가장 중요한 부분입니다. 웃긴 척하지만 실제로는 괴롭힘 (불링), 모욕, 비하가 담긴 장면은 걸러냅니다. AI 가 "이건 웃긴 게 아니라 나쁜 거야"라고 판단해서 제외합니다.
  4. 점수 매기기: 웃음 소리의 강도, 대사의 재치, 장면의 길이 등을 종합해서 "이 장면이 100 점 만점에 몇 점일까?" 점수를 매겨 순위를 정합니다.

3. 이 기술의 성과는 어떨까요?

연구팀은 이 시스템을 실제 영화 5 편과 예고편 11 개에 적용해 보았습니다.

• 정확도: 전문가들이 "이건 웃긴 장면이다"라고 한 것 중 **87%**를 시스템이 정확히 찾아냈습니다.
• 장면 구분: 영화의 장면을 잘게 쪼개고 묶는 정확도는 **98%**에 달했습니다.
• 예고편: 예고편은 장면 전환이 빨라 조금 더 어렵지만, 그래도 잘 작동했습니다.

4. 이 기술이 우리에게 어떤 혜택을 주나요?

• 더 재미있는 미리보기: 마우스를 올리거나 클릭하기 전에, 가장 웃긴 장면이 자동으로 재생되어 "이 영화 꼭 봐야겠다!"라는 마음을 들게 합니다.
• 시간 절약: 편집자가 수백 시간을 들여 장면을 고르는 수고를 AI 가 대신해 줍니다.
• 안전한 콘텐츠: 웃긴 척하는 나쁜 장면을 걸러내어, 모든 연령대가 편안하게 즐길 수 있게 합니다.

5. 앞으로의 과제 (Future Work)

물론 완벽하지는 않습니다.

• 속도 문제: 예고편처럼 장면이 너무 빠르게 바뀌는 영상에서는 아직 약점이 있습니다. (빠르게 움직이는 물체를 쫓는 카메라가 잠시 헷갈리는 것과 비슷합니다.)
• 언어 장벽: 현재는 영어 대사를 주로 분석합니다. 한국어, 일본어 등 다른 언어의 유머 (말장난, 문화적 유머) 를 잘 이해할 수 있도록 발전시켜야 합니다.
• 유머의 주관성: "이건 웃겨!"라고 생각하는 사람과 "별로인데?"라고 생각하는 사람이 있을 수 있습니다. AI 가 다양한 사람의 취향을 모두 이해하도록 계속 학습해야 합니다.

요약

이 논문은 **"긴 영화 속에서 우리가 웃을 수밖에 없는 순간을 AI 가 찾아내어, 우리가 더 즐겁게 콘텐츠를 즐길 수 있게 도와주는 기술"**을 소개합니다. 마치 영화관 안내원이 "이 부분에서 웃으세요!"라고 귀띔해 주는 것과 같은 역할을 하는 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

스트리밍 플랫폼 (Netflix, Prime Video 등) 의 사용자 참여도를 높이기 위해 긴 분량의 영화나 웹시리즈에서 매력적이고 고품질의 유머 장면을 자동으로 추출하여 짧은 클립 (Snackable content) 으로 만드는 것이 필수적입니다. 그러나 현재는 이 과정이 대부분 수동으로 이루어져 시간과 비용이 많이 듭니다. 자동화를 위한 주요 기술적 난제는 다음과 같습니다.

• 복잡한 장면 국소화 (Scene Localization): 장편 영상은 긴 시간적 구조와 복잡한 내러티브를 가지며, 샷 (Shot) 과 장면 (Scene) 사이의 관계를 추론해야 합니다.
• 유머의 다면성 (Multimodality of Humor): 유머는 텍스트, 제스처, 억양 (Prosody), 맥락적 의존성 등 다양한 모달리티에 의존하며, 단순한 텍스트나 짧은 영상 분석으로는 파악하기 어렵습니다.
• 부적절한 유머 필터링: 괴롭힘, 조롱 등 부적절한 내용을 걸러내야 하며, 진정한 유머 장면을 정확히 순위 매겨야 합니다.
• 데이터 부족: 장면 경계 (Scene Boundary) 라벨링 비용이 높아 대규모 데이터셋이 부족합니다.

2. 방법론 (Methodology)

저자들은 샷 탐지, 멀티모달 장면 분할, 유머 태깅 및 순위 매기기로 구성된 엔드 - 투 - 엔드 (End-to-End) 자동 파이프라인을 제안합니다.

가. 샷 탐지 (Shot Detection)

• 최첨단 사전 학습 모델인 TransNetV2를 사용하여 동일한 카메라로 촬영된 연속된 프레임 시퀀스 (샷) 를 추출합니다.

나. 멀티모달 장면 분할 (Multimodal Scene Segmentation)

단순히 시각적 유사성만으로는 장면 경계를 파악하기 어렵기 때문에, 시각적 신호와 텍스트 신호를 결합한 접근법을 사용합니다.

1. 샷 대비 학습 (Shot Contrastive Pre-training):
   • Triple Loss를 사용하여 샷 임베딩을 학습합니다.
   • 가이드드 트립렛 마이닝 (Guided Triplet Mining): MovieNet-SSeg 데이터셋의 Ground Truth 를 활용하여, 같은 장면 내 샷을 'Positive', 다른 장면 샷을 'Negative'로 구성합니다. 특히 인접한 장면 (±3 장면 윈도우) 에서 Hard Negative 를 샘플링하여 학습 효율을 높입니다.
   • Encoder 아키텍처: X-CLIP (Cross-frame Transformer) 을 사용하여 장거리 시간적 의존성을 포착하고, DINO Projection Head를 추가하여 4096 차원의 특징 벡터를 생성합니다.
2. 텍스트 모달리티 활용:
   • 샷별 캡션 (VideoLLaVA 로 생성) 을 BLIP-2 텍스트 인코더를 통해 768 차원 특징으로 변환합니다.
   • 시각 특징 (4096 차원) 과 텍스트 특징 (768 차원) 을 결합하여 4864 차원의 통합 임베딩을 생성합니다.
3. 지도 미세 조정 (Supervised Fine-tuning):
   • 중심 샷과 주변 샷 (Window) 을 입력으로 받아 MLP 를 통해 장면 경계 (Scene Boundary) 를 분류합니다.

다. 하류 유머 태깅 (Downstream Humor Tagging)

장면이 추출된 후, 해당 장면이 유머인지 여부와 순위를 매깁니다.

1. 다중 모달 유머 감지:
   • 오디오: ResNet18 기반 모델을 사용하여 웃음 (Laughter) 신호를 감지합니다.
   • 텍스트: ColBERT 아키텍처를 영화용 장문 텍스트에 맞게 수정 (10 문장 + 전체 텍스트 처리) 하여, '설계 (Setup)'와 '펀치라인 (Punchline)' 간의 관계를 분석합니다. UR-FUNNY 데이터셋으로 학습되었습니다.
2. 부적절한 유머 필터링 (Guardrails):
   • AudioSet 데이터셋으로 학습된 오디오 태깅 CNN 모델을 사용하여 비명, 울음 등 고통 신호나 부정적 정서 (괴롭힘, 조롱 등) 를 감지하여 부적절한 장면을 필터링합니다.
3. 유머 점수 생성 (Heuristic Scoring):
   • 평균 웃음 점수, 웃음 지속 시간, ColBERT Softmax 점수, 장면 길이 등 4 가지 요소를 가중치 합산하여 최종 점수를 매기고 순위를 매깁니다.

3. 주요 기여 (Key Contributions)

1. 엔드 - 투 - 엔드 파이프라인: 장편 영화 콘텐츠에서 유머 장면을 자동으로 추출하고 순위 매기는 완전 자동화 시스템 구축.
2. 새로운 장면 분할 기법: MovieNet-SSeg 기반의 가이드드 트립렛 마이닝과 시각/텍스트 결합을 통해 샷 - 장면 연관성을 개선.
3. 효율적인 샷 인코더: X-CLIP 와 DINO 헤드를 결합하여 적은 학습 데이터 (25 에포크, 8 만 개 트립렛) 로도 강력한 표현 학습 가능.
4. 성능 개선:
   • 장면 탐지: OVSD 데이터셋에서 기존 최첨단 (SOTA) 대비 AP 18.3% 향상.
   • 유머 감지: 긴 텍스트 기반 유머 감지에서 F1 점수 0.834 달성.
5. 실제 적용 검증: 5 개의 영화와 11 개의 트레일러에 대한 전문가 평가에서 98% 의 장면 국소화 정확도와 87% 의 유머 감지 정확도를 입증.

4. 실험 결과 (Results)

• 장면 탐지 (Scene Detection):
  • 시각 신호만 사용한 모델도 OVSD 에서 SOTA 를 능가했으나, 텍스트 모달리티를 추가한 결과 AP 가 9.1%, F1 이 11% 추가로 향상됨.
  • 가이드드 트립렛 마이닝 (V3) 이 무작위 전략보다 NMI(정규화 상호 정보량) 가 0.632 로 가장 높게 나타남.
• 유머 태깅 (Humor Tagging):
  • ColBERT 기반 텍스트 모델은 MHD 데이터셋에서 F1 0.834, 정확도 0.728 을 기록하여 기존 트랜스포머 및 멀티모달 모델 (FunnyNet 등) 보다 우수한 성능을 보임.
• 전문가 평가 (Curator Evaluation):
  • 장면 국소화 정확도: 본편 98%, 트레일러 98% (트레일러는 빠른 전환으로 인해 약간의 오분할 발생).
  • 유머 감지 정확도: 본편 87%, 트레일러 100%.
  • 부적절 콘텐츠 필터링: 100% 재현율 (Recall) 로 부적절한 유머를 성공적으로 차단.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 스트리밍 서비스의 사용자 참여도 향상과 마케팅 콘텐츠 제작 비용 절감에 실질적인 기여를 합니다.

• 실용성: Prime Video 의 '오토플레이 (Autoplay)' 기능 (마우스 오버 시 유머 클립 재생) 에 직접 적용 가능하며, 모바일용 '빠른 웃음 (Fast Laugh)' 경험으로도 확장 가능합니다.
• 확장성: 모듈식 설계로 인해 다양한 장르와 콘텐츠 형식 (영화, 드라마, 트레일러) 에 적용 가능합니다.
• 향후 과제: 트레일러의 빠른 전환 처리를 위한 적응형 윈도우 크기 도입, 다국어 유머 감지 모델 개발, 그리고 더 다양한 문화적 배경을 반영한 학습 데이터 확보가 필요하다고 언급했습니다.

결론적으로, 이 시스템은 시각, 텍스트, 오디오 정보를 통합하여 장편 영상에서 맥락에 맞는 유머 장면을 정밀하게 추출하고 필터링할 수 있는 강력한 기술적 기반을 제시했습니다.