Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models

이 논문은 학습 데이터 없이 자연어 프롬프트만으로 비디오를 요약할 수 있는 'Prompts-to-Summaries' 프레임워크를 제안하며, 기존 비지도 및 지도 학습 기반 방법들을 능가하는 성능과 새로운 데이터셋 'VidSum-Reason'을 통해 범용 텍스트 기반 비디오 요약의 가능성을 입증했습니다.

핵심

이 논문은 **"Prompts-to-Summaries (프롬프트로 요약하기)"**라는 새로운 비디오 요약 기술을 소개합니다. 쉽게 말해, **"어떤 영상도 학습 없이, 그냥 말로 지시만 하면 원하는 대로 요약해 주는 똑똑한 비서"**를 개발한 것입니다.

기존의 요약 프로그램들은 수만 개의 영상을 사람이 직접 보고 "이건 중요해, 이건 중요하지 않아"라고 가르쳐야 (학습) 했지만, 이 새로운 방법은 그런 귀찮은 과정이 전혀 필요 없습니다.

이 기술이 어떻게 작동하는지, 그리고 왜 특별한지 일상적인 비유로 설명해 드릴게요.

---

🎬 1. 문제: "영상은 너무 많고, 시간은 너무 짧아!"

우리는 매일 수많은 영상을 봅니다. 하지만 모든 영상을 다 볼 시간은 없죠.

• 기존 방식의 한계: 예전 요약 프로그램들은 특정 주제 (예: 스포츠, 뉴스) 에만 특화되어 있었습니다. 마치 "축구만 잘 보는 해설자"에게 "요즘 유행하는 요리 영상 요약해 줘"라고 하면 당황하는 것과 비슷합니다. 또한, 사용자가 "폭력적인 장면 빼고 요약해 줘"라고 말하면 못 알아듣는 경우가 많았습니다.

🚀 2. 해결책: "두 명의 천재 팀" (VideoLM + LLM)

이 연구는 두 가지 거대 인공지능 (AI) 을 팀으로 꾸려서 문제를 해결했습니다.

1. 비디오 해설자 (VideoLM): 이 AI 는 영상을 보고 "이 장면에서는 두 사람이 악수를 하고, 다음엔 차가 지나가네"라고 **자세한 설명 (캡션)**을 써줍니다. 마치 영화의 대본을 읽어주는 역할입니다.
2. 편집 감독 (LLM): 이 AI 는 해설자가 쓴 대본을 읽고, 사용자의 지시 (예: "감동적인 장면만 골라줘") 를 바탕으로 **"이 장면은 10 점 만점에 몇 점일까?"**라고 점수를 매깁니다. 마치 영화 편집자가 "이 장면은 꼭 넣어야 해 (10 점), 저건 잘라내도 돼 (1 점)"라고 결정하는 역할입니다.

핵심: 이 두 AI 는 처음부터 훈련된 상태 (Pre-trained) 이기 때문에, 새로운 영상을 볼 때마다 다시 공부할 필요가 없습니다. 바로 "제대로 된 지시 (프롬프트)"만 주면 됩니다.

---

🛠️ 3. 작동 원리: 4 단계 요리 과정

이 기술이 영상을 요약하는 과정은 마치 거대한 요리를 요리하는 과정과 같습니다.

1 단계: 장면을 나누기 (Scene Detection)

• 비유: 긴 영화 필름을 잘라내어 '장면 (Scene)' 단위로 나누는 작업입니다.
• 작동: 화면이 갑자기 바뀌거나 (예: 배경이 바뀜) 소리가 끊기는 지점을 찾아서 자연스럽게 장면을 쪼갭니다.

2 단계: 장면 설명하기 (Description Generation)

• 비유: 각 장면마다 '요약 카드'를 만들어 붙이는 작업입니다.
• 작동: AI 가 각 장면의 내용을 텍스트로 설명합니다. "여기서는 주인공이 친구를 만나고, 여기서 웃음을 터뜨립니다" 같은 식입니다. 긴 영상이라도 메모리 문제를 해결하기 위해 작은 덩어리로 나누어 설명합니다.

3 단계: 점수 매기기 (Scene Scoring)

• 비유: 편집 감독이 설명 카드를 보며 **"이 장면이 내 요구사항 (예: '웃음') 에 맞을까?"**라고 점수를 매기는 순간입니다.
• 작동: 사용자가 "웃음 장면만 골라줘"라고 입력하면, AI 는 설명 카드를 읽으며 웃음이 나오는 장면에 높은 점수 (100 점) 를, 그렇지 않은 장면에는 낮은 점수 (10 점) 를 줍니다. 이때 AI 는 "전체 이야기 흐름"도 고려해서 점수를 매깁니다.

4 단계: 프레임 정교화 (Frame Leveling)

• 비유: 장면 전체가 '중요'하다고 해서 그 안의 모든 순간이 중요한 건 아닙니다. "웃음" 장면 중에서도 가장 웃긴 순간 (클라이맥스) 을 골라내야 합니다.
• 작동: 장면의 점수를 바탕으로, 그 장면 속의 **각 프레임 (화면)**까지 점수를 세분화합니다.
  • 일관성 (Consistency): 장면이 너무 흔들리거나 혼란스럽지 않은지 확인합니다.
  • 독창성 (Uniqueness): 그 장면에서 가장 특별하고 눈에 띄는 순간은 어디인지 찾습니다.
  • 최종적으로 점수가 높은 프레임들만 모아서 짧은 요약 영상을 만듭니다.

---

🌟 4. 이 기술의 놀라운 점 (기존과 다른 점)

1. 학습 불필요 (Zero-Shot): "이걸 가르쳐야 한다"는 개념이 없습니다. 새로운 영상 하나를 주면 바로 요약해 줍니다. 마치 새로운 요리를 처음 보는 요리사에게 "이 재료를 섞어줘"라고 하면 바로 만들어내는 것과 같습니다.
2. 사용자 맞춤 (Text-Queryable): 사용자가 "폭력적인 장면 빼고", "아이들이 나오는 장면만", "감동적인 부분만"이라고 말로 지시하면, AI 가 그 지시에 맞춰 요약합니다.
3. 압도적인 성능: 실험 결과, 이 방법은 수많은 데이터를 학습한 기존 '전문가' AI 들과 맞먹거나, 오히려 더 좋은 성능을 보여주었습니다. 특히 사용자가 원하는 내용을 찾는 능력 (질문 기반 요약) 에서 기존 방법들을 크게 앞섰습니다.

📝 5. 결론: 왜 이것이 중요한가요?

이 연구는 **"인공지능이 인간의 언어를 이해하고, 영상을 보고, 인간의 의도를 파악하여 요약해 줄 수 있다"**는 것을 증명했습니다.

앞으로는 유튜브나 교육 영상, 감시 카메라 영상 등 어떤 영상이라도 **"나에게 필요한 부분만 딱 잘라줘"**라고 말하면, AI 가 바로 그 영상을 만들어줄 시대가 온 것입니다. 더 이상 복잡한 설정이나 학습 데이터 없이, 우리 모두의 '개인 비서'가 되어줄 기술입니다.

한 줄 요약:

"학습 없이, 말로 지시만 하면 원하는 대로 영상을 요약해 주는 똑똑한 AI 비서"

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 스마트폰과 소셜 미디어의 보급으로 비디오 데이터가 폭발적으로 증가함에 따라, 방대한 영상 데이터를 효율적으로 관리하고 핵심 내용을 빠르게 파악할 수 있는 요약 기술의 필요성이 대두되었습니다.
• 기존 방법의 한계:
  1. 데이터 의존성: 기존의 감독 학습 (Supervised) 이나 비지도 학습 (Unsupervised) 기반 요약 방법들은 대량의 레이블이 달린 훈련 데이터에 의존합니다. 이로 인해 훈련된 도메인 외의 데이터 (Zero-shot) 에서는 일반화 성능이 떨어집니다.
  2. 사용자 의도 반영 불가: 대부분의 방법은 사전에 정의된 일반적인 요약 작업에 국한되어 있으며, 사용자가 자연어로 특정 주제나 내용을 지시하는 (예: "폭력적인 장면 제외", "감정적인 순간 포함") 텍스트 기반 쿼리를 반영하지 못합니다.
  3. 쿼리 기반 요약의 제한: 기존 쿼리 기반 요약 (QFVS) 연구들은 프레임 수준의 밀집된 레이블이 필요하거나, 단순한 객체 인식 수준에 머무르는 경향이 있어 복잡한 추론이 필요한 쿼리를 처리하기 어렵습니다.
• 목표: 훈련 데이터 없이 (Zero-shot) 작동하며, 사용자의 자연어 쿼리에 따라 유연하게 요약 내용을 조절할 수 있는 범용 비디오 요약 프레임워크를 개발하는 것.

2. 제안된 방법론 (Methodology)

저자들은 Prompts-to-Summaries라는 새로운 파이프라인을 제안합니다. 이 방법은 사전 훈련된 비디오 - 언어 모델 (VideoLM) 과 대형 언어 모델 (LLM) 을 결합하여 훈련 없이 작동합니다. 전체 프로세스는 다음 4 단계로 구성됩니다.

A. 장면 탐지 및 분할 (Scene Detection)

• 동적 임계값 (Dynamic Thresholding): PySceneDetect 의 콘텐츠 감지기를 사용하여 프레임 간의 픽셀 강도 차이를 계산하고, 고정된 임계값이 아닌 장면 수의 변화율이 최대가 되는 지점을 찾아 최적의 임계값을 동적으로 결정합니다.
• 경계 정제 (Boundary Refinement): 너무 짧은 장면 (노이즈로 인한 분할) 은 시각적 임베딩 (DINO 또는 CLIP) 의 코사인 유사도를 계산하여 가장 유사한 이웃 장면과 병합함으로써 의미 있는 장면 단위로 재구성합니다.

B. 장면 설명 생성 (Scene Description Generation)

• VideoLM 활용: 각 장면과 전체 비디오에 대해 VideoLM 을 사용하여 텍스트 설명을 생성합니다.
• 메모리 효율성: 긴 비디오를 처리하기 위해 메모리 제약을 고려한 배치 (Batch) 처리 전략을 사용합니다. 프레임은 1 초당 1 프레임씩 샘플링되어 배치로 나뉘고, 각 배치에 대한 설명을 생성한 후 "The video continues"와 같은 문구를 사용하여 시간적 일관성을 유지하며 전체 설명을 연결합니다.

C. 장면 수준 중요도 평가 (Scene-level Scoring)

• LLM 을 통한 심판 (LLM as a Judge): 생성된 장면 설명과 전체 비디오 설명을 LLM 에게 입력하여, 사용자의 쿼리 (선택 사항) 를 고려한 중요도 점수 (1~100) 를 매기도록 프롬프트를 설계합니다.
  • 프롬프트 설계: LLM 을 "객관적인 평가자"로 설정하고, 5 단계의 루브릭 (Rubric) 을 제공하여 점수 분포를 일관되게 유지하도록 유도합니다.
  • 사용자 가이드: "음성적인 감정을 가진 장면을 우선시하라"와 같은 쿼리가 주어지면, 해당 쿼리에 부합하는 장점에 높은 점수를 부여하도록 프롬프트를 확장합니다.

D. 프레임 수준 가중치 및 점수 전파 (Frame-level Scoring & Propagation)

• 시간적 평활화 (Temporal Smoothing): 장면 간 점수 급변을 방지하기 위해 코사인 함수를 사용하여 장면 경계에서 점수를 부드럽게 보간합니다.
• 프레임 가중치 계산: 각 장면 내에서 프레임의 대표성을 평가하기 위해 두 가지 지표를 사용합니다.
  1. 일관성 (Consistency): K-Means 클러스터링을 통해 장면 내 프레임들이 동일한 시각적 패턴에 속하는 정도.
  2. 독특성 (Uniqueness): 프레임 임베딩이 평균으로부터 얼마나 벗어나 있는지 (다양성/신규성).
• 최종 점수: 장면의 중요도 점수와 프레임의 가중치 (일관성 + 독특성) 를 곱하여 최종 프레임 중요도 점수를 산출합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 Zero-shot 텍스트 기반 요약 프레임워크: 훈련 데이터, 레이블, 미세 조정 (Fine-tuning) 없이 자연어 쿼리에 기반한 비디오 요약을 가능하게 하는 최초의 프레임워크를 제안했습니다.
2. State-of-the-Art (SOTA) 성능:
   • SumMe 및 TVSum 데이터셋: 기존 모든 비지도 학습 방법보다 높은 F1 점수를 기록했으며, 일부 감독 학습 방법과 경쟁 가능한 성능을 보였습니다.
   • QFVS (Query-Focused Video Summarization): 훈련 데이터가 전혀 없음에도 불구하고, 데이터에 의존하는 기존 감독 학습 방법들과 유사하거나 더 나은 성능을 달성했습니다.
3. VidSum-Reason 데이터셋 공개: 단순한 키워드 매칭을 넘어, 시간적 추론 (Temporal Reasoning) 과 외부 지식 (General Knowledge) 이 필요한 복잡한 쿼리를 포함하는 새로운 벤치마크 데이터셋을 구축하고 공개했습니다.
4. 심층 분석 (Ablation Study): 이미지 인코더 (CLIP vs DINO), 프롬프트 설계, 정규화 전략, 시간적 평활화 등 각 구성 요소가 성능에 미치는 영향을 체계적으로 분석하여 최적의 설계를 입증했습니다.

4. 실험 결과 (Experimental Results)

• 표준 비디오 요약 (SumMe, TVSum):
  • SumMe: F1 점수 56.84% (기존 비지도 방법 중 최고).
  • TVSum: F1 점수 62.22% (기존 비지도 방법 중 최고).
  • 이 결과는 훈련 데이터 없이 달성되었으며, 일부 감독 학습 방법 (예: CLIP-It) 과도 경쟁 가능한 수준입니다.
• 쿼리 기반 요약 (QFVS):
  • 훈련 데이터가 없는 Zero-shot 설정에서, 데이터에 의존하는 4 가지 기존 감독 학습 방법 (Seq-DPP, SH-DPP 등) 을 모두 능가했습니다.
  • 데이터가 풍부한 CLIP-It (ResNet 기반) 과는 약 1 포인트 차이로 2 위를 기록했으나, CLIP 임베딩을 사용한 CLIP-It 과는 거의 동등한 성능 (약 53.42% vs 54.44%) 을 보였습니다.
• VidSum-Reason 벤치마크:
  • 추론이 필요한 쿼리 유형에서 무작위 베이스라인 (Random Baseline) 대비 약 10 포인트 높은 F1 점수 (평균 43.4%) 를 기록하여 모델의 추론 능력을 입증했습니다.
• 시각화 및 정성적 분석: 사용자의 쿼리에 따라 요약된 영상의 핵심 장면이 동적으로 변경되는 것을 확인했으며, KTS(Kernel Temporal Segmentation) 기반 분할보다 사용자의 의도와 더 잘 일치하는 결과를 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 훈련 없는 범용성: 이 연구는 특정 도메인이나 데이터셋에 종속되지 않고, 사전 훈련된 멀티모달 모델 (VideoLM, LLM) 을 지능적으로 조율 (Orchestration) 함으로써 범용적인 비디오 요약이 가능함을 증명했습니다.
• 사용자 중심의 유연성: 자연어 프롬프트 하나만으로 요약의 초점을 완전히 바꿀 수 있어, 개인화된 콘텐츠 큐레이션, 교육용 자료 추출, 감시 영상 분석 등 다양한 응용 분야에 즉시 적용 가능합니다.
• 기술적 통찰:
  • VideoLM 이 생성한 캡션은 요약의 초안으로 활용하기에 충분하며, LLM 이 이를 평가하고 점수를 전파하는 방식이 효과적입니다.
  • 장면 설명 생성 시 '전체 맥락 (Global)'보다 '국소적 시각 입력 (Local)'이 더 정확한 평가를 이끌어낸다는 사실을 발견했습니다.
  • 프롬프트의 정교함 (Rubric 기반 지시) 이 LLM 의 평가 일관성과 성능에 결정적인 영향을 미칩니다.

이 논문은 비디오 요약 분야에서 데이터 의존성을 탈피하고 사용자 의도를 정밀하게 반영하는 새로운 패러다임을 제시하며, 향후 멀티모달 AI 를 활용한 콘텐츠 이해 및 생성 기술의 중요한 이정표가 될 것으로 기대됩니다.