LLM-Enhanced Topical Trend Detection at Snapchat

본 논문은 멀티모달 추출, 시계열 급증 감지, 그리고 LLM 기반 심화 분석을 통합하여 글로벌 배포를 통해 콘텐츠 신선도와 사용자 경험을 획기적으로 개선하는 스냅챗의 토픽 트렌드 탐지를 위한 최초의 생산 규모 종단간 시스템을 제시합니다.

핵심

스냅챗을 수백만 명이 끊임없이 짧은 동영상을 게시하는 거대하고 붐비는 디지털 도시라고 상상해 보세요. 이 도시에서 '트렌드'는 갑자기 나타나는 거대한 거리 축제나 바이럴 댄스 열풍과 같습니다. 스냅챗이 직면한 과제는 이 도시가 너무 크고 움직임이 너무 빨라 어떤 인간 팀도 모든 구석을 지켜보며 축제들이 시작되는 순간을 포착할 수 없다는 점입니다.

이 논문은 스냅챗 엔지니어들이 대규모 언어 모델 (LLM) 이라는 특수한 인공지능을 활용하여 트렌드가 시작되는 순간을 포착하기 위해 구축한 새로운 자동화된 '도시 감시 (City Watch)' 시스템을 설명합니다.

다음은 이 시스템이 작동하는 방식을 네 가지 간단한 단계로 나눈 것입니다:

1. '눈과 귀' (주제 추출)

먼저, 시스템은 동영상에서 무슨 일이 일어나고 있는지 이해해야 합니다. 동영상은 이미지, 소리, 텍스트가 혼합되어 있으므로 시스템은 AI '탐정' 팀을 활용합니다.

• 시각 탐정: 동영상 프레임을 살펴 개나 해변, 콘서트 같은 사물이나 장면을 식별합니다.
• 오디오 탐정: 사람들이 말하는 내용을 들어 음성에서 텍스트로 변환합니다.
• 텍스트 탐정: 화면에 쓰인 글자나 캡션의 단어를 읽습니다.
• 요약자: 이러한 단서들이 수집되면 강력한 AI(LLM) 가 숙련된 기자처럼 행동합니다. 이 AI 는 모든 복잡한 정보를 취해 동영상을 위한 짧고 명확한 헤드라인을 작성합니다. 예를 들어, 무작위 단어의 나열 대신 "새로운 노래에 맞춰 춤추는 사람들"과 같이요.

2. '급증 감지기' (버스트 감지)

동영상의 주제가 '개'라고 해서 그것이 트렌드라는 뜻은 아닙니다. 사람들은 매일 개에 대해 게시물을 올립니다. 시스템은 무언가가 갑자기 인기를 얻고 있는지 알아내야 합니다.

• 보통 한 시간에 5 명이 지나가는 조용한 거리를 상상해 보세요. 갑자기 다음 시간 동안 500 명이 나타납니다. 이것이 바로 '버스트 (급증)'입니다.
• 시스템은 특정 주제에 대해 게시물을 올리는 고유한 사람의 수를 추적합니다. (편향을 피하기 위해) 시청하는 사람의 수는 무시하고 생성하는 사람의 수에 집중합니다.
• 시스템은 수학적 공식을 사용하여 오늘의 수치를 최근 과거와 비교합니다. 생성자 수가 급격히 증가하면 시스템은 이를 잠재적인 트렌드로 플래그합니다.

3. '품질 관리' (후처리)

모든 급증이 좋은 트렌드는 아닙니다. 때때로 급증은 단순한 오류, 스팸, 또는 "재미있는 동영상"처럼 너무 모호한 것일 수 있습니다.

• 필터: 시스템은 AI 규칙을 사용하여 나쁜 주제를 제거합니다. 너무 광범위한 것 (예: "삶") 이나 안전 규칙을 위반하는 것 (민감하거나 안전하지 않은 콘텐츠) 을 삭제합니다.
• 병합: 때때로 시스템은 "2026 년 월드컵", "월드컵", "월드컵 예선"을 세 가지 별개의 것으로 감지합니다. AI 는 이들이 실제로 같은 사건임을 인식하고 "2026 년 월드컵"이라는 하나의 깔끔한 트렌드로 병합합니다. 이렇게 하면 목록이 정리되고 이해하기 쉬워집니다.

4. '이야기꾼' (트렌드 풍부화)

트렌드가 확인되면 시스템은 단순히 이름을 부여하는 것을 넘어 프로필을 구축합니다.

• 트렌드에서 몇 가지 대표적인 동영상을 선택하고 매우 똑똑한 AI 에게 요약을 작성하게 하고, 카테고리 (예: "스포츠" 또는 "뉴스") 를 할당하며, 어떤 국가에서 가장 많이 논의하고 있는지 나열합니다.
• 이는 원시 데이터 포인트를 앱 전체에서 사용할 수 있는 다듬어진 뉴스 카드처럼 만드는 것과 같습니다.

왜 이것이 중요한가? (결과)

이 논문은 이 시스템이 테스트를 거쳐 현재 전 세계적으로 스냅챗에서 운영되고 있다고 보고합니다.

• 정확도: 6 개월 동안 인간이 시스템의 작업을 확인했을 때, 정확도는 **92.8%**였습니다.
• 실제 영향: 이 시스템은 이제 화면에 표시될 동영상을 결정하는 데 (랭킹) 사용되며, 검색창에 입력할 때 표시되는 제안에도 활용됩니다.
• 결과: 시스템이 트렌드를 더 빠르게 포착하기 때문에 사용자는 더 신선하고 관련성 높은 콘텐츠를 보게 됩니다. 테스트 결과, 사용자는 콘텐츠를 더 좋아하게 되었고 (높은 '좋아요' 비율) 이러한 새로운 트렌드의 스토리를 더 오래 시청했습니다.

요약하자면, 이 논문은 스냅챐이 전체 사용자 기반의 '소란 (buzz)'을 듣고, 노이즈를 필터링하여 앱에 즉시 "이제 모든 사람이 이에 대해 이야기하고 있습니다—사람들에게 보여주세요!"라고 알리는 똑똑하고 자동화된 방법을 설명합니다.

기술 요약

Snapchat 에서 SIGIR 2026 에 채택된 논문 "LLM-Enhanced Topical Trend Detection at Snapchat"에 대한 상세한 기술 요약입니다.

1. 문제 정의

이 논문은 특히 Snapchat 과 같은 숏폼 비디오 소셜 미디어 플랫폼에서 대규모 자동 주제 트렌드 탐지의 과제를 다룹니다. 전통적인 텍스트 기반 네트워크와 달리, 숏폼 비디오 플랫폼은 다음과 같은 고유한 어려움을 제시합니다:

• 다중 모달 복잡성: 콘텐츠는 비디오, 오디오, 텍스트로 구성되어 있어 이질적인 데이터를 처리할 수 있는 확장 가능한 시스템이 필요합니다.
• 미묘한 신호 탐지: 트렌드는 종종 커뮤니티 전반에 분산된 약한 신호를 통해 나타나므로 조기 탐지가 어렵습니다.
• 급속한 수명 주기: 트렌드는 빠르게 진화하므로, 노이즈, 스팸, 모호성에 대한 견고성을 유지하면서 거의 실시간으로 적응해야 합니다.
• 규모: 시스템은 글로벌 플랫폼에서 매일 생성되는 방대한 양의 콘텐츠를 처리해야 합니다.

목표는 콘텐츠 노출, 개인화, 크리에이터 참여를 개선하기 위해 콘텐츠 제작의 눈에 띄는 증가를 특징으로 하는 신흥 주제를 식별하는 것입니다.

2. 방법론

저자들은 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 을 기반으로 하는 확장 가능한 엔드 - 투 - 엔드 시스템을 제안합니다. 파이프라인은 네 가지 명확한 단계로 운영됩니다:

A. 시스템 개요

시스템은 신선도를 보장하기 위해 정기적인 일정에 따라 실행됩니다. "Snaps"(사용자 비디오) 와 퍼블리셔 콘텐츠에서 다중 모달 신호를 처리합니다.

B. 단계 1: 다중 모달 주제 추출

• 입력 처리: 비디오는 경량 다중 모달 모델에 의해 처리되어 텍스트 신호를 생성합니다:
  • 시각: VLM(예: BLIP2) 이 샘플링된 프레임을 분석하여 고정된 분류 체계에서 시각 태그를 생성합니다.
  • 오디오: 자동 음성 인식 (ASR) 이 대본을 생성합니다.
  • 텍스트: 광학 문자 인식 (OCR) 이 화면 내 텍스트를 추출합니다.
• 통합: 이러한 신호는 사용자가 제공한 캡션과 해시태그와 결합되어 단일 텍스트 표현으로 통합됩니다.
• 요약: 텍스트 전용 LLM 이 이 표현을 고정된 분류 체계에서 선택하는 대신 자유 형식의 주제 구나 개체로 요약하여 하류 분석을 위한 후보 주제를 생성합니다.

C. 단계 2: 시계열 버스트 탐지

• 지표: 시스템은 특정 주제에 대해 게시하는 고유 사용자 (UU) 수를 시간에 따라 추적합니다. 랭킹 알고리즘의 편향을 피하기 위해 시청자 측 신호는 제외됩니다.
• 알고리즘: 다중 스케일 버스트 탐지 알고리즘이 적용됩니다:
  1. 전처리 필터링: 긴 꼬리 노이즈를 줄이기 위해 M 명 미만의 UU 가 있는 주제는 제거됩니다.
  2. 이동 최대값 및 평균: 슬라이딩 윈도우가 사용자 수의 이동 최대값을 계산한 후, 이러한 최대값의 이동 평균을 계산하여 견고한 기준선을 설정합니다.
  3. 리프트 계산: "리프트 점수"는 현재 활동량을 보정된 기준선으로 나눈 비율로 계산됩니다.
  4. 트렌드 점수화: 여러 시간 창에 걸친 리프트 값은 가중 조화 평균을 사용하여 집계됩니다. 이는 최근 활동을 강조하면서 약한 신호를 패널티로 부과하여, 지속적이고 다중 스케일의 성장만 높은 점수를 받도록 보장합니다.

D. 단계 3: 후처리 (LLM 강화)

이 단계는 품질과 준수를 보장하기 위해 후보를 정제합니다:

• 민감도 필터링: LLM 이 안전 정책 위반 주제를 탐지하고 제거합니다.
• 일반성 필터링: LLM 이 "재미있는 비디오"와 같이 구체성이 부족한 지나치게 광범위한 주제를 제거합니다.
• 정밀도 제어: 트렌드 점수와 사용자 수준에 대한 적응형 임계값이 결과를 필터링합니다.
• 주제 통합: LLM 이 의미적으로 유사한 주제 (예: "2026 년 월드컵"과 "월드컵") 를 클러스터링하고 중복성을 제거하기 위해 가장 대표적인 표준 형식을 선택합니다.

E. 단계 4: 트렌드 풍부화

하류 시스템을 위해 트렌드를 실행 가능하게 만들기 위해:

• MLLM 분석: 멀티모달 LLM(예: Gemini 2.0 Flash) 이 해당 트렌드와 관련된 대표 비디오 세트를 분석하여 간결한 설명을 생성합니다.
• 종합: 텍스트 전용 LLM 이 이러한 설명을 집계하여 인간이 읽을 수 있는 요약을 생성하고, 주요 세부 사항을 추출하며, 표준 카테고리를 할당 (예: 스포츠, 뉴스) 하고, 구조화된 메타데이터 (예: 상위 국가, 탐지 시간) 를 생성합니다.

3. 주요 기여

1. 최초의 생산 규모 엔드 - 투 - 엔드 시스템: 이는 생산 규모에서 숏폼 비디오 플랫폼의 주제 트렌드 탐지를 위한 첫 번째 공개 시스템입니다.
2. 하이브리드 아키텍처: 다중 모달 주제 추출, 시계열 버스트 모델링, LLM 기반 통합/풍부화의 혁신적인 통합입니다.
3. 효율적인 LLM 활용: 경량 모델을 전체 규모 추출에 사용하고 무거운 MLLM 은 데이터의 일부에 대한 풍부화에만 사용하는 전략으로 의미적 정확성과 계산 효율성 사이의 균형을 맞춥니다.
4. 포괄적인 평가: 지속적인 오프라인 인간 평가를 통한 높은 정밀도와 온라인 A/B 테스트를 통한 측정 가능한 개선을 입증합니다.

4. 결과

오프라인 평가

• 정밀도: 6 개월 기간 (2025 년 7 월~12 월) 동안 독립적인 주석가들이 1,278 개의 트렌드를 검토했습니다. 시스템은 **전체 정밀도 92.8%**를 달성했습니다.
• 민감도: 정밀도와 커버리지 간의 균형을 최적화하기 위해 1.8 의 트렌드 점수 임계값이 생산용으로 선택되었습니다.

온라인 A/B 테스트

시스템은 전 세계적으로 배포되어 콘텐츠 랭킹 및 검색에 통합되었습니다. 주요 개선 사항은 다음과 같습니다:

• 콘텐츠 랭킹:
  • Spotlight Story 조회수 (미국): +0.86%
  • 콘텐츠 좋아요 비율: +11.5%(시기 적절한 콘텐츠에 대한 강력한 사용자 친화성 표시).
  • 콘텐츠 시의성 (<1 일): +1.89%
• 검색:
  • 노출 시의성 (<3 일): +2.38%
  • 인기 계정 오픈 (미국): +26%
  • 게시물 유형 포기율: -1.28%(감소).

5. 의의

이 연구는 대규모 언어 모델을 전통적인 정보 검색 및 시간 모델링과 결합한 것이 대규모 실세계 환경에서 실용적으로 타당함을 보여줍니다.

• 플랫폼 영향: 이는 Snapchat 이 신선하고 문화적으로 관련된 콘텐츠를 역동적으로 노출하여 사용자 경험과 크리에이터 참여를 직접적으로 개선할 수 있게 합니다.
• 연구 기여: 이는 숏폼 비디오 데이터의 이질성과 노이즈를 처리하기 위한 청사진을 제공하며, LLM 이 원시 다중 모달 신호와 구조화되고 실행 가능한 트렌드 지능 사이의 간극을 효과적으로 연결할 수 있음을 보여줍니다.
• 확장성: 이 아키텍처는 경량 추출과 무거운 풍부화 간의 작업을 전략적으로 분할함으로써 LLM 이 전 세계 규모로 비용 효율적으로 배포될 수 있음을 입증합니다.