💻 computer science

CLARA: Clip-Level Multimodal Alignment with VLM-Derived Rationales for Hateful Video Detection

이 논문은 비디오를 적응형 정렬을 갖춘 미세 조정된 시퀀스로 모델링하고, 시간적 의존성을 위한 대조 학습 및 VLM 유래 근거를 활용함으로써 혐오 비디오 탐지 성능을 향상시키는 새로운 클립 수준 멀티모달 프레임워크인 CLARA를 제안하며, 이를 통해 여러 데이터셋에 걸쳐 최첨단 성능을 달성한다.

원저자: Yuchen Zhang, Shuang Dai, Zeyu Fu, Yunfei Long, Ravi Shekhar, Haralambos Mouratidis

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuchen Zhang, Shuang Dai, Zeyu Fu, Yunfei Long, Ravi Shekhar, Haralambos Mouratidis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수십억 명의 화면 위에서 새로운 종류의 대화가 이루어지고 있습니다. 이는 농담이나 뉴스 클립, 혹은 개인적인 브이로그가 순식간에 무해한 것에서 해로운 것으로 변할 수 있는, 빠르게 스크롤되는 비디오 플랫폼의 흐름 속에서 발생합니다. 단어가 고정된 의미를 갖는 글 형태의 게시물과 달리, 비디오는 소리, 움직이는 이미지, 그리고 구어체가 층층이 쌓인 복합적인 구조를 지닙니다. 위험은 이러한 요소들이 어떻게 상호작용하느냐에 있습니다. 혐오 메시지는 단 한 문장의 외침으로 나타나지 않을 수도 있습니다. 대신, 일련의 프레임, 어조의 변화, 혹은 앞선 맥락을 통해서만 이해되는 시각적 신호를 통해 서서히 구축되며 나타날 수 있습니다. 이러한 콘텐츠를 탐지하는 것은 인터넷의 거대한 과제인데, 왜냐하면 가장 위험한 신호들은 종 것이다 짧고, 숨겨져 있으며, 그들이 나타나는 특정 순간에 의존하기 때문입니다.

오랫동안 컴퓨터 과학자들은 기계가 이러한 종류의 해로움을 포착하도록 가르치기 위해 노력해 왔습니다. 초기 노력은 특정 분노 섞인 단어를 찾는 텍스트에 집중되었습니다. 이후에는 이미지와 밈(meme)으로 옮겨가, 그림과 캡션이 어떻게 함께 작용하는지를 이해하려고 시도했습니다. 하지만 비디오는 독특한 문제를 제기합니다. 비디오는 단순히 이미지의 집합이나 음성의 전사본이 아닙니다. 그것은 시간이 흐름에 따라 의미가 변하는 흐르는 타임라인입니다. 만약 컴퓨터가 비디오 전체를 하나의 커다란 덩어리로 본다면, 혐-오가 실제로 발생하는 작고 결정적인 순간들을 놓치기 쉽습니다. 이는 마치 이야기의 처음과 마지막 문장만 읽어서 이야기를 이해하려는 것과 같습니다. 그 과정에서 핵심적인 줄거리의 정점들은 사라지게 됩니다.

에섹스 대학교와 엑서터 대학교의 연구진은 이를 해결하기 위한 새로운 방법을 제안했습니다. 그들은 이 시스템을 CLARA라고 부릅니다. 비디오를 하나의 크고 변하지 않는 객체로 취급하는 대신, CLARA는 비디오를 작고 의미 있는 조각들로 나눕니다. 비디오를 긴 문장이라고 상상해 보십시오. CLARA는 전체를 한꺼번에 읽지 않습니다. 대신 말소리의 자연스러운 끊김마다 멈추어, 말하는 내용과 일치하는 일련의 짧은 클립들을 생성합니다. 이러한 작은 세그먼트에 집중함으로써, 시스템은 설령 어떤 혐오적인 아이디어가 1분간의 중립적인 콘텐츠 속에 파묻혀 있더라도, 그 아이디어가 도입되는 찰나의 순간을 포착할 수 있습니다.

연구진은 혐오 영상들이 흔히 복합적인 단서들에 의존한다는 것을 발견했습니다. 화자는 충격적인 이미지를 보여주면서도 차분한 목소리를 사용하거나, 배경 음악이 공격적으로 변하는 동안 중립적인 문구를 사용할 수 있습니다. 이를 처리하기 위해 CLARA는 각 짧은 클립에 대해 어떤 단서가 가장 중요한지를 결정하는 유연한 시스템을 사용합니다. 때로는 텍스트가 핵심이 되기도 하고, 때로는 소리나 시각적 장면이 핵심이 되기도 합니다. 이 시스템은 전체 비디오에 대해 단일한 규칙을 강요하지 않습니다. 대신, 비디오가 진행됨에 따라 서로 다른 유형의 정보를 다르게 가중치를 두며 적응합니다. 이를 통해 시스템은 단순히 정적인 패턴을 찾는 것이 아니라, 혐오 메시지가 어떻게 진화하는지를 볼 수 있습니다.

시스템이 더 큰 그림을 이해할 수 있도록 하기 위해, 연구진은 두 번째 지능 계층을 추가했습니다. 이미지와 텍스트를 설명하고 추론하도록 훈련된 강력한 인공지능 도구를 사용하여 비디오의 의도에 대한 고차원적인 요약을 생성했습니다. 이 요약은 가이드 역할을 하여, 시스템이 작은 클립들이 어떻게 모여 더 큰, 잠재적으로 해로운 내러티브를 형성하는지 이해하도록 돕습니다. 시스템은 이러한 상세한 클립 수준의 관찰 결과와 고차원적 요약을 결합하여 비디오 콘텐츠의 완전한 그림을 만들어냅니다. 이 접근 방식은 시스템이 단순히 고립된 순간들을 보는 것이 아니라, 논증이나 이야기의 흐름을 이해하도록 보장합니다.

연구팀은 이 새로운 방법을 전 세계 다양한 소셜 미디어 플랫폼에서 가져온 세 가지 서로 다른 혐오 영상 모음집을 대상으로 테스트했습니다. 결과는 명확했습니다. 새로운 시스템은 기존의 가장 우수한 방법들을 지속적으로 능가했습니다. 무해한 영상을 잘못 분류하지 않으면서 혐오 영상을 정확하게 식별하는 데 더 뛰어났습니다. 연구진은 또한 시스템의 일부를 제거했을 때 어떤 일이 일어나는지 확인하기 위해 테스트를 수행했습니다. 비디오를 클립으로 나누는 능력을 제거하거나, 고차원적 가이드를 제거했을 때 시스템의 성능이 떨어졌습니다. 이는 그들의 설계 중 모든 부분이 필수적임을 확인해 주었습니다. 작은 특정 순간에 집중하면서도 전체적인 맥락을 주시하는 능력이 성공의 열쇠였습니다.

이 연구는 유해한 콘텐츠를 탐지하는 미래가 이러한 종류의 상세하고 시간 인지적인 분석에 달려 있음을 시사합니다. 인간이 비디오를 경험하는 방식, 즉 조각 하나하나, 순간 하나하나를 존중함으로써, 기계는 마침내 혐오 표현의 미묘하고 진화하는 본질을 볼 수 있게 됩니다. 연구진은 온라인 혐오 문제를 영원히 해결했다고 주장하는 것이 아니라, 그 일을 수행하기 위한 훨씬 더 날카로운 도구를 제공했다는 것입니다. 그들의 작업은 비디오 속의 위험을 이해하기 위해서는 단순히 전체 그림을 보는 것만으로는 부족하며, 하나의 작은 클립씩 이야기가 펼쳐지는 과정을 지켜봐야 한다는 것을 보여줍니다.

기술 요약: CLARA – VLM 유도 근거를 활용한 클립 수준의 다중 모달 정렬 기반 혐오 비디오 탐지

문제 정의

혐도 비디오 탐지는 콘텐츠 중재(content moderation) 분야에서 매우 중요하지만 아직 충분히 연구되지 않은 과제이며, 특히 비디오 중심의 소셜 미디어 플랫폼이 성장함에 따라 그 중요성이 더욱 커지고 있습니다. 텍스트나 정적 다중 모달 콘텐츠(예: 밈)와 달리, 비디오에서의 혐오적 의미는 음성, 오디오, 시각적 단서 사이의 복잡하고 시간 의존적인 상호작용으로부터 발생합니다. 이러한 신호들은 종 flares히 짧고, 암시적이며, 맥락에 민감하여, 단일 프레임이나 발화 내에 포함되기보다는 여러 클립에 걸쳐 점진적으로 나타나는 경우가 많습니다.

기존의 접근 방식은 주로 조대(coarse) 비디오 수준 모델링에 의존하며, 이는 전체 비디오를 하나의 전역 표현(global representation)으로 인코딩한 후 융합 및 분류를 수행합니다. 이러한 패러다임은 세 가지 주요 한계점을 가집니다:

시간적 해상도 손실: 비디오를 단일 표현으로 압축하면 짧고 결정적인 혐오 순간이 긴 중립적 구간에 의해 희석될 위험이 있습니다.
경직된 융합 전략: 고정된 융합 규칙은 시간에 따른 모달리티 기여도의 역동적인 변화(예: 혐오의 주체가 말에서 시각적 맥락으로 이동하는 경우)에 적응하지 못합니다.
국소적-전역적 모델링의 단절: 이전 연구들은 국소적 단서와 더 넓은 담론 맥락 사이의 관계를 명시적으로 모델링하는 경우가 드물며, 이는 암시적 혐해를 해석하는 데 필수적입니다.

방법론: CLARA 프레임워크

저자들은 CLARA(Clip-Level Multimodal Alignment with VLM-Derived Rationales)를 제안하며, 이는 기본 모델링 단위를 전체 비디오에서 **발화 정렬 클립(utterance-aligned clips)**으로 전환합니다. 이 아키텍처는 여섯 가지 주요 구성 요소로 이루어져 있습니다:

1. 발화 정렬 클립 분할

고정된 길이의 분할 대신, Whisper-large-v3 전사(transcription)와 타임스탬프를 사용하여 발화 경계를 기준으로 비디오를 분할합니다. 이를 통해 각 클립이 의미론적으로 일관된 단위를 갖도록 보장합니다. 침묵 구간은 1초 미만의 휴지(pause)는 인접 클립에 병합하고, 1초 이상의 긴 휴지는 담론 구조를 보존하기 위해 독립적인 세그먼트로 유지하여 처리합니다.

2. MoE 기반 클립 인코더

각 클립에 대해 다음과 같은 다중 모달 특징을 추출합니다:

오디오: Whisper-large-v3로부터 추출된 원시 임베딩.
시각: 사전 학습된 ViT로부터 추출된 프레임 수준 임베딩 (프레임 예산은 클립 길이에 비례하여 할당).
텍스트: BERT로 인코딩된 전사 내용과 OCR 텍스트(PaddleOCR을 통해 추출)의 결합된 임베딩.

이러한 특징들은 공유 잠재 공간(shared latent space)으로 투영되며, 혼합 전문가(Mixture-of-Experts, MoE) 인코더를 사용하여 융합됩니다. 게이팅 네트워크는 입력을 특정 하위 전문가 집합(Top-K)으로 동적으로 라우팅하여, 정적인 융합 대신 입력 의존적이고 적응적인 다중 모달 정렬을 가능하게 합니다. 부하 분산 손실(load-balancing loss)은 효율적인 전문가 활용을 보장합니다.

3. 국소적-전역적 세그먼트 대조 학습

국소적 단서와 전역적 맥락을 연결하기 위해 대조 목적 함수가 도입됩니다. 모델은 다음을 구성합니다:

국소 세그먼트(Local Segments): 연속된 클립들의 짧은 시퀀스.
전역 세그먼트(Global Segments): 비디오 전체를 아우르는 더 긴 시간적 범위.
목적 함수는 동일한 비디오 내의 국소 세그먼트와 전역 세그먼트 간의 일관성(양의 쌍)을 강제하는 동시에, 서로 다른 비디오의 세그먼트 간에는 거리를 멀어지게(negative pairs) 합니다. 이는 모델이 단기 신호와 장기적 시간 의존성을 모두 포착하도록 독려합니다.

4. VLM 기반 근거 생성

시각-언어 모델(Qwen3VL-8B-Instruct)이 2단계 프롬프팅 과정을 통해 **비디오 수준의 근거(rationales)**를 생성합니다:

객관적 분석: 시각적 요소 기술, 텍스트 요약, 그리고 이들의 관계 설명.
혐오 검증: 혐오 여부(명시적/암시적) 판별 및 증거 기반 이유 제공.
이러한 근거는 고차원적인 의미론적 가이드 역할을 합니다.

5. 근거 게이트형 트랜스포머 (Rationale-Gated Transformer)

생성된 근거 임베딩과 클립 시퀀스는 게이트형 트랜스포머를 통해 통합됩니다. 경량화된 게이팅 메커니즘은 시간적 인코딩 전, 근거 브랜치와 클립 브랜치의 기여도를 조절합니다. 이를 통해 모델은 최종 비디오 표현으로 집계하기 전, 고차원적인 의미론적 추론과 세밀한 클립 증거 사이의 가중치를 동적으로 조절할 수 있습니다.

6. 학습 목적 함수

모델은 다음의 조합을 사용하여 최적화됩니다:

지도 학습 교차 엔트로피 손실(Supervised Cross-Entropy Loss): 최종 혐오 분류를 위함.
대조 손실( $L_{CL}$ ): 국소-전역 정렬을 위함.
부하 분산 손실( $L_{LB}$ ): MoE 안정성을 위함.

주요 기여

클립 수준 패러다임: CLARA는 비디오를 발화 정렬 클립의 시퀀스로 명시적으로 표현함으로써, 조대한 비디오 수준 모델링을 넘어 미세한 시간적 단위를 보존합니다.
적응형 아키텍처: 동적 융합을 위한 MoE 클립 인코더, 교차 스케일 시간적 일관성을 위한 국소-전역 대조 학습, 그리고 의미론적 가이드를 위한 VLM 유도 근거를 통합하는 게이트형 트랜스포머를 결합한 프레임워크를 제공합니다.
최첨단 성능: 광범위한 실험을 통해 CLARA가 여러 데이터셋에서 기존 베이스라인 모델들을 일관되게 능가함을 입증했습니다.

실험 결과

저자들은 HateMM, MultiHateClip(중국어 및 영어 서브셋), DeHate의 세 가지 데이터셋에서 CLARA를 평가했습니다.

성능: CLARA는 모든 데이터셋과 지표(Accuracy, Macro-F1, Macro-Precision, Macro-Recall)에서 최첨단(SOTA) 결과를 달성했습니다.
- HateMM에서 CLARA는 **87.9%의 정확도(Accuracy)**와 87.2%의 Macro-F1을 기록하였으며, 이는 두 번째로 우수한 방법인 MM-HSD보다 정확도에서 4.0%(0.879 vs 0.839), Macro-F1에서 3.9%(0.872 vs 0.833) 높은 수치입니다.
- MHC_CN, MHC_EN, DeHate에서도 유사한 유의미한 개선이 관찰되었으며, 모든 데이터셋에서 정확도는 2.4%~~5.3%, Macro-F1은 2.7%~~7.4%의 절대적 향상을 보였습니다.
절제 연구(Ablation Studies): 모달리티, MoE, 대조 학습, 근거, 또는 게이트형 트랜스포머 중 하나라도 제거할 경우 성능 저하가 발생했습니다. 특히, 게이트형 트랜스포머를 제거했을 때 성능이 크게 하락하여 명시적인 시간적 모델링의 중요성을 입증했습니다.
파라미터 분석:
- MoE: 10개의 전문가와 Top-2 라우팅을 사용할 때 최적의 성능을 보였으나, 8~10개의 전문가 구성에서도 강력한 결과를 나타냈습니다.
- 대조 가중치: $\lambda_{CL} \approx 0.4$ 의 중간 정도의 가중치가 정렬과 분류 사이의 최적의 균형을 제공했습니다.
- 프레임 예산: 상대적으로 작은 예산(40 프레임)으로도 충분했으며, 더 큰 예산은 추가적인 이득을 주지 않았습니다.

의의 및 주장

본 논문은 효과적인 혐오 비디오 탐지를 위해서는 단순히 여러 모달리티를 통합하는 것뿐만 아니라, 언제 그리고 어떤 시간적 해상도로 이들을 정렬하느냐가 중요하다고 주장합니다. CLARA는 다중 모달 상호작용을 발화 정렬 클립 수준으로 전환함으로써, 전역 비디오 모델링에서 발생하는 결정적인 혐오 단서의 희석 문제를 완화합니다.

저자들은 CLARA가 다음과 같은 방식으로 암시적이고 맥락 의존적인 혐해 문제를 효과적으로 해결한다고 단언합니다:

미세한 시간적 구조를 보존합니다.
대조 학습을 통해 국소적 증거와 더 넓은 담론을 명시적으로 연결합니다.
압축 전 단계에서 시퀀스 수준의 해석을 가이드하기 위해 VLM 유도 근거를 활용합니다.

이 연구는 CLARA를 고정된 융합 전략과 조대한 표현 방식을 넘어, 시간이 흐름에 따라 혐오적 의미가 어떻게 전개되는지에 대한 더 미묘한 이해를 제공하는 견고한 최첨단 솔루션으로 포지셔닝합니다.