기술 요약: VIDEONORMS

문제 정의

비디오 거대 언어 모델(VideoLLMs)이 전 세계적으로 배포됨에 따라, 서로 다른 문화적 맥락을 가로지르는 이들의 추론 능력을 평가할 수 있는 비판적인 필요성이 대두되고 있습니다. 일반적인 객체 인식, 시간적 추론, 서사 이해는 광범로 벤치마킹되어 왔으나, 비디오 LLM의 문화적 역량—특히 사회적 규범(socio-cultural norms)에 대한 이해—은 아직 미개척 영역으로 남아 있습니다. 사회적 규범은 특정 문화 내에서 수용 가능하고 적절한 행동을 규정하는 사회적 규칙으로 정의됩니다. 이를 멀티모달 맥락에서 평가하는 것은 비언어적 단서(예: 시선, 제스처)와 언어적 특징(예: 비꼬기)을 통해 표현되는 암묵적 의미를 올바르게 해석해야 하며, 동시에 문화 간에 문서화된 가치와 규범의 차이를 고려해야 하므로 특히 까당합니다. 기존의 벤치마크들은 주로 텍스트 기반의 사회적 규범이나 문화적으로 정렬된 이미지 생성에 집중되어 있으며, 비디오 기반의 교차 문화적 규범 이해를 위한 체계적인 프레임워크는 결여되어 있습니다.

방법론

데이터셋 구축: VIDEONORMS

저자들은 인기 있는 미국 및 중국 TV 쇼에서 추출한 사회적 규범에 대한 3,000개 이상의 주석(annotation)으로 구성된 VIDEONORMS 데이터셋을 소개합니다. 데이터셋 구축 과정은 세 단계로 구성된 인간-AI 협업 프레임워크를 활용합니다:

1. 비디오 선택 (Video Selection): 드라마와 코미디 장르를 아우르는 공식적(직장) 및 비공식적 사회적 환경을 모두 포함하도록 8개의 인기 TV 쇼(미국 4개, 중국 4개)를 선정했습니다. 이 선정 방식은 대본이 있는 TV 프로그램이 현실 세계의 문화적 기대를 반영한다는 사회학적 연구에 근거합니다. 여기서 구체적인 사회적 상호작용을 분리하기 위해 15초 길이의 클립을 샘플링했습니다.
2. 후보 주석 생성 (Candidate Annotation, AI-First): 대규모 비디오 LLM(Gemini-2.0-Pro)을 사용하여 초기 후보 주석을 생성했습니다. 모델은 비디오 클립을 바탕으로 후보 규범 범주, 준수/위반 라벨, 그리고 그에 대응하는 언어적 및 비언적 증거를 추출했습니다. 모델은 영어와 중국어 맥락 모두에 적합하도록 조정된 사회적 규범 분류 체계(예: 인사, 사과, 동의)를 사용하여 프롬프트되었습니다.
3. 인간 정제 (Human Refinement): 각 후보 주석은 해당 문화권(미국 또는 중국)에 대한 상당한 삶의 경험을 가진 최소 3명의 숙련된 단일 문화 주석가(monocultural annotators)에 의해 검토되었습니다. 주석가는 타임스탬프, 규범 범주, 준수/위반 라벨, 증거의 정확성을 검증하고 오류를 수정했습니다.

벤치마킹을 위한 높은 신뢰성을 보장하기 위해, 세 명의 주석가가 맥락, 범주, 대상, 특정 규범, 그리고 준수/위반 라벨에 대해 모두 동의한 사례들로 구성된 VIDEONORMS-BENCHMARK라는 합의 기반 서브셋을 생성했습니다.

평가 과제 및 지표

본 논문은 오픈 웨이트(open-weight) VideoLLM을 위한 두 가지 평가 과제를 제안합니다:

1. 이진 분류 (Binary Classification): 비디오 클립, 스크립트, 규범 범주 및 특정 규범이 주어졌을 때, 특정 문화적 규범이 준수되었는지 또는 위반되었는지를 예측합니다.
2. 설명 가능한 예측 (Explainable Prediction): 준수/위반 라벨을 예측하고 이를 뒷받침하는 언어적 및 비언적 증거를 생성합니다.

성능은 Macro F1 점수를 사용하여 측정됩니다. 설명 과제의 경우, LLM-as-a-Judge 프로토콜(GPT-5 사용)을 통해 생성된 증거의 품질을 참조 주석과 비교하여, 내용 인지와 문화적 추론을 구분하는 5점 척도 루브릭(rubric)으로 평가합니다. 또한, 쇼의 난이도 및 아이템 유형과 같은 변수를 통제하면서 모델, 문화적 맥락, 규범 범주 간의 성능 격차를 분석하기 위해 **계층 선형 모델링 (Hierarchical Linear Modeling, HLM)**이 적용됩니다.

절제 연구 (Ablation Studies)

저자들은 입력 모달리티(비디오 vs. 스크립트), 모델 크기, 그리고 샘플링된 프레임 수가 작업 성능에 기여하는 바를 분리하기 위해 절제 연구를 수행합니다.

주요 기여

1. 인간-AI 협업 프레임키워크: 강력한 멀티모달 모델을 초기 생성에 활용하고 단일 문화 전문가를 정제에 사용하는, 비디오 내 사회적 규범 주석을 위한 새로운 2단계 프레임워크를 제시합니다. 이 접근 방식은 처음부터 수동으로 주석을 다는 비효율성을 해결합니다.
2. VIDEONORMS 데이터셋: 미국 및 중국의 문화적 맥락을 포괄하며 상세한 언어적 및 비언어적 증거를 포함하는 3,000개 이상의 주석과 542개의 필터링된 벤치마크를 갖춘 고품질 데이터셋을 제공합니다.
3. VideoLLM에 대한 실증적 분석: 교차 문화적 규범 이해에 관한 오픈 웨이트 VideoLLM의 첫 번째 체계적인 비교를 수행하여, 구체적인 성능 격차와 추론 병목 현상을 밝혀냈습니다.

결과 및 발견

7개의 오픈 웨이트 VideoLLM(LLaVA 계열, InternVL, Qwen-VL, VideoChatR1 포함)을 평가한 결과 다음과 같은 사실이 밝혀졌습니다:

• 문화적 성능 격차: 모델들은 중국 문화 맥락에서 미국 문화 맥락보다 일관되게 낮은 성능을 보였습니다. 계층 선형 모델링 결과, 규범 준수를 올바르게 예측할 확률이 중국 맥락보다 미국 맥락에서 57% 더 높았습니다 (OR=1.57, p=0.006). 이는 현재의 모델들이 결여하고 있는 문화 특이적 추론이 규범 준수 예측에 필요함을 시사합니다.
• 비언어적 증거 병목 현상: 모델들은 언어적 증거에 비해 비언어적 증거를 생성하는 데 훨씬 더 큰 어려움을 겪었습니다. 언어 백본(backbone)은 스크립트를 효과적으로 분석할 수 있지만, 시선이나 제스처와 같은 시각적 사회적 신호를 해석하는 멀티모달 능력은 여전히 병목 구간으로 남아 있습니다.
• 모달리티의 필요성: 절제 연구를 통해 비디오 모달리티가 높은 성능을 위해 필수적임을 확인했습니다. 스크립트만 입력으로 사용할 경우, 특히 의미가 비언어적 신호를 통해 전달되는 경우가 많은 고맥락 문화(high-context culture)인 중국 맥락에서 분류 점수가 현저히 낮아졌습니다.
• 스케일링의 한계: 모델 크기를 키우는 것(4B에서 14B 파라미터로)이 분류 점수의 향상을 반드시 보장하지는 않았습니다. 더 큰 모델이 증거의 품질에서 약간의 이득을 보일 수는 있으나, 문화적 추론의 성능 격차는 지속되었습니다. 이는 병목 현상이 원시 모델 용량보다는 문화적으로 정보가 풍부한 학습 데이터의 부족에 있음을 시사합니다.
• 주석 격차: 인간 검증 결과, 미국 콘텐츠(18–26%)에 비해 중국 콘텐츠(42–53%)에 대해 AI 생성 주석의 수정률이 높게 나타났습니다. 이는 학습 데이터에서 과소 대표된 문화에 대해 완전히 자동화된 접근 방식을 경계해야 함을 보여줍니다.

의의 및 한계

본 논문은 이전에 다뤄지지 않았던 과제인 비디오에서의 교차 문화적 규범 벤치마킹을 위한 실질적인 출발점으로서 VIDEONORMS를 위치시킵니다. 저자들은 진정한 문화적 역량을 달 Achieve 하기 위해서는 비디오 모델 학습에 더 다양한 문화적 데이터가 필요하다는 점을 강조합니다.

저자들은 다음과 같은 한계점을 명시적으로 인정합니다:

• 범위: 본 연구는 두 국가(미국, 중국)로 제한되며, 전체적인 문화적 역량이나 이들 국가의 이질적인 인구 통계적 다양성을 모두 포착한다고 주장하지 않습니다.
• 데이터 소스: 자연스러운 상호작용 대신 "문화적 거울"로서 대본이 있는 TV 쇼에 의존한 것은 필요한 단순화이지만, 선행 연구들은 대본에 대한 친숙함이 이 작업에 필요한 추론을 대체할 수는 없음을 시사합니다.
• 주석가 대표성: 예산 제약으로 인해 국가당 3명의 주석가만을 사용하였으며, 이는 다양한 인구 집단을 완전히 대표하지 못할 수 있습니다.
• 편향 위험: 저자들은 이 벤치마크를 스테레오타이핑(생태학적 오류)에 사용하는 것을 경계하며, 높은 점수가 반드시 진정한 문화적 역량과 일치하는 것은 아니라는 점에서 메트릭에 대한 과최적화(over-optimization)의 가능성을 언급했습니다.

궁극적으로, 이 연구는 엄격하고 인간에 의해 검증된 평가를 통해 비디오 모델의 문화적 역량을 이해하고 개선하기 위한 기초적인 단계 역할을 합니다.