기술 요약: Gen2Balance

문제 정의

롱테일 비디오 행동 인식(Long-tailed video action recognition)은 클래스 분포가 심하게 왜곡되어, 소수의 "헤드(head)" 클래스가 데이터셋을 지배하고 많은 "테일(tail)" 또는 "퓨샷(few-shot)" 클래스는 샘플이 매우 부족한 근본적인 과제에 직면해 있습니다. 롱테일 학습은 이미지 인식 분야에서는 진전을 이루었으나, 비디오 인식 분야는 여전히 크게 뒤처져 있습니다. 리샘플링, 리웨이팅(re-weighting), 특징 공간 증강(feature-space augmentation)과 같은 기존 방식들은 균형 잡힌 벤치마크와 롱테일 벤치마크 사이의 성능 격차를 메우는 데 종종 실패합니다. 예를 들어, UCF-101 데이터셋의 경우, 균형 잡힌 설정에서의 정확도는 92%이지만 롱테일 불균형 상황에서는 64%로 급락합니다. 또한, 현재의 비디오 생성 모델은 시간적 역동성, 물리적 타당성, 객체 영속성 측면에서 어려움을 겪고 있으며, 이는 합성 비디오가 행동 클래스를 돕기에 충분히 다양하고 충실할 수 있는지에 대한 의문을 제기합니다.

방법론: Gen2Balance

저자들은 텍스트-비디오 생성 모델을 통해 생성된 합성 비디오로 훈련 세트를 증강함으로써 롱테일 비디오 인식을 해결하는 프레임워크인 Gen2Balance를 제안합니다. 이 방법은 두 가지 주요 구성 요소인 생성적 채우기 파이프라인(generative filling pipeline)과 2단계 훈련 전략으로 구성됩니다.

1. 생성적 채우기 파이프라인 (Generative Filling Pipeline)

과소 대표되는 클래스를 위해 다양하고 클래스에 충실한 비디오를 합성하기 위해, 저자들은 멀티모달 대규모 언어 모델(LLM)과 텍스트-비디오 생성기(WAN 2.1)를 사용하는 구조화된 파이프라인을 채택합니다. 이 파이프라인은 네 단계를 통해 의미론적 모호성과 다양성 부족 문제를 해결합니다:

• 텍스트 프롬프트 다양화: LLM은 시각적 다양성을 보장하기 위해 9가지 축(예: 환경, 카메라 프레이밍, 배우 인구 통계, 조명, 사회적 맥락)을 따라 변화하는 프롬프트를 생성합니다.
• 행동 프로필 (Action Profiles): 의미론적 모호성(예: "Robot Dancing"이 기계적인 로봇이 아닌 인간의 춤 스타일을 의미하는 경우)을 해결하기 위해, LLM은 정의, 긍정적 제약 조건(핵심 시각적 특징), 부정적 제약 조건(흔한 오해)을 포함하는 "행동 프로파일"을 생성합니다.
• 인-컨텍스트 예시 (In-Context Exemplars): 행동 프로파일을 올바른 의미론에 더욱 밀착시키기 위해, LLom에는 몇 가지 실제 훈련 비디오가 인-컨텍스트 예시로 제공됩니다. 결정적으로, 이러한 예시들은 프로파일 생성을 위한 정보를 제공할 뿐 최종 프롬프트에 직접 영향을 주지 않음으로써 프롬프트의 다양성을 보존합니다.
• 비디오 생성: 생성된 프로파일에 조건화된 다양화된 프롬프트가 텍스트-비디오 생성기에 입력되어 합성 클립을 생성합니다.

2. 2단계 훈련 전략 (Two-Stage Training Strategy)

합성 데이터와 실제 데이터를 혼합하여 직접 훈련하는 것은 합성 아티팩트(artifact)에 대한 과적합 및 도메인 시프트(domain shift)의 위험을 초래합니다. 이를 완화하기 위해 Gen2Balance는 두 단계의 훈련 과정을 사용합니다:

• 1단계 (증강된 데이터로부터 학습): 모델은 결합된 데이터셋($D_{train} \cup D_{gen}$)을 사용하여 Balanced Softmax (BSCE) 손실 함수로 훈련됩니다. 결정적으로, 손실 마진은 증강된 빈도가 아닌 실제 데이터 빈도($N_c$)를 기준으로 계산됩니다. 이를 통해 모델은 특징 학습을 위해 풍부한 합성 데이터를 활용하면서도, 실제 클래스 사전 확률에 맞춰 조정된 결정 경계를 유지할 수 있습니다.
• 2단계 (실제 데이터에 대한 리허설): 모델은 감소된 학습률과 함께 동일한 BSCE 손실을 사용하여 원래의 실제 훈련 세트($D_{train}$)로만 미세 조정됩니다. 이 단계는 도메인 시프트를 교정하고 합성 데이터로부터 학습된 표현의 파괴적 망각(catastrophic forgetting)을 방지합니다.

주요 기여

1. 프레임워크 제안: 실제 비디오와 합성 클립의 균형 잡힌 조합으로 불균형한 비디오 데이터셋을 변환하는 생성적 균형 접근 방식인 Gen2Balance를 도입했습니다.
2. 자동 파이프라인 및 데이터셋 개발: 멀티모달 LLM(Gemini 2.5 Pro)과 비디오 생성기(WAN 2.1)를 사용하여 클래스에 충실한 비디오를 합성하는 자동 파이프라인을 개발했습니다. 저자들은 UCF-LT, K100-LT, RareAct에 걸친 223개 행동 클래스를 포괄하는 상세한 프롬프트를 포함한 140K개의 합성 비디오로 구성된 보완 데이터셋을 공개합니다.
3. 훈련 전략 분석: 2단계 훈련 전략(증강 후 실제 데이터)이 실제 데이터 유래 마진을 사용하는 클래스 균형 손실과 결합되었을 때, 표준 훈련이나 단일 단계 접근 방식보다 우수한 결과를 낸다는 것을 입증했습니다.
4. 포괄적 평가: Kinetcs-100 (K100-LT) 및 UCF-101 (UCF-LT)의 롱테일 분할, 그리고 RareAct 데이터셋의 희귀 행동에 대한 광범위한 평가를 수행했습니다.

실험 결과

저자들은 롱테일 버전의 표준 벤치마크에서 Gen2Balance를 평가합니다:

• K100-LT: Gen2Balance는 가장 강력한 롱테일 베이스라인(BSCE) 대비 클래스 평균 정확도를 7.0% 향상시켜 72.6%의 전체 정확도를 달もの았습니다. 특히 퓨샷 클래스 정확도를 +38.8% 끌어올렸습니다.
• UCF-LT: 이 방법은 가장 강력한 베이스라인보다 정확도를 5.1% 개선하여 88.9%의 전체 정확도에 도달했으며, 퓨샷 클래스에서 **+48.0%**의 이득을 얻었습니다.
• RareAct: 희귀하고 복합적인 행동(예: "cut keyboard")에 대해 Gen2Balance는 정확도를 31.9% 향상시켜, 진정으로 희소한 행동에 대한 효과를 입증했습니다.
• Ablation & Scaling:
  • 부분적 균형 (Partial Balancing): 부분 채우기 임계값(partial filling threshold)을 설정함으로써 계산 비용의 27%만 사용하고도 성능 향상의 79%를 달성하여, 이 방법의 확장성을 강조했습니다.
  • 데이터 소스: Gen2Balance는 웹 검색 증강 및 정적 이미지 생성보다 우수한 성능을 보여, 모션 큐(motion cues)의 필요성과 단순 템플릿 방식보다 특정 프롬프팅 파이프라인이 우수함을 확인했습니다.
  • 강건성: 생성기의 훈련 분포에서 퓨샷 클래스가 통계적으로 드문 경우(Web-Popularity 재인덱싱)에도 이 방법은 강건함을 유지합니다.

의의 및 주장

본 논문은 웹 검색이나 특징 공간 보간에 의존하는 대신, 생성 모델을 사용하여 누락된 다양성을 합성함으로써 롱테일 비디오 인식을 위한 중요한 진전을 이루었다고 주장합니다. 저자들은 다음을 강조합니다:

• 현재의 생성 모델은 적절한 행동 프로파일로 신중하게 프롬프팅될 때, 롱테일 환경에서 최첨단 성능을 달성할 수 있을 만큼 충분한 품질의 비디오를 생성합니다.
• 2단계 훈련 전략은 도메인 시프트를 효과적으로 완화하여, 모델이 실제 데이터에 대한 성능을 저해하지 않으면서 합성 데이터로부터 학습할 수 있게 합니다.
• 이 접근 방식은 실용적이고 확장 가능하며, 부분적 균형을 통해 훨씬 적은 계산 비용으로 상당한 이득을 얻을 수 있습니다.
• 공개된 140K 합성 비디오 데이터셋은 비디오 이해를 위한 생성적 균형 연구의 자원으로 활용될 수 있습니다.

이 연구는 비디오 생성의 모든 문제(물리 법칙 및 객체 영속성 문제 인정)를 해결한다고 주장하는 것이 아니라, 행동 인식이라는 특정 작업에 있어서 생성된 콘텐츠가 데이터 부족을 극복할 만큼 충분히 다양하고 의미론적으로 정확하다는 점을 주장합니다.