기술 요약: COPRA – 비디오 이상 탐지를 위한 강화 학습 기반 조건부 파라미터 적응

1. 문제 정의 및 동기

비디오 이상 탐지 (VAD) 는 약한 감독 하에서, 즉 비디오 수준의 라벨만 제공되는 상황에서 긴 비디오 내의 드물고 예상치 못한 사건을 식별하는 것을 목표로 합니다. 비전 - 언어 모델 (VLM) 은 의미적 사전 지식을 활용하고 해석 가능성을 제공함으로써 VAD 에서 유망한 성과를 보여왔으나, 본 논문은 기존 접근법에서 두 가지 중요하지만 충분히 탐구되지 않은 한계를 지적합니다:

1. 공유 파라미터 병목 현상: 현재 VLM 기반 VAD 방법들은 훈련 후 정적이며 공유된 파라미터 공간 (예: 고정된 프롬프트 또는 전역 미세 조정 가중치) 에 의존하는 경향이 있습니다. 이는 교통 사고와 소매 절도 등 이질적인 이상 유형과 다양한 장면 맥락을 단일 타협된 해결책으로 강제합니다. 결과적으로 이러한 모델들은 훈련 분포에 과적합되어 보지 못한 도메인이나 새로운 이상 유형으로 일반화하지 못합니다.
2. 훈련 - 추론 불일치: 기존 파이프라인은 긴 비디오에서 희소하게 샘플링된 프레임으로 약한 비디오 수준의 감독 하에 훈련하지만, 세밀한 국소화를 위해 밀집하게 샘플링된 슬라이딩 윈도우에서 추론을 수행합니다. 이러한 불일치는 희소 입력에서 학습된 파라미터가 밀집된 국소 결정에 적용됨으로써 모션, 시점, 의미적 변화 하에서 성능이 저하되는 모순을 초래합니다.

2. 방법론: COPRA 프레임워크

저자들은 VAD 를 인스턴스 조건부 적응 문제로 재정의하는 COPRA(Conditional PaRameter Adaptation) 를 제안합니다. 단일 정적 업데이트를 학습하는 대신, COPRA 는 각 비디오 세그먼트에 대해 입력별 파라미터 업데이트를 동적으로 생성하여 대부분 동결된 VLM 을 실시간으로 조절합니다.

핵심 아키텍처

• 인스턴스 조건부 파라미터 생성: COPRA 는 입력 비디오 $V$에서 파생된 컴팩트한 시각적 조건 신호를 받아 특정 파라미터 업데이트 $\Delta\theta(V)$를 예측하는 경량 생성기 네트워크 $g_{\phi_2}$를 사용합니다.
• 시각적 조건부: 입력 비디오는 균일하게 샘플링 (예: $K=8$ 프레임) 되어 동결된 비전 인코더 (VLM 의 하위 모듈) 에 의해 처리되어 시각 토큰을 생성합니다. 이러한 토큰은 생성기를 위한 유일한 조건 신호로 작용합니다.
• LoRA 가중치 합성: 생성기는 시각 토큰을 토큰화된 인스턴스 조건부 LoRA(Low-Rank Adaptation) 가중치로 매핑하는 Transformer 입니다. 이러한 가중치는 동결된 VLM 백본 (특히 쿼리 - 키 - 값 투영, 게이팅 모듈, 출력 변환을 대상으로 함) 에 잔차 업데이트로 주입됩니다.
• 하이브리드 적응: 생성된 LoRA 파라미터는 학습 가능한 전역 잠재 사전 ($p_{global}$) 으로 초기화되어, 데이터셋 수준의 적응 패턴과 입력별 잔차를 결합합니다. 이를 통해 모델은 현재 인스턴스에 특화되면서도 일반 지식을 유지할 수 있습니다.

강화 학습을 통한 훈련

COPRA 는 비디오 수준의 감독 하에 그룹 상대 정책 최적화 (GRPO) 를 사용하여 엔드 - 투 - 엔드로 훈련됩니다:

• 정책: 생성기 $g_{\phi_2}$는 시각 신호를 파라미터 업데이트로 매핑하는 정책으로 작용합니다.
• 보상 설계: 시스템은 최종 비디오 수준 분류 (정상 vs 이상) 의 정확성과 형식 준수를 기반으로 이진 보상을 사용합니다.
• 메커니즘: 주어진 비디오에 대해 모델은 적응된 파라미터를 사용하여 여러 응답 시퀀스를 생성합니다. 이득은 이러한 보상의 그룹별 정규화를 통해 계산됩니다. 이는 생성기가 올바른 예측으로 이어지는 파라미터 업데이트를 생성하도록 장려하여, 가중치 자체에 대한 명시적 감독 없이도 "가중치 공간 생성" 메커니즘을 학습하게 합니다.

유연한 시간적 적응

훈련 - 추론 불일치를 해결하기 위해 COPRA 는 유연한 샘플링 전략을 지원합니다. 추론 중 비디오는 중첩된 세그먼트로 분할됩니다. 프레임워크는 특정 시간적 청크 (예: 120 초 청크) 에 대한 파라미터를 생성하고 해당 맥락 내의 로컬 세그먼트 점수 매기기에 이를 재사용할 수 있어, 시간적 세분성을 유지하면서 맥락 인식형 파라미터 공유를 가능하게 합니다.

3. 주요 기여

1. 공유 파라미터 병목 현상의 식별: 본 논문은 VLM 기반 VAD 에서 정적이며 공유된 적응이 이질적인 요구사항을 단일 타협으로 강제함으로써 일반화를 제한하는 방식을 명확히 합니다.
2. 인스턴스 조건부 적응 프레임워크: COPRA 는 VAD 를 인스턴스 조건부 문제로 공식화한 최초의 프레임워크로 제시되며, 생성된 LoRA 가중치를 통해 각 비디오 세그먼트에 대해 VLM 동작을 동적으로 특화합니다.
3. RL 기반 파라미터 생성: 약한 감독 하에 강화 학습 (GRPO) 으로 훈련된 조건부 파라미터 생성 프레임워크를 도입하여, 전체 미세 조정 없이도 동적이며 입력별 적응을 가능하게 합니다.
4. 강건한 일반화: 이 프레임워크는 훈련 - 추론 불일치를 완화하고 도메인 간 간섭을 줄여 다양한 이상 패턴 및 시간적 역동성 전반에 걸쳐 강건성을 향상시키는 것으로 나타났습니다.

4. 실험 결과

저자들은 표준 VAD 벤치마크 및 도메인 간 작업에서 COPRA 를 평가했습니다:

• 동일 도메인 성능: UCF-Crime 및 XD-Violence에서 COPRA 는 동결된 VLM 베이스라인과 강력한 정적 적응 방법 (예: VERA) 을 일관되게 능가했습니다.
  • UCF-Crime 에서 COPRA 는 InternVL2-8B 의 AUC 를 84.31% 에서 **87.14%**로 향상시켰습니다.
  • XD-Violence 에서 InternVL2-8B 의 AP 를 74.32% 에서 **76.52%**로 향상시켰습니다.
  • 제거 실험은 인스턴스 조건부 적응이 정적 GRPO 기반 적응보다 현저히 우수함을 확인했습니다.
• 도메인 간 일반화: UCF-Crime 에서만 훈련된 COPRA 는 다음과 같은 제로샷 평가에서 평가되었습니다:
  • VRU-Accident: 밀집 캡션링 의미 지표 (SPICE, METEOR) 및 다중 선택형 VideoQA 정확도를 향상시켰습니다.
  • HIVAU-70K: 클립, 이벤트, 비디오 수준 전반에 걸쳐 자연어 설명 생성을 강화했습니다.
• 시간적 적응: 실험은 더 큰 시간적 청크 (예: 120 초) 에 대한 파라미터를 생성하고 이를 로컬 세그먼트에 재사용하는 것이 최상의 성능을 보였으며, 시간적 적응 전략의 유연성을 입증했습니다.
• 정성적 분석: t-SNE 시각화는 COPRA 가 베이스라인에 비해 정상 및 이상 비디오를 더 잘 분리하는 더 구별력 있는 임베딩을 생성함을 보여주었습니다. 생성된 설명도 더 일관성이 있으며 이상 관련 단서에 초점을 맞추었습니다.

5. 의미 및 주장

본 논문은 COPRA 가 기초 모델에 대한 효과적인 가중치 공간 생성 메커니즘을 제공한다고 주장합니다. 정적이며 공유된 파라미터에서 동적이며 입력 조건부 적응으로 전환함으로써, COPRA 는 다음을 가능하게 합니다:

• 확장성: 전체 재훈련 없이 대규모 동결 모델을 특정 작업에 적응시킵니다.
• 적응성: 각 입력에 대한 결정 경계를 맞춤화하여 중요한 분포 변화와 새로운 이상 유형을 처리합니다.
• 맥락 인식: 희소 훈련 감독과 밀집 추론 요구사항 간의 격차를 해소합니다.

저자들은 생성된 가중치의 이론적 근거 부재, LoRA 가중치 자체의 제한된 해석 가능성, 그리고 GRPO 훈련 과정 (특히 반복된 응답 샘플링) 으로 인한 계산 오버헤드를 포함한 한계를 인정합니다. 이들은 향후 조사가 필요한 영역임을 시사합니다.

코드 가용성: 코드는 https://github.com/THE-MALT-LAB/COPRA 에서 공개되었습니다.