기술 요약: MoTIF – 해석 가능한 비디오 분류를 위한 시간적 개념 병목 모델

문제 정의

개념 병목 모델 (CBM) 은 인간이 이해할 수 있는 개념을 중심으로 예측을 구조화함으로써 해석 가능한 이미지 분류를 성공적으로 실현해 왔으나, 이러한 패러다임을 비디오로 확장하는 것은 여전히 어렵습니다. 정적 이미지와 달리 비디오 데이터는 시간이 지남에 따라 변화하는 개념을 포함하는 시간적 성분을 지니며, 많은 동작은 단일 프레임으로는 추론할 수 없습니다. 기존 접근 방식은 주로 두 가지 주요 문제와 씨름해 왔습니다:

1. 시간적 모델링 vs. 해석 가능성: 표준 트랜스포머는 장거리 의존성 포착에 탁월하지만, 밀집된 시간적 특징 혼합을 사용하여 개념 수준의 귀속을 흐리게 하므로 해석 가능한 CBM 모델링에는 적합하지 않습니다.
2. 개념 추출: 비디오에 대한 개념을 수동으로 주석 달기는 노동 집약적입니다. 비전 - 언어 모델 (VLM) 은 자동 발견을 위한 경로를 제공하지만, 수동 개입 없이 시간적으로 근거를 둔 클래스 조건부 개념을 포착하도록 확장하는 것은 간단하지 않습니다.

핵심 과제는 가변 길이 비디오 입력을 처리하고 시간적 역학을 모델링하면서도 엄격한 개념 수준의 해석 가능성을 유지하고 표준 딥러닝 모델의 "블랙박스"성을 피하는 아키텍처를 설계하는 것입니다.

방법론: MoTIF

저자들은 비디오 분류에 맞춘 트랜스포머 기반 CBM 인 **MoTIF(Moving Temporal Interpretable Framework)**를 소개합니다. 이 프레임워크는 윈도우 수준의 개념 활성화 시퀀스를 기반으로 작동하며 세 가지 주요 구성 요소로 이루어져 있습니다:

1. VLM 기반 개념 발견 파이프라인

사전 정의된 개념 어휘에 의존하는 대신, MoTIF 는 작업과 무관한 발견 단계를 사용합니다:

• 프로세스: 클래스당 훈련 비디오의 작은 하위 집합을 샘플링합니다. 클래스 레이블에 조건부인 비전 - 언어 모델 (VLM) 이 각 시간적 윈도우 내의 객체와 동작에 대한 자연어 후보를 생성합니다.
• 필터링: 이러한 후보들은 CLIP 기반 모델을 사용하여 임베딩됩니다. 코사인 유사도 필터링 (임계값 > 0.9) 을 통해 근접 중복 항목을 제거하여 다양하고 전역적인 개념 은행 $C$를 생성합니다.
• 활성화: 각 비디오 윈도우에 대해 시각적 임베딩을 개념 은행과 비교하여 개념 활성화 행렬 $X \in \mathbb{R}^{T \times K}$를 생성합니다. 여기서 $T$는 윈도우 수이고 $K$는 개념 수입니다.

2. 채널별 시간적 자기 주의 (대각선 주의)

핵심 아키텍처 혁신은 각 개념에 대한 추론을 격리하는 시간적 모듈입니다:

• 대각선 구조: 채널을 전체 선형 투영 ($W_Q \in \mathbb{R}^{C \times C}$) 을 통해 혼합하는 표준 트랜스포머와 달리, MoTIF 는 각 개념 채널에 대해 독립적으로 쿼리, 키, 값 투영을 생성하기 위해 깊이별 1$\times$1 컨볼루션을 사용합니다.
• 메커니즘: 각 개념 채널 $c$는 시간 시퀀스에 대해 자체 주의 점수 $W_{c,t,u}$를 계산합니다. 이는 한 개념의 증거가 다른 개념으로 흐르지 못하게 하여 엄격한 개념 귀속을 보장합니다.
• 출력: 출력은 각 개념에 대한 값의 가중합으로, 개념 채널의 독립성을 유지하면서 시간 동안 개념이 언제 그리고 어떻게 반복되는지 모델링합니다.

3. 분류 및 설명

• 아핀 변환: 활성화는 음수가 아닌 미분 가능한 활성화를 보장하기 위해 음수가 아닌 아핀 변환 ($\gamma_c X + \delta_c$) 을 거친 후 Softplus 비선형성을 따릅니다.
• 풀링: Log-Sum-Exp (LSE) 풀링 메커니즘이 시간별 로짓을 비디오 수준 예측으로 집계합니다. 이는 최대 풀링의 부드러운 근사치 역할을 하며 시간 중요도 프로파일을 제공합니다.
• 3 가지 모드 설명: MoTIF 는 예측을 다음과 같이 분해합니다:
  1. 전역 개념: 전체 비디오에 걸친 집계된 관련성.
  2. 로컬 개념: 특정 고가중치 시간 윈도우 내의 관련성.
  3. 시간적 의존성: 개념 채널이 시간에 따라 집중을 어떻게 분배하는지 보여주는 주의 맵 (예: 시간적 앵커 식별 또는 지속적 존재 확인).

주요 기여

1. MoTIF 아키텍처: 개별 개념 수준에서 시간적 역학을 모델링하면서 개념 독립성을 유지하는 채널별 시간적 자기 주의를 사용하는 비디오 CBM.
2. 다중 그라나리티 설명: 시간 전반에 걸친 의사 결정을 추적하기 위한 세 가지 보완적 설명 모드 (전역, 로컬, 시간적 의존성 맵) 를 제공하는 프레임워크.
3. VLM 기반 발견: 클래스 레이블로부터의 약한 감독을 사용하여 훈련 비디오에서 직접 객체 및 동작 중심의 텍스트 개념을 추출하는 파이프라인으로, 수동 주석 달기 필요성을 제거하고 개념 범위를 개선합니다.

실험 결과

저자들은 MoTIF 를 네 가지 벤치마크인 Breakfast Actions, HMDB51, UCF101, **Something-Something V2 (SSv2)**에서 평가했습니다.

• 전역 CBM 대비 성능: MoTIF 는 분류 전에 윈도우 표현을 평균 풀링하는 전역 CBM 보다 일관되게 우수한 성과를 냅니다. 예를 들어, Breakfast Actions 에서 MoTIF 는 전역 CBM 대비 정확도를 11~18 퍼센트 포인트 향상시켜 시간적으로 국소화된 개념 모델링의 가치를 입증했습니다.
• 블랙박스 모델 대비 성능: 최첨단 블랙박스 모델 (예: VideoMAE V2) 과의 격차는 여전히 존재하지만, MoTIF 는 해석 가능성을 유지하면서 이 격차를 크게 좁힙니다. SSv2 에서 시공간 변형 (MoTIF-ST) 은 전역 CBM 의 33.6% 대비 41.9% 정확도를 달성했습니다.
• 시간적 민감도: 합성 벤치마크와 윈도우 셔플링을 사용한 제거 실험은 MoTIF 가 정적 외관 단서가 아닌 시간적 순서에 의존하며, 특히 관계형 레이블이 중요한 SSv2 와 같은 데이터셋에서 이를 확인했습니다.
• 개입 분석: 상위 개념을 0 으로 만드는 파괴적 개입은 예측 중복을 크게 감소시켰으며, 개념을 수정하는 교정적 개입은 오분류를 성공적으로 수리하여 개념과 예측 간의 인과적 연결을 검증했습니다.
• 트레이드오프: 저자들은 통제 가능한 트레이드오프를 지적합니다: 대각선 주의를 강제하면 해석 가능성이 유지되지만, 완전 주의 변형에 비해 매우 복잡한 데이터셋에서 정확도가 약간 감소할 수 있습니다. 그러나 완전 주시는 채널을 얽히게 하여 해석 가능성을 저하시킵니다.

중요성과 주장

이 논문은 MoTIF 를 시간적 개념 표현을 학습하고 설명하기 위한 원칙적인 프레임워크로 제시합니다. 그 중요성은 다음과 같습니다:

• 격차 해소: 개념 수준 구조를 폐기하지 않고 시간적 추론을 개념 병목 모델에 통합할 수 있음을 보여주어, 불투명한 블랙박스 비디오 분류기에 대한 실현 가능한 대안을 제공합니다.
• 손실 없는 해석 가능성: 개념별 시간적 추론을 격리함으로써 MoTIF 는 사용자가 불투명한 특징 상호작용이 아닌 누락되거나 모호한 시간적 개념으로 오류를 추적할 수 있게 합니다.
• 모듈성: 이 프레임워크는 다양한 임베딩 백본 (CLIP, SigLIP, Perception Encoders) 과 개념 발견 방법 (텍스트 또는 시각) 과 호환되므로, 개념 품질 개선과 아키텍처 확장 향상이 더 나은 성능을 위한 상호 보완적 경로임을 시사합니다.

저자들은 성능이 개념 품질에 크게 의존하지만, MoTIF 는 CBM 간 최첨단 성능을 달성하면서도 비해석성 베이스라인과 경쟁력 있는 해석 가능한 비디오 이해를 위한 견고한 기반을 제공한다고 결론지었습니다.