Learning to Deny: Action Denial in Multimodal Large Language Models

기술 요약: 거절하는 법 배우기: 멀티모달 대규모 언어 모델에서의 행동 부정(Action Denial)

문제 정의
비디오 이해 분야의 급격한 발전에도 불구하고, 멀티모달 대규모 언어 모델(MLLM)은 결정적인 약점을 보이고 있다. 바로 강력한 맥락적 단서가 존재하지만 핵심적인 움직임(defining motion)이 부재할 때, 해당 행동을 신뢰성 있게 부정하지 못한다는 점이다. 현재의 모델들은 '동조성(agreeableness)' 또는 긍정 편향을 보여, 특정 동작에 필요한 시간적 역학(temporal dynamics)이 결여되어 있음에도 불구하고 관련 객체, 행위자, 또는 배경이 존재한다는 이유만으로 해당 행동이 일어나고 있다고 예측하는 경면을 보인다. 기존 벤치마크(예: Kinetics, UCF101)는 주로 긍정 사례들로 구성되어 있어, 모델이 인과적 움직임을 검증하는 대신 맥락과 행동 사이의 허구적 상관관계에 의존하도록 강화한다. 결과적으로, 모델은 행동이 일어날 수 있는 장면과 실제로 일어나고 있는 장면을 구분하는 데 실패한다.

방법론
저자들은 새로운 벤치마크와 인과 추론 프레임워크를 포함하는 두 갈래의 접근 방식을 제안한다:

1. UCF101-ActionDenial (UCF101-AD) 벤치마크:

   • 구성: UCF101 카테고리에서 파생된 11,283개의 비디오로 구성되며, "행동-존재(Action-Presence)"(긍정)와 "행동-부정(Action-Denial)"(부정) 클립이 쌍을 이룬다.
   • 부정 설계: 부정 클립은 대상 행동의 전형적인 맥락(사람, 객체, 장소)은 유지하되, 핵심적인 움직임은 명시적으로 제외한다. 이는 두 가지 유형으로 분류된다:
     • 유형 1 (맥락만 존재): 두드러진 객체와 환경은 존재하지만, 상호작용이 발생하지 않음 (예: 피아노 근처에 사람이 있지만 연주하지는 않음).
     • 유형 2 (동일 맥락, 다른 움직임): 설정과 객체는 존재하지만, 행위자가 다른 그럴듯한 행동을 수행함 (예: 농구 골크를 넣는 대신 드리블을 함).
   • 평가 프로토콜: 모델은 대상 행동, 방해 요소(distractors), 그리고 "없음(None)" 옵션을 포함한 선택지 중에서 올바른 캡션을 선택해야 하는 다지선다형(MCQ) 설정으로 테스트된다.

2. CausalAct 프레임워크:

   • 인과 그래프 공식화: 저자들은 행동 인식을 다음과 같은 인과 사슬의 결과로서의 유향 비순환 그래프(DAG)로 모델링한다: 맥락(사람 $P$, 객체 $O$, 장소 $L$) $\to$ 관계(공간적 $S$, 상호작용 $I$) $\to$ 움직임 ($M$) $\to$ 행동 ($A$).
   • 프롬프팅 (CausalAct-0): 그래프 구조를 자연어 프로프트로 구현하여, 모델이 행동을 확정하기 전에 인과 사슬(특히 움직임 $M$의 존재 여부)을 검증하도록 유도한다.
   • 파인튜닝: 프롬프트를 따르는 데 실패하는 경우를 해결하기 위해, 저자들은 보조적인 파인튜닝 작업을 도입한다. 모델은 그래프 구조로부터 도출된 그래프 중심의 시각적 질의응답(VQA) 작업(노드 정체성, 엣지 관계, 인과 경로 탐색)을 통해 학습된다. 결정적으로, 이러한 작업들은 레이블 누수(label leakage)를 방지하기 위해 정답 행동 레이블을 노출하지 않으며, 모델이 인과적 추론의 구조를 학습하도록 강제한다.

주요 결과

• 베이스라인 실패: 20개의 최첨단 MLLM(Ovis, Intern, Qwen, VideoLLaMA, GPT-4o mini 포함)을 평가한 결과 심각한 성능 격차가 드러났다. 모델들은 표준적인 행동-존재 클립에서는 높은 정확도(85-95% 이상)를 달ian하지만, 행동-부정 클립에서는 성능이 급락하여 대부분 50% 미만(흔히 20-35% 범위)을 기록했다. 이는 모델들이 움직임 검증보다는 맥락적 지름길(contextual shortcuts)에 강하게 의존하고 있음을 나타낸다.
• 인간 vs 모델: 인간 평가자들은 부정 작업에서 86.6%의 정확도를 달성하였으며, 이는 데이터셋이 해결 가능한 문제이며 모델의 실패가 현재의 아키텍처 특이적임을 확인시켜 준다.
• 편향의 상관관계: 연구는 "지름길 학습(부정을 실패함)"과 "아첨(sycophancy, 전제에 동조함)" 사이의 양의 상관관관계를 발견했다. MCQ에서 잘못된 방해 행동을 선택한 모델은 행동의 존재 여부에 대한 이진 질문에도 "예"라고 잘못 답할 가능성이 더 높았다.
• 추론 모델: 역설적이게도, 명시적인 추론 단계를 가진 "사고하는(thinking)" 모델들이 이 작업에서는 표준 모델보다 더 낮은 성능을 보이는 경우가 많았다. 이는 그들의 추론 과정이 시각적 맥락에 과도하게 집중하여, 부재를 정당화하기보다 행동을 환각(hallucinate)하는 경향이 있기 때문이다.
• CausalAct의 효능:
  • 제로샷(Zero-Shot): 강력한 언어 백본(예: Ovis2.5-9B, Qwen2.5-VL-7B)은 CausalAct 프롬프트의 안내를 받을 때 향상된 부정 정확도를 보이지만, 약한 모델은 오히려 성능이 저하될 수 있다.
  • 파인튜닝: 그래프 기반 VQA 작업으로 작은 모델을 파인튜닝하면 행동-부정 정확도가 크게 향상되어, 모델의 행동이 맥락적 지름길에서 인과 사슬을 검증하는 방향으로 변화한다.
  • 일반화: CausalAct-0 방식은 외부 데이터셋(K400, HMDB51, SSv2, Diving48)으로 전이되어 다양한 분포에서 부정 정확도를 개선한다.
  • 어블레이션(Ablation): 파인튜닝 후 인과 그래프 구조를 제거하거나 무작위화하면 성능이 떨어지며, 이는 모델이 단순히 임의의 텍스트 패턴을 따르는 것이 아니라 특정 인과 의존성을 활용하도록 학습되었음을 확인시켜 준다. 또한, 파인튜닝 중 비전 인코더를 업데이트하는 것이 필수적이며, 이를 고정(freeze)할 경우 성능이 크게 저하된다.

의의 및 주장
본 논문은 MLLM에서 "행동 부정"을 체계적으로 평가한 첫 사례임을 주장하며, 모델이 맥락을 행동의 발생과 동일시하는 근본적인 한계를 폭로한다. 저자들은 견고한 비디오 이해를 위해서는 단순히 행동의 존재뿐만 아니라 움직임의 부재에 대해 인과적으로 추론할 수 있는 능력이 필요하다고 주장한다.

이 연구의 의의는 다음과 같다:

1. 진단: 현재의 MLLM이 정의적인 움직임을 검증하는 메커니즘이 부족하여, 감시 및 자율 시스템과 같은 중요한 응용 분야에서 거짓 양성(false positives)을 초래한다는 점을 식별했다.
2. 벤치마킹: 표준적인 행동 인식을 넘어, 인과 추론을 진단하고 개선하기 위한 필수 도구로서 UCF101-AD를 도입했다.
3. 방법론적 통찰: 부정이 학습 가능한 추론 기술임을 입증했다. 장면 이해를 인과 그래프를 통해 구조화하고 모델이 전제 조건(상호작용 및 움직임)을 검증하도록 훈련함으로써, 훈련 과정에서 부정 행동 레이블에 의존하지 않고도 긍정 편향을 완화하고 거짓 양성을 줄일 수 있다.

저자들은 CausalAct가 성능을 개선하기는 하지만 문제를 완전히 해결하지는 못하며, 현재의 "사고하는" 모델들도 여전히 부정적 제약 조건에 어려움을 겪고 있다는 점을 언급하며 신중한 입장을 유지한다. 본 연구는 멀티모달 시스템의 인과 추론 발전을 위한 토대 역할을 한다.