💬 NLP

Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging

이 논문은 비디오-언어 모델의 시간적 추론 능력을 재학습 없이 복원하기 위해, 텍스트 전용 백본과 모델 간의 레이어별 자기 주시 병합 전략을 탐색하는 'MERIT'이라는 프레임워크를 제안하고 그 유효성을 입증합니다.

원저자: Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

게시일 2026-04-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 1. 문제: "눈은 밝아졌는데, 머리가 둔해진 AI"

우리가 AI 에게 비디오를 이해시키려고 할 때, 보통 **이미지 인식 능력 (눈)**을 기르기 위해 AI 를 훈련시킵니다. 그런데 재미있는 일이 생깁니다.

비유: 마치 **수학 천재 (텍스트 기반 LLM)**에게 **미술 수업 (비디오 학습)**을 시켰다고 상상해 보세요.
- 그 학생은 그림을 보고 "이건 개야, 저건 고양이야"라고 정확히 말하게 됩니다 (지각 능력 향상).
- 하지만 정작 "개는 고양이를 쫓다가, 고양이가 도망가고, 개는 화가 났어. 누가 먼저 시작했지?" 같은 시간 순서와 인과관계를 묻는 질문에는 엉뚱한 답을 하거나, 원래 수학 천재였을 때보다 훨씬 멍청해집니다.

이 논문은 **"비디오를 보게 하니까, 원래 가지고 있던 '시간을 읽고 논리적으로 추론하는 능력'이 망가졌다"**고 지적합니다. AI 는 장면 속 사물은 잘 보지만, 사물들이 시간의 흐름에 따라 어떻게 연결되고 원인이 되어 결과를 만드는지를 잊어버린 것입니다.

🔧 2. 해결책: "MERIT (메릿)" - AI 의 뇌를 '수리'하는 새로운 방법

기존에는 이 문제를 해결하려면 AI 를 다시 처음부터 가르치거나 (재훈련), 엄청난 데이터를 추가로 먹여야 했습니다. 하지만 이 논문은 **"재훈련 없이, AI 의 뇌 구조만 살짝 고쳐주면 된다"**는 혁신적인 방법을 제안합니다.

이 방법을 MERIT라고 부릅니다.

🧩 비유: "두 명의 요리사를 섞어 새로운 레시피 만들기"

요리사 A (기존 비디오 AI): 재료를 보고 "이건 고기야, 이건 야채야"는 잘 구분하지만, "고기 먼저 넣고 야채를 넣어야 맛있는 스프가 된다"는 시간 순서를 잘 모릅니다.
요리사 B (텍스트 전용 AI): 비디오는 못 보지만, "고기 먼저 넣고 야채를 넣어야 한다"는 논리와 시간 순서를 완벽하게 알고 있습니다.

기존 방법은 이 두 요리사를 1 대 1 로 똑같이 섞어서 (전체 모델 병합) 새로운 요리사를 만들었습니다. 그런데 이렇게 하면 요리사 A 의 '눈'이 흐려지거나, 요리사 B 의 '논리'가 사라져서 둘 다 못하게 됩니다.

MERIT 의 방법:
MERIT 는 **"어떤 부분에서는 요리사 A 의 눈을 쓰고, 어떤 부분에서는 요리사 B 의 논리를 써야 할까?"**를 정교하게 찾아냅니다.

AI 의 뇌는 여러 층 (Layer) 으로 되어 있는데, MERIT 는 시간 추론이 중요한 층만 요리사 B(논리) 의 지식을 가져오고, 시각을 인식하는 층은 요리사 A(눈) 를 그대로 둡니다.
마치 수학 천재의 '논리 두뇌'만 이식해서, 미술 실력은 그대로 유지하는 것과 같습니다.

🚀 3. 결과: "왜 이 방법이 좋은가?"

이 실험을 통해 세 가지 중요한 사실을 발견했습니다.

정확한 층만 고르면 된다: AI 의 모든 층을 무작정 섞는 것보다, 어떤 층이 '시간 추론'에 중요한지 찾아서 선택적으로 고치는 것이 훨씬 효과적입니다. (무작위로 섞으면 오히려 망가집니다.)
재훈련 없이 가능: 엄청난 컴퓨터 자원과 시간을 들여 다시 가르칠 필요가 없습니다. 이미 만들어진 모델의 '레시피'만 바꾸면 됩니다.
논리가 살아납니다: MERIT 를 적용한 AI 는 이제 "누가 먼저 무엇을 했고, 그 결과가 무엇이었는지"를 정확히 이해하게 되었습니다.

🔍 4. 실제 사례: "누가 범인일까?"

논문에는 이런 예시가 나옵니다.

상황: 비디오에서 한 남자가 전화를 하고, 그 사이에 누군가 살인을 당합니다.
기존 AI: "남자가 전화를 했으니까, 경찰이 늦게 와서 죽은 거야!"라고 **눈에 보이는 순간 (전화)**에만 집중해서 틀린 답을 냅니다.
MERIT 적용 AI: "남자가 전화를 하기 전에, 범인이 피해자를 제압했고, 그 후 피해자가 쓰러진 장면을 연결해서 생각했다."며 **"범인이 칼로 찔렀기 때문에 죽었다"**는 시간의 흐름과 인과관계를 정확히 파악합니다.

💡 결론: "눈과 머리의 완벽한 조화"

이 논문은 **"비디오를 보는 AI 가 시간의 흐름을 이해하려면, 단순히 더 많은 비디오를 보여주는 게 아니라, AI 의 '논리 두뇌'가 작동하는 특정 부위를 선택적으로 복원해줘야 한다"**는 것을 증명했습니다.

마치 시력이 좋은 선수가 축구 실력을 잃지 않도록, 코치 (MERIT) 가 선수의 특정 근육 (레이어) 만 집중적으로 훈련시켜주는 것과 같습니다. 앞으로 더 똑똑하고 논리적인 비디오 AI 를 만드는 데 큰 이정표가 될 연구입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경:
대규모 언어 모델 (LLM) 은 텍스트 기반 사전 학습을 통해 뛰어난 추론 능력을 갖추고 있지만, 비디오 - 언어 모델 (VLM) 로 적응 (Adaptation) 하는 과정에서 시각적 정렬 (Visual Alignment) 을 위해 멀티모달 학습을 수행하면, 원래 언어 모델이 가지고 있던 추론 능력 (Reasoning Ability) 이 약화되는 현상이 발생합니다.

핵심 문제:

시간적 추론 (Temporal Reasoning, TR) 의 저하: VLM 은 객체 인식이나 공간적 지각 (Perception) 능력은 유지하거나 향상되지만, 사건의 순서, 인과관계, 상태 변화 등을 시간의 흐름에 따라 추론하는 능력이 크게 떨어집니다.
기존 방법의 한계:
- 재학습 (Retraining): 직접적인 학습 (Instruction Tuning, DPO 등) 은 추가 데이터와 막대한 계산 비용이 필요합니다.
- 전체 모델 병합 (Uniform Merging): 기존 모델 병합 기법들은 언어 백본을 균일한 블록으로 간주하여 전체 레이어를 균일하게 병합합니다. 이는 추론 능력을 부분적으로 회복할 수 있지만, 시각적 지각 능력을 해치거나 불규칙한 성능 향상을 보이며, 신뢰성이 낮습니다.
가설: 추론 능력은 모델 전체에 고르게 분포되어 있는 것이 아니라, 특정 레이어 (Layer) 에 집중되어 있을 가능성이 높습니다. 따라서 전체를 병합하는 대신, 추론에 중요한 레이어를 선택적으로 복원하는 것이 지각 능력을 해치지 않으면서 추론 능력을 회복하는 열쇠가 됩니다.

2. 제안 방법: MERIT (Methodology)

저자들은 MERIT (Merging for Enhanced Reasoning In Temporal Tasks) 라는 훈련 없는 (Training-free), 작업 주도적 (Task-driven) 모델 병합 프레임워크를 제안합니다.

핵심 아이디어:
VLM 과 해당 텍스트 전용 백본 (Text-only Backbone) 간의 레이어별 자기 주의 (Self-Attention) 매개변수 병합 비율을 탐색하여, 시간적 추론 (TR) 은 향상시키고 시간적 지각 (TP) 은 유지하거나 향상시키는 최적의 조합을 찾습니다.

세부 프로세스:

문제 정의 및 목적 함수:
- 목표: VLM( $M$ ) 과 텍스트 백본( $N$ ) 을 병합하여 $TR $점수를 높이고$ TP$ 점수의 감소를 최소화합니다.
- 목적 함수 ( $F(g)$ $F (g)$ ):
  $F(g) = Acc_{TR}(g) - \lambda \cdot D_{TP}(g)$
  - $Acc_{TR}(g)$ : 병합된 모델의 시간적 추론 정확도.
  - $D_{TP}(g)$ : 원본 VLM 대비 시간적 지각 정확도 감소량 (Penalty).
  - $\lambda$ : 지각 손실에 대한 페널티 강도.
레이어 선택적 병합 (Layer-Selective Merging):
- 전체 모델이 아닌, 각 자기 주의 (Self-Attention) 레이어별로 병합 여부를 결정합니다.
- 가팅 벡터 (Gating Vector) $g$ : 각 레이어 $l$ 에 대해 $[0, 1]$ 범위의 연속적인 값으로 파라미터화됩니다.
- 이진화 및 방향성 보간 (Directional Interpolation):
  - $g_l \geq 0.5$ 이면 VLM( $M$ ) 의 파라미터가 우세하게, $< 0.5$ 이면 텍스트 백본( $N$ ) 의 파라미터가 우세하게 설정됩니다.
  - 보간 계수 $\alpha$ 를 사용하여 두 모델의 파라미터를 선형적으로 혼합합니다.
진화적 탐색 (Evolutionary Search):
- 탐색 공간이 이산적이고 목적 함수가 미분 불가능하므로, CMA-ES (Covariance Matrix Adaptation Evolution Strategy) 알고리즘을 사용합니다.
- 작은 데이터셋 (Video-MME 의 TP/TR 샘플) 을 사용하여 목적 함수를 평가하고, 최적의 레이어 구성을 찾습니다.

3. 주요 기여 (Key Contributions)

훈련 없는 추론 회복 프레임워크: 추가 학습 없이 모델 병합만으로 VLM 의 시간적 추론 능력을 효과적으로 복원하는 MERIT 를 제안했습니다.
레이어 선택성의 중요성 입증: 추론 능력은 모델의 특정 레이어에 집중되어 있음을 실험을 통해 증명했습니다. 전체 병합이나 무작위 레이어 선택보다 선택적 레이어 병합이 훨씬 효과적입니다.
지각 - 추론 트레이드오프 해소: 추론 능력을 회복하면서도 시각적 지각 능력을 유지하거나 오히려 향상시키는 것을 성공적으로 달성했습니다.
인과적 근거 기반의 행동 변화: MERIT 가 적용된 모델은 국소적이고 오해의 소지가 있는 시각적 단서 (Salient cues) 에 의존하기보다, 시간적으로 분리되었지만 인과적으로 중요한 증거를 연결하여 추론하는 경향을 보입니다.

4. 실험 결과 (Results)

실험 설정:

모델: LongVA-7B, InternVL3-8B, Qwen3-VL-4B 등 3 가지 대표적인 VLM 과 해당 텍스트 백본 사용.
벤치마크: Video-MME (탐색 및 평가), LongVideoBench, LVBench, MMBench-Video, Video-Holmes 등 5 개 주요 비디오 벤치마크.

주요 결과:

추론 능력 향상: MERIT 는 모든 평가된 아키텍처에서 시간적 추론 (TR) 성능을 일관되게 향상시켰습니다.
- 예: LongVA-7B 에서 TR 점수가 23.9% 향상, InternVL3-8B 에서 10.8% 향상.
지각 능력 보존: TP (Temporal Perception) 점수는 유지되거나 소폭 향상되었으며, 전체 성능도 안정적이었습니다.
일반화 능력: Video-MME 의 작은 서브셋으로 탐색된 레이어 구성이 다른 4 개의 벤치마크에서도 우수한 성능을 보여주어, 발견된 병합 레시피가 데이터셋 간에 일반화됨을 입증했습니다.
비교 실험:
- ALL-LAYER (전체 병합): 추론 회복이 불규칙하고 지각 능력 저하를 동반하는 경우가 많았습니다.
- RANDOM-K (무작위 선택): MERIT 에 비해 성능이 현저히 낮고 변동성이 컸습니다. 이는 '어떤 레이어를 선택하느냐'가 핵심임을 보여줍니다.

심층 분석 (Interventional Analysis):

레이어 마스킹 실험: MERIT 가 선택한 레이어를 차단했을 때, 추론 성능이 전체 성능이나 다른 지표에 비해 훨씬 급격히 하락했습니다. 이는 해당 레이어들이 시간적 추론에 비례하여 결정적인 역할을 함을 의미합니다.
프레임 단위 귀속 (Attribution): MERIT 모델은 사건의 인과관계를 설명할 때, 단순히 눈에 띄는 국소적 프레임에 집중하는 대신, 시간적으로 멀리 떨어져 있지만 인과적으로 연결된 사건들 (예: 피해자가 제지당하는 장면과 나중에 쓰러진 장면) 을 연결하여 추론하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 모델의 적응 과정에서 발생하는 추론 능력 저하가 구조적 (Structural) 인 문제임을 밝히고, 이를 타겟팅된 아키텍처 개입 (Layer-Selective Merging) 으로 해결할 수 있음을 증명했습니다.

확장성: 고비용의 재학습 없이도 특정 추론 능력을 복원할 수 있는 확장 가능한 경로를 제시합니다.
이론적 통찰: 대규모 모델에서 추론과 지각이 서로 다른 레이어 서브네트워크에 존재할 수 있다는 가설을 지지하며, 모델의 내부 작동 원리에 대한 이해를 깊게 합니다.
미래 작업: 이 프레임워크는 시간적 추론뿐만 아니라 다른 전문적인 추론 능력 (Spatial Reasoning, Logical Deduction 등) 을 멀티모달 시스템에 복원하는 데에도 적용될 수 있는 잠재력을 가집니다.

요약하자면, MERIT 는 "추론은 레이어에 존재한다"는 통찰을 바탕으로, 지각 능력을 해치지 않으면서 특정 레이어를 선택적으로 복원함으로써 VLM 의 시간적 추론 능력을 효과적으로 되살리는 혁신적인 방법론입니다.