기술 요약: 멀티모달 거대 언어 모델의 전스펙트럼 포렌식 신호 인지를 위한 딥 리지듀얼 인젝션 (Deep Residual Injection)

1. 문제 정의

AI 생성 이미지(AIGI)의 급격한 발전은 디지털 신뢰성에 대한 위기를 초lam했으며, 이를 해결하기 위한 강력한 탐지 메커니즘을 필요로 한다. 멀티모달 거대 언어 모델(MLLM)은 강력한 의미론적 추론과 해석 가능성을 제공하지만, 포렌식 작업에서 결정적인 한계에 직면해 있다: 기존의 사전 학습된 의미론적 능력을 해치지 않으면서 저수준(low-level) 생성물 아티팩트를 탐지할 수 없다는 점이다.

기존 방식들은 MLLM의 약점을 보완하기 위해 외부 전문가 탐지기에 의존하거나, MLLM을 직접 미세 조정(fine-tuning)하려고 시도한다. 그러나 저자들은 근본적인 **표현 충돌(representation conflict)**을 식별하였다:

• 의미론적 학습 vs. 아티팩트 학습: 사전 학습된 MLLM은 고수준의 의미론적 특징(스타일, 콘텐츠, 논리)에 최적화되어 있다. 표준적인 미세 조정(예: LoRA 또는 전체 미세 조정)을 통해 모델이 미세한 저수준 생성 흔적(아티팩트)을 학습하도록 강제하면, 이미 구축된 의미론적 표현이 무너진다.
• 딜레마: 표준 미세 조정은 저수준 아티팩트를 효과적으로 복구하는 데 실패하며, 반대로 공격적인 미세 조정(전체 미세 조정)은 모델의 핵심적인 의미론적 지식을 상실시키는 "파괴적 망각(catastrophic forgetting)"을 초래하여 일반적인 탐지 작업에 비효적하게 만든다.

2. 방법론: 딥 비주얼 리지듀얼 MLLM (Deep-VRM)

의미론적 보존과 아티팩트 탐지 사이의 충돌을 해결하기 위해, 저자들은 **딥 리지듀얼 인젝션(Deep Residual Injection)**에 기반한 새로운 아키텍처인 Deep-VRM을 제안한다.

2.1. 핵심 통찰: 계층별 기능적 층위화 (Layer-wise Functional Stratification)

사전 학습된 MLLM(특히 Qwen-2.5-VL-7B)에 대한 선형 프로브(linear probe) 분석을 통해, 저자들은 모델 레이어 내의 기능적 층위화를 발견하였다:

• 초기~중기 레이어 (레이어 1–16): 이 레이어들은 안정적인 의미론적 표현을 형성하는 데 매우 중요하다. 이들은 의미론적 작업에는 빠르게 수렴하지만, 저수준 아티팩트를 탐지하는 작업에서는 정체된 상태를 유지한다. 이 레이어들이 아티팩트를 학습하도록 강제하면 의미론적 수렴이 방해받는다.
• 후기 레이어: 이 레이어들은 고수준의 추론 및 정보 통합을 담당한다.

2.2. 아키텍처 설계

Deep-VRM은 학습 과정을 분리하기 위해 리졸 잉젝션(Residual Injection) 전략을 갖춘 이중 브랜치 비주얼 아키텍처를 채택한다:

1. 동결된 의미론적 경로 ($V_o$): 원래의 비주얼 인코더와 LLM의 초기 레이어(레이어 $K-1$까지)는 동결(frozen) 상태로 유지된다. 이는 사전 학습된 의미론적 인지와 파괴적 망각을 방지한다.
2. 적응형 아티팩트 경로 ($V_a$): 아티팩트 특유의 시각적 단서를 추출하도록 학습되는 LoRA 어댑터가 장착된 병렬 비주얼 브랜치이다.
3. 리지듀얼 인젝션 (Residual Injection): 특징을 입력 레벨에서 정렬하는 대신, $V_a$에 의해 추출된 아티팩트 특징을 LLM의 중간 은닉 상태(intermediate hidden states)(레이어 $K$ 지점)에 직접 주입한다.
   • 주입 공식은 다음과 같다: $\tilde{h}^{(K-1)}_v = \alpha \cdot h^{(K-1)}_v + \beta \cdot V_a(I)$, 여기서 $\alpha$와 $\beta$는 스케일링 인자(0.5로 설정)이다.
   • 이 "그린 로드(Green Road)"는 의미론적 지배력이 강한 초기 레이어를 우회하여, 모델이 의미론적 특징이 수렴한 이후에만 저수준 흔적을 학습할 수 있도록 한다.

2.3. 학습 전략

학습 과정은 두 단계로 나뉜다:

• 1단계 (의미론적 정렬): AIGI 탐지를 위한 사전 학습된 지식을 활성화하기 위해 의미론적 단서에 집중된 데이터셋($D_1$)을 사용하여 LLM 컴포넌트를 미세 조정한다.
• 2단계 (아티팩트 인지 정교화): 의미론적 간섭을 제거하기 위해 VAE 재구성을 통해 생성된 생성기 흔적 중심의 데이터셋($D_2$)을 도입한다. 초기 LLM 레이어는 동결된 상태를 유지하며, 리지듀얼 브랜치($V_a$)와 $K$부터 $N$까지의 LLM 레이어가 최적화된다. 이를 통해 모델은 의미론적 추론과 신호 수준의 포렌식 단서를 공동으로 모델링할 수 있다.

3. 주요 기여

1. 표현 충돌의 발견: 본 논문은 MLLM이 의미론적 추출을 저해하지 않으면서 일반화 가능한 저수준 아티팩트를 학습할 수 없는 이유가 특징 공간을 공격적으로 수정해야 하기 때문임을 체계적으로 밝혀냈다. 이는 효과적인 탐지를 위해 아티팩트 학습과 의미론적 보존의 분리가 필요함을 입증한다.
2. Deep-VRM 아키텍처: 아티팩트 특유의 특징을 LLM의 깊은 레이어에 직접 주입하여 의미론적 지배력이 강한 초기 레이어를 우회하는 새로운 방법을 제시한다. 이를 통해 외부 전문가 탐지기 없이도 최적의 특징 통합을 달성한다.
3. 최첨단 성능 (SOTA): MLLM 단독으로 뛰어난 성능을 달성하였으며, 저수준 아티팩트가 후처리로 인해 저하되는 "인 더 와일드(in-the-wild)" 환경에서도 강력한 일반화 성능을 입증하였다.

4. 실험 결과

저자들은 GenImage, SynthBuster, AIGI-Bench, 그리고 실제 소셜 미디어 환경을 반영하는 WildRF를 포함한 여러 벤치마크에서 Deep-VRM을 평가하였다.

• 일반화: Deep-VRM은 대부분의 벤치마크에서 SOTA 결과를 달성했다. 예를 들어, GenImage 데이터셋에서 평균 정확도 **97.42%**를 기록하며, OMAT(94.63%)나 DRCT(83.53%)와 같은 특화된 포렌식 모델을 능가했다.
• 와일드 강건성 (Wild Robustness): 압축 및 리사이징에 대한 강건성을 테스트하는 WildRF 벤치마크에서, Deep-VRM은 **89.51%**를 달성하여 차순위 모델(AIDE, 59.49%) 및 특화된 포렌식 모델들을 크게 앞질렀다.
• MLLM과의 비교: 탐지 성능이 저조했던(정확도 50–68%) 범용 MLLM(예: Qwen-2.5-VL-7B, LLaVA-1.5) 및 특화된 포렌식 MLLM(Forensic-Chat, 88.75%)과 비교했을 때, Deep-VRM은 **93.28%**의 가장 높은 평균 정확도를 기록했다.
• 어블레이션 연구 (Ablation Studies):
  • 주입 깊이 (Injection Depth): $K=16$에서 주입했을 때 최적의 균형을 보였다. 얕은 주입($K=4$)은 의미론적 인코딩을 방해했고, 매우 깊은 주입($K=20$)은 공동 추론을 위한 레이어가 불충분했다.
  • 초기 레이어 동결: 초기 레이어를 동결하는 것이 의미론적 지식의 망각을 방지하는 데 결정적이었으며, 전체 미세 조정 대비 와일드 데이터셋에서의 성능을 5% 이상 향상시켰다.
  • 융합 계수 (Fusion Coefficients): $\alpha=0.5, \beta=0.5$의 균형 잡힌 설정이 의미론적 표현 보존과 아티팩트 단서 도입 사이의 최적의 트레이드오프를 제공했다.

5. 의의 및 주장

본 논문은 Deep-VRM이 고수준의 의미론적 분석과 저수준의 포렌식 인지 사이의 간극을 성공적으로 메웠다고 주장한다. 딥 리지듀얼 인젝션을 통해 표현 충돌을 해결함으로써, 모델은 외부 전문가 탐지기에 의존하지 않고도 미세한 생성기 흔적과 고수준의 의미론적 이상 징후를 자율적으로 탐지할 수 있게 되었다.

저자들은 이 접근 방식이 신뢰할 수 있는 AI 생성 이미지 탐지를 위한 통합적이고 일반화 가능한 프레임워크를 제공한다고 강조한다. 실세계의 이미지 열화(압축, 리사이징) 상황에서도 강력한 성능을 유지하는 능력은, 모델이 취약하고 단일 패턴적인 아티팩트에 의존하는 것이 아니라 공동 추론 프로세스를 활용하고 있음을 시사한다. 이 연구는 아키텍처적 혁신을 통해 내부 기능적 층위화를 존중하고 활용한다면, MLLM이 포렌식 작업에 효과적으로 적응될 수 있음을 보여준다.