기술 요약: ReShift

문제 정의

시각-언어 모델(VLM)은 자율 주행 및 의료 분석과 같은 안전이 중요한 도메인에 점점 더 많이 배치되고 있습니다. 이러한 모델들은 사고 기반의 연쇄 사고(Chain-of-Thought, CoT)와 같은 추론 지향적 기술을 통해 발전해 왔으나, 백도어 공격에는 여전히 취약합니다. 기존의 VLM 대상 백도어 방법들은 주로 **출력 레벨(output level)**에서 작동하며, 트리거가 활성화되었을 때 최종 답변을 강제로 덮어쓰기 위해 토큰 삽입이나 응답 재작성을 활용합니다.

본 논문은 이러한 출력 레벨 공격의 결정적인 한계를 지적합니다. 즉, 이들은 종종 내부의 추론 역학(reasoning dynamics)을 간과한다는 점입니다. 결과적으로, 생성된 CoT는 정답과 논리적으로 일치하는 상태를 유지하면서도 최종 예측값만 임의로 변경됩니다. 이는 인간의 검사나 불확실성 기반 모니터링 메커니즘(예: 퍼플렉시티 분포 발산을 통한 검사)에 의해 쉽게 탐지될 수 있는 내부적 불일치와 논리적 비일관성을 초래합니다. 저자들은 백-도어 메커니즘이 **추론 레벨(reasoning level)**에서 직접 작동하여, 궤적 수준의 타당성과 표면적 일관성을 유지하면서도 내부 추론 경로를 미묘하게 재지정할 수 있는지에 대한 의문을 제기합니다.

방법론

저자들은 새로운 '아하 모먼트(aha-moment)' 기반의 추론 레벨 백도어 프레임워크인 ReShift를 제안합니다. ReShift는 강화 학습(RL)으로 강화된 인지 행동, 특히 모델이 이전의 추론 단계를 다시 검토하고 궤적을 조정하는 행동인 "아하 모먼트"를 활용하여 VLM의 내부 CoT 역학을 명시적으로 조작합니다.

이 프레임워크는 두 가지 핵심 구성 요소로 이루어져 있습니다:

1. 오염된 추론 인식 데이터 구축 (Poisoned Reasoning-Aware Data Construction, PRDC)

이 파이프라인은 유도된 "아하 모먼트"를 유발하도록 설계된 오염된 데이터셋을 구축합니다.

• 프로세스: 깨끗한 CoT가 주어지면, 시스템은 트리거 문구(예: "Wait, let me think")를 접두사로 붙이고, 추론 궤적을 미리 정의된 목표 답변으로 부드럽게 재지정하는 가이드 단계를 생성합니다.
• 목표: 이러한 유도된 변화를 훈련 데이터에 심어 넣어, 추론 흐름이 표면적으로는 일관성을 유지하면서도 악의적인 목표를 향해 유도되도록 합니다.

2. 지도-강화 결합 최적화 (Supervised–Reinforcement Joint Optimization, SRJO)

이는 트리거에 의한 궤적 변화를 안정화하고 증폭시키기 위해 지도 미세 조정(SFT)과 강화 학습(RL)을 공동으로 통합하는 단일 단계 최적화 프레임워크입니다.

• 하이브리드 전략: SFT는 접두사(초기 올바른 추론 단계)에 적용되어 추론 구조와 백도어 패턴을 고정(anchor)합니다. RL은 접미사(트리거 이후 생성 부분)에 적용되어 목표 답변으로의 수렴을 강제합니다.
• 보상 함수: RL 단계에서는 세 가지 특정 보상을 사용합니다:
  • 타겟 보상 ($R_{target}$): 최종 추출된 답변이 미리 정의된 목표와 일치하도록 보장합니다.
  • 시프트 보상 ($R_{shift}$): 진정한 추론 변화를 촉진하기 위해 "엔트로피 반등(entropy rebound)"(아래에서 정의됨)의 출현을 장려합니다.
  • 포맷 보상 ($R_{format}$): 특정 "아하 모먼트" 패턴(예: "let me think...")의 생성을 유도합니다.
• 동적 훈련: SFT와 RL의 비율은 동적으로 조절됩니다. 초기에는 백도어 패턴을 주입하기 위해 SFT가 지배적입니다. 안정적인 타겟 활성화와 유의미한 엔트로피 반등이 관찰되면, 궤적 변화를 정교화하기 위해 RL의 비중을 높입니다.

엔트로피 반등 및 이론적 분석

저자들은 추론 재지정을 특징짓는 원칙적인 신호로 **엔트로피 반등(Entropy Rebound)**을 도입합니다.

• 정의: 이들은 생성 중 토큰 수준의 엔트로피 변화를 모니터링하기 위해 윈도우 엔트로피 차이(Windowed Entropy Difference, WED)를 정의합니다. 추론 변화는 수렴 단계 근처에서 윈도우 평균 엔트로피가 급격히 증가하는 현상(엔트로피 반등)으로 특징지어지며, 이는 깨끗한 추론의 안정적인 낮은 엔트로피와 대조됩니다.
• 이론적 보장: 논문은 깨끗한 추론 궤적과 트리거가 주입된 추론 궤적 사이의 쿨백-라이블러(KL) 발산에 대한 하한선을 설정하는 정리를 제공합니다. 이 하한선은 엔트로피 갭에 의해 결정되며, 관찰된 엔트로피 반등을 궤적 수준의 유의미한 발산과 이론적으로 연결합니다.

주요 기여

1. 추론 레벨 공격 패러다임: ReShift는 단순히 최종 출력 토큰을 덮어쓰는 것이 아니라, VLM의 내부 CoT 궤적을 명시적으로 재지정하는 최초의 프레임워크입니다. 이 접근 방식은 변화가 일어나기 전까지의 추론 단계들의 논리적 일관성을 유지합니다.
2. 아하 모먼트 메커니즘: 본 연구는 RL을 활용하여 "아하 모먼트" 행동을 유도함으로써, 모델이 자연스럽게 추론 경로를 재검토하고 조정하게 하여 은밀성을 유지합니다.
3. SRJO 프레임워크: 저자들은 접두사 수준의 SFT와 접미사 수준의 RL을 사용하여 구조와 타겟 정렬 사이의 균형을 맞추는, 단일 프로세스 내에서 SFT와 RL을 공동으로 통합한 최초의 백도어 최적화 프레임워크를 제 제안합니다.
4. 엔트로피 반등 신호: 엔트로피 반등의 공식화는 추론 재지정을 탐지하고 유도하기 위한 이론적 및 경험적 신호를 제공하며, 엔트로피 갭을 궤적 발산과 연결합니다.

실험 결과

VLM(Qwen2.5-VL-7B 및 InternVL3.5-8B)을 대상으로 인도메인(A-OKVQA, ScienceQA) 및 아웃도메인(MathVista, MMMU) 벤치마크에서 광범로한 실험을 수행했습니다.

• 공격 성공률 (ASR): ReShift는 ScienceQA에서 최대 1.00, A-OKVQA에서 0.97의 높은 ASR을 달축하며, BadToken, BadVision, Rewrite와 같은 베이스라인을 능가합니다.
• 은밀성:
  • 추론 품질: ReShift는 깨끗한 베이스 모델과 유사한 높은 일관성(Coh) 및 근거(Rat) 점수를 유지하는 반면, 출력 레벨 공격은 이러한 지표를 저하시키는 경우가 많습니다.
  • 퍼플렉시티: 깨끗한 샘플과 트리거 샘플 간의 퍼플렉시티 분포가 뚜렷한 차이를 보이는 출력 레벨 공격과 달리, ReShift의 트리거 샘플은 깨끗한 샘플과 밀접하게 일치합니다.
  • 탐지 저항성: 백도어 탐지기(BYE 및 BkdAttr)로 평가했을 때, ReShift는 베이스라인들이 중간 정도의 탐지 가능성을 보이는 것과 대조적으로, 종종 무작위 추측(0.09–0.17)에 가까운 매우 낮은 탐지 정확도(DACC)를 나타냅니다.
• 유용성 보존: 공격은 높은 깨끗한 작업 정확도와 낮은 ASR-C(깨끗한 샘플이 잘못 재지정되는 비율)를 유지하여, 일반적인 입력에 미치는 영향이 최소임을 보여줍니다.

의의 및 주장

본 논문은 ReShift가 출력 레벨의 조작에서 안정적인 추론 레벨의 편차로 이동함으로써 백도어 공격 역량을 크게 진전시켰다고 주장합니다. 초기 단계의 일관성을 유지하고 자연스러운 인지 행동(아하 모먼트)을 활용함으로써, 이 공격은 통계적 모니터링이나 인간의 검사를 통한 탐지를 훨씬 더 어렵게 만듭니다.

저자들은 추론 역학이 중요하면서도 아직 충분히 탐구되지 않은 공격 표면이라고 강조합니다. 그들은 전통적인 방어 체계가 최종 출력이나 정적인 토큰 분포에 집중할 경우, 표면적인 타당성을 유지하면서 내부 추론 과정을 조작하는 공격을 탐지하는 데 실패할 수 있음을 지적하며, 멀티모달 모델에 대한 궤적 인식(trajectory-aware) 방어의 필요성을 역설합니다. 이 연구는 백도어 문제를 해결하는 것이 아니라, 추론 과정 자체의 취약성을 부각하는 데 목적이 있습니다.