기술 요약: 멀티모달 언어 모델의 의사결정 상태 프로빙 (Decision-State Probing)

문제 정의

멀티모달 언어 모델(MLLM)은 주로 이미지가 텍스트와 일치하는지 선택하거나 시각적 질의에 정확하게 답하는 것과 같은 외부적으로 관찰 가능한 행동을 통해 평가됩니다. MMBench나 MM-Vet과 같은 벤치마크는 이러한 출력을 효과적으로 측정하지만, 본 논문은 올바른 외부 행동이 내부적 안정성을 보장하지는 않는다고 주장합니다. 모델은 일관되게 올바른 캡션을 선택(엄격한 정답 행동, strict-correct behavior)할 수 있지만, 구조화된 의미론적 섭동(semantic perturbations)에 노출되었을 때 내부 의사결정 상태는 상당한 불안정성이나 "스트레스 민감도(stress sensitivity)"를 보일 수 있습니다. 이는 행동 중심의 지표가 성공을 보고하더라도, 숨겨진 내부 의사결정 상태의 스트레스 민감도 신호를 가려버리는 평가의 사각지대를 생성합니다.

방법론: S3E 프레임워크

저자들은 외부 행동과 내부 의사결정 상태 사이의 디커플링(decoupling)을 분석하기 위해 설계된 S3E (Structured Semantic Stress Evaluation) 프레임워크를 소개합니다.

1. 평가 프로토콜

• 긍정 기반 A/B 강제 선택 (Positive-Anchored A/B Forced-Choice): 평가는 이미지, 이미지를 뒷받로하는 긍정 캡션($c^+$), 그리고 후보 캡션($c$)을 제시합니다. 모델은 어떤 캡션이 이미지를 더 잘 설명하는지 선택해야 합니다.
• 순서 균형 (Order Balancing): 위치 편향을 제거하기 위해, 시행(trials)은 원래 순서($[c^+, c]$)와 바뀐 순서($[c, c^+]$) 모두에서 평가됩니다.
• 엄격한 정답 필터링 (Strict-Correct Filtering): 분석은 모델이 두 가지 옵션 순서 모두에서 긍정 캡션 $c^+$를 선택한 "엄격한 정답" 시행에 대해서만 수행됩니다. 이는 내부 분석이 외부 행동이 안정적이고 올바른 경우에 집중되도록 보장합니다.

2. 후보 조건 (Candidate Conditions)

프레임워크는 공개 벤치마크(Winoground, SugarCrepe, ARO)에서 유래한 "base–preserve–stress" 기질을 활용합니다:

• 긍정 ($c^+$): 이미지가 지원하는 골드 스탠다드 캡션.
• 보존 ($c_{pres}$): $c^+$의 의미를 보존하는 재작성된 문장 (올바른 재구성에 대한 내부 안정성 테스트).
• 어휘 ($c_{lex}$): 별개의 의미를 보존하는 표면적 제어 (일반적인 단어 수준의 변이를 테스트).
• 스트레스 ($c_{stress}$): 의미 변화를 유도하는 후보로, 의미론적 충돌(객체, 속성, 관계 또는 구성적 변화)을 도입함.
• 무작위 ($c_{rand}$): 다른 항목에서 가져온 일반적인 불일치 캡션.

3. 의사결정 상태 프로빙 (Decision-State Probing)

• 추출 지점: 은닉 상태(hidden states)는 모델이 강제 선택 토큰을 생성하기 직전인 **사전 답변 의사결정 상태(pre-answer decision state)**에서 추출됩니다.
• 지표: 저자들은 **긍정 앵커 코사인 거리(positive-anchored cosine distance)**를 사용합니다. 후보 조건 $k$에 대한 점수 $S^{(m,\ell)}_{i,o,k}$는 $1 - \cos(h^{(m,\ell)}_{i,o,k}, h^{(m,\ell)}_{i,o,+})$로 정의되며, 여기서 $h^{(m,\ell)}_{i,o,+}$는 긍정 캡션의 은닉 상태입니다.
• 제어-정규화 대비 (Control-Normalized Contrast): 주요 지표는 제어 집단 대비 스트레스 조건의 **초과 변위(excess displacement)**입니다:
  • $\Delta_{lex} = S_{stress} - S_{lex}$ (의미론적 스트레스 vs 어휘적 변이).
  • $\Delta_{pres} = S_{stress} - S_{pres}$ (의미론적 스트레스 vs 의미 보존 재구성).
  • $\Delta_{rand} = S_{stress} - S_{rand}$ (의미론적 스트레스 vs 일반적 불일치).

4. 진단 프로필 (Diagnostic Profile)

결과는 네 가지 차원(CA, SO, SI, BE)에 걸쳐 보고됩니다:

• CA (Compression–Anisotropy): 유효 랭크(effective rank) 및 분산 집중도.
• SO (Structural Organization): 레이어별 드리프트 및 피크 레이어 국소화.
• SI (Selectivity–Identifiability): 제어 집단에 대한 스트레스 신호의 특이성.
• BE (Behavioral Exposure): 정확도 및 엄격한 정답률.

주요 결과

연구는 5개의 오픈 소스 모델(Qwen3VL 2B, 4B, 8B, Gemma3-4B, InternVL3-2B)을 대상으로 수행되었습니다.

1. 숨겨진 스트레스 민감도의 존재: 테스트된 모든 모델에서, 의미론적 스트레스는 모델이 올바른 강제 선택 결정을 내렸음에도 불구하고, 어휘적 제어 집단에 대해 일관되로 양(+)의 선택 레이어 초과 변위($\Delta_{lex}$)를 생성했습니다.

   • Qwen3VL-8B의 경우, 쌍을 이룬 표준화된 효과 크기($d_p$)는 2.85였으며 $\Delta_{lex}$는 0.1293이었습니다.
   • Gemma3-4B의 경우, $\Delta_{lex}$는 0.0093, $d_p$는 5.45였습니다.
   • 높은 지지도를 가진 모든 실행에서 $\Delta_{lex}$의 신뢰 구간은 0을 포함하지 않았습니다.

2. 규모가 격차를 제거하지 못함: 모델 규모가 증가(Qwen3VL 2B $\to$ 8B)하더라도 행동-내부 디커플링이 붕괴되지 않았습니다. 오히려 의미론적 특이성 대비(semantic-specific contrast)가 규모와 함께 커졌으며(0.0190 $\to$ 0.1293), 이는 더 큰 모델이 외부적으로 올바를 때조차 더 강력하거나 식별 가능한 스트레스 특이적 의사결정 구조를 가질 수 있음을 시사합니다.

3. 신호의 특이성:

   • 효과는 의미론적으로 특이적입니다: $\Delta_{lex}$는 일관되게 양수였으며, 이는 변위가 단순히 어휘적 또는 표면적 변이 때문이 아님을 나타냅니다.
   • 효과는 일반적 불일치가 아님을 보여줍니다: $\Delta_{rand}$(스트레스 vs 무작위 부정)는 모델마다 달랐으며 종종 음수이거나 0에 가까웠습니다. 이는 무작위 부정 사례가 주요 의미론적 베이스라인이라기보다 강력한 원시 불일치 참조 역할을 함을 확인시켜 줍니다.

4. 레이어 국소화: 스트레스 반응은 특정 "피크(peak)" 레이어(E3 스트레스 특이성 프로필을 통해 식별됨)에 국한되어 나타났으나, 사전에 지정된 상위 절반 레이어 체크에서도 관찰되었습니다. 이는 반응이 단 하나의 고립된 레이어에만 국한되지 않음을 시사합니다.

의의 및 주장

본 논문은 연구 결과에 대해 다음과 같이 제한적이고 범위가 정해진 주장을 합니다:

• 진단적 렌즈이지, 실패 증명서가 아님: 저자들은 S3E가 범위가 정해진 진단 대상이지, 다운스트림 실패, 환각 또는 안전성을 보증하는 증명서가 아님을 명시적으로 밝힙니다. 엄격한 정답 행동 하에서의 초과 변위 존재는 "의사결정 상태의 스트레스 민감도"를 나타내는 것이지, 반드시 모델이 자유 형식 생성이나 다운스트림 작업에서 실패할 것임을 의미하지는 않습니다.
• 강제 선택 정답성의 불충분성: 주요 결론은 강제 선택의 정답성만으로는 불변적인 내부 의사결정 기하 구조를 보장하기에 충분하지 않다는 것입니다. 모델은 행동적으로는 견고하면서도 내부적으로는 의미론적 스트레스에 민감할 수 있습니다.
• 신호의 해석: 관찰된 변위는 후보가 의미론적 충돌을 도입할 때 모델의 사전 답변 의사결정 기하 구조가 어떻게 변하는지를 나타내는 신호로 해석됩니다. 이 신호는 어휘적 변이, 답변 마진, 표면 중첩에 대한 제어를 통과하여 생존합니다.
• 한계점: 저자들은 기질이 영어 중심이며 공개 벤치마크에서 유래했음을 인정하며, 이는 일반화 가능성을 제한할 수 있다고 언급합니다. 또한 분석이 화이트박스 접근(은닉 상태)에 의존하므로 폐쇄형 모델에는 적용하기 어렵다는 점을 명시합니다. $\Delta_{lex}$ 지표는 사전 답변 상태에서의 기하학적 반응이며, 추가적인 증거 없이 캘리브레이션이나 미래의 행동적 실패와 혼동해서는 안 됩니다.

요약하자면, S3E는 MLLM에서 "숨겨진 스트레스"를 탐지하는 방법을 제공하여, 외부 출력이 올바르게 보이더라도 내부 의사결정 상태는 불안정할 수 있음을 드러내며, 이를 통해 레이어 중립적 추정치(layer-neutral estimates)와 견고성 테스트에 대한 향후 연구를 촉발합니다.