Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

기술 요약: 정답 보존 공격 하에서의 모델 신뢰도

문제 정의
배포된 시각-언어 모델(VLM)은 종종 정답 수락, 인간에게 위임 또는 기권과 같은 후속 결정을 제어하기 위해 내부 신뢰도 점수를 활용한다. 본 연구에서 조사하는 결정적인 실패 모드는, 생성된 정답 문자열은 원래와 바이트 단위까지 동일하게 유지하면서도 적대적 섭동(perturbation)을 통해 신뢰도 점수를 충분히 변화시켜 후속 결정을 뒤집는 경우이다. 본 논문은 모니터링 대상인 행동(정답)은 고정되어 있으나 입력(이미지)이 적대적으로 섭동될 때, 모델 내부의 신뢰도 판독치가 견고한 감독 기능을 제공할 수 있는지 묻는다. 단일 예측 토큰만을 보존하는 기존의 분류기 연구와 달리, 본 연구는 완전하고 가변적인 길이의 생성된 정답을 보존하는 문제를 다룬다.

방법론 및 위협 모델
저자들은 4개의 VLM(InternVL3.5-2B, Gemma-3-12B, Molmo2-4B, LLaVA-OneVision-7B)과 3개의 벤치마크(GQA, VQAv2, POPE)에 걸쳐 7개의 신뢰도 채널을 평가한다. 주요 위협 모델은 **화이트박스(white-box), 이미지 전용(image-only), 정답 보존(answer-preserving)**이다.

• 공격 제약 조건: 공격은 $L_\infty$ 예산(기본값 8/255) 하에서 투영 경사 하강법(PGD)을 사용하여 입력 이미지를 섭동시킨다. 최적화는 모든 정답 위치의 방출 토큰이 안전 마진($\tau_{safe} = 1.0$ logit)에 의해 argmax 상태를 유지하도록 제한되며, 그리디 디코딩(greedy decoding)을 통한 최종 재생성 정답이 원본 정답과 바이트 단위까지 동일해야 한다는 제약을 따른다.
• 신뢰도 채널: 연구는 다음 5가지 주요 채널을 테스트한다:
  1. 정답 구간 토큰 확률(Answer-span token probability).
  2. $P(IK)$ 및 SAPLMA (프롬프트 종료 및 정답 종료 토큰에서 읽음).
  3. CCPS (내부 섭동에 따른 안정성 측정).
  4. CCPS-D (CCPS 특징을 기반으로 훈련된 미분 가능한 대리 모델).
  • 구두화된 신뢰도(Verbalized confidence)와 자기 일관성(self-consistency)은 추정기 특화 공격의 부재 또는 약한 클린 변별력으로 인해 보조 지표로 보고되었으나 주요 채널 집계에서는 제외되었다.
• 평가 지표: 주요 지표는 정답과 오답을 구별하는 수신기 작동 특성 곡선 아래 면적(AUROC)이다. 또한 "초과 파괴 비율"(공격이 이론적 하한선 대비 성능을 얼마나 저하시키는지)과 배포 결정(수락/위임 비율)에 미치는 영향을 측정한다.

주요 이론적 기여
본 논문은 정답 보존 하에서의 신뢰도 판독치의 견고성에 관한 두 가지 이론적 종착점을 도출한다.

1. 정답 문자열 상한 (명제 1): 가정 1(동일한 정답을 생성하는 서로 다른 이미지들에 대해 도달 가능한 점수 범위가 교차한다는 가정) 하에서, "움직일 수 없는(unmovable)" 판독치(섭동될 수 없는 판독치)는 실질적으로 정답 문자열만의 함수가 된다. 결과적으로, 이들의 변별력은 정답 문자열의 사전 확률(prior)인 $c^* = Pr(Y=1 | A=a(x))$를 초과할 수 없다. 벤치마크 전체에 걸친 이 사전 확률의 결합 운용 값은 0.617이다.
2. 균일 진폭 인증 (명제 3): 가정 1에 의존하지 않고, 저자들은 모든 항목의 조작 가능한 진폭(최대 점수 변위)이 임계값 $\gamma$에 의해 제한된다면, 정답/오답 쌍 사이의 클린 분리도가 $2\gamma$를 초과하는 한 변별력이 정답 문자열 하한선 이상으로 유지됨을 입증한다. 연구 전반에 걸친 중앙값 임계값 $\gamma^*$는 0.065이다.

실험 결과
실험적 평가는 정답 보존 하에서 견고하고 움직이지 않는 판독치가 존재할 가능성을 반박한다:

• 인증 반박: 직접 공격 또는 대리 모델 타겟팅 공격에 의해 생성된 항목별 실행 가능한 섭동은 84개 모든 추정기-셀 조합에서 균일 진폭 임계값($\gamma^*$)을 초과했다. 이는 테스트된 어떤 판독치도 요구되는 균일한 경계를 만족하지 못함을 보여준다.
• 하한 붕괴: 정답 레이블을 인지하는 협응 공격(Coordinated, correctness-label-aware attacks)은 60개 모든 배포 채널 셀에서 적대적 AUROC를 운용 가능한 정답 문자열 하한선로 또는 그 이하로 떨어뜨렸다. 하한선 위에 있었던 59개 셀 중 모두가 하한선 이하로 붕괴되었다. 클린 AUROC(0.72–0.78)는 0.13–0.26으로 급락했으며, 중앙값 초과 파괴 비율은 3.74였다.
• 표현 수준 조작: 이 현상은 적대적 이미지에만 국한되지 않는다. 공격으로 유도된 은닉 상태 드리프트(hidden-state drift)에서 추출된 방향을 모델의 표현(representation)에 직접 주입하면, 이미지 섭동 없이도 정답을 보존하면서 신뢰도 점수를 성공적으로 이동시킬 수 있었다. 이는 취약성이 표현 수준에 존재함을 확인해 준다.
• 방어의 한계:
  • 제한된 프로브: "정답 결합(answer-coupled)" 서브스페이스로 제한된 프로브(COUPLED)는 직접 공격을 받을 때 견고성을 제공하지 못했으나, 전이 공격(transfer attacks)에 대해서는 일부 저항성을 보였다.
  • 섭동 안정성: 안정성(CCPS)을 통해 신뢰도를 측정하는 것은 점수 조작을 방지하지 못했다. 대리 모델 타겟팅 공격은 상당한 AUROC 손실을 야기했다.
  • 입력 정화 및 스무딩: JPEG 전처리 및 무작위 스무딩(randomized smoothing)은 유용한 균일 인증을 확립하거나 변별력 붕괴를 막는 데 실패했다.
  • 불일치 모니터: 여러 채널을 기반으로 한 불일치 모니터는 일관된 견고한 신호를 제공하지 못했으며, 종종 정답 문자열 사전 확률보다 낮은 성능을 보였다.

배포 영향
신뢰도 게이팅 시뮬레이션에서, 공격은 수락 결정을 성공적으로 오염시켰다:

• 오답의 수락 (Wrong-to-Accept): 전이된 토큰 확률 공격 하에서 이전에 거절되었던 오답의 최대 **84.8%**가 수락되었다.
• 정답의 위임 (Correct-to-Abstain): 이전에 수락되었던 정답의 최대 **27.4%**가 새롭게 위임되었다.
• 순 정확도 (Net Accuracy): 자연스러운 정답 빈도로 재가중치를 적용했을 때, 공격받은 게이트의 수락 정확도는 전이 공격 하에서는 12개 셀 중 8개에서, 직접 공격 하에서는 12개 셀 모두에서 "게이트 없음(모든 정답 수락)" 베이스라인보다 낮아졌다.

의의 및 주장
본 논문은 화이트박스, 이미지 전용, 정답 보존 공격이라는 특정 위협 모델 하에서, 모델 내부의 신뢰도는 본질적으로 견고한 감독 메커니즘이라기보다 무결성에 민감한 신호(integrity-sensitive signal)라고 결론짓는다.

• 본 연구는 신뢰도가 쓸모없다고 주장하거나, 독립적으로 훈련된 외부 검증기 또는 미래의 인증된 구조를 배제하는 것이 아니다.
• 그러나 현재 VLM에 배포된 특정 판독치들이 정답을 보존하는 집합 내에서 조작 가능하다는 점을 입증한다.
• 이러한 결과는 입력 경로를 신뢰할 수 없는 상황에서 신뢰도 게이팅 시스템이 신뢰를 얻으려면, 정답 텍스트를 보존하는 적대적 조작으로부터 점수 자체가 보호되거나, 인증되거나, 혹은 독립적으로 검증되어야 함을 시사한다. 즉, 내부 신호만으로는 출력 텍스트를 보존하는 적대적 조작에 대해 견고성을 보장할 수 없다.