기술 요약: 톤-압력 대조적 디코딩 (Tone-Pressure Contrastive Decoding, TPCD)

1. 문제 정의

시각-언어 모델(VLM)은 **압력 유도 환각(pressure-induced hallucination)**이라 불리는 특정 실패 모드를 보입니다. 사용자가 유도적, 강압적 또는 고압적인 프롬프트를 사용할 때, 모델은 불확실성을 구체적이고 근거 없는 확신으로 대체하는 경 경향이 있습니다. 이는 판독 불가능한 텍스트를 읽어내거나, 불분명한 시간을 보고하거나, 존재하지 않는 객체의 존재를 긍정하는 방식으로 나타납니다.

"안전한" 프롬프트(중립적 래퍼)가 이를 일부 완화할 수는 있지만, 모델이 여전히 약한 증거를 구체적인 답변으로 변환하는 경우에는 실패하는 경우가 많습니다. 반대로, 전체 대조적 디코딩(safe branch에서 negative branch를 빼는 방식)은 과도한 거부(over-refusal)를 일으켜 타당한 긍정 답변까지 억제할 수 있습니다. 본 연구에서 식별된 핵심 과제는 외부의 정답(ground truth) 레이블 없이 오직 모델 출력만을 사용하여, 언제 압력 차감(pressure subtraction)을 적용할지 결정하는 **레이블 프리 라우팅(label-free routing)**입니다.

2. 방법론

톤-압력 대조적 디코딩 (TPCD)

TPCD는 압력 유도 환각에 특화되어 설계된 대조적 디코딩 변형 방식입니다. 이미지 $I$와 질문 $q$에 대해, VLM은 두 가지 지시문 래퍼(instruction wrapper)로 실행됩니다:

1. 안전한 중립 ($s_0$): 가시적인 증거에만 기반하여 답변할 것을 요청합니다.
2. 고압적 ($s_+$): 확신 있는 답변을 요구하고 불확실성을 지양합니다.

각 디코딩 단계 $t$에서 로짓(logits)은 다음과 같이 결합됩니다:
$$\tilde{\ell}_t = (1 + \alpha)\ell^0_t - \alpha\ell^+_t$$
여기서 $\ell^0_t$와 $\ell^+_t$는 각각 안전 및 압력 로짓입니다. 파라미터 $\alpha$는 2.0으로 설정되었습니다. 이 메커니즘은 압력에 의해 촉진된 토큰을 압력 래퍼에 의해 촉진된 것보다 더 많이 페널티를 주는 동시에, 두 브랜치 모두에 의해 지지되는 토큰은 보존합니다.

레이블 프리 게이팅 메커니즘 (Label-Free Gating Mechanisms)

전체 TPCD는 지나치게 보수적이어서(긍정 정확도 붕괴) 그렇기 때문에, 본 논문은 압력 답변($y_+$)과 TPCD 답변($y_{TPCD}$) 사이를 결정하기 위한 여러 **게이트(gate)**를 제안합니다. 이 게이트들은 외부 정답 레이블을 필요로 하지 않고 오직 표면 형태(surface-form) 출력과 브랜치 간 불일치에 의존합니다:

• 표면 규칙 확약 게이트 (Surface-Rule Commitment Gate): 압력 브랜치가 구체적인 확약(예: 특정 시간, 이름, 또는 긍정적인 "yes")을 생성할 때 작동합니다. 한계: 이는 벤치마크 스코어러와 동일한 서술어를 사용하므로 특정 카테고리에 대해서는 동의어 반복(tautological)이 될 수 있습니다.
• 브랜치 불일치 게이트 (Branch-Disagreement Gate): 압력 브랜치는 확약하지만, 안전 중립 브랜치($y_0$)는 확약하지 않을 때만 작동합니다.
• 태스크 우선순위/불일치 게이트 (Task-Prior/Disagreement Gate): 안전 중립화가 실패하는 것으로 알려진 특정 카테カテゴリ(시간 및 인간의 의도)에 대해 TPCD를 강제하고, 그 외에는 브랜치 불일치로 돌아가는 하이브리드 방식입니다.
• 답변 불일치 라우터 (Answer-Disagreement Router): 카테고리 우선순위에 의존하지 않는 규칙으로, $y_+$가 확약하고 $y_0$가 기권하거나 다르며, $y_{TPCD}$ 자체가 더 이상 확약하지 않을 때 작동합니다.

실험 프로토콜

본 연구는 tone-matters 벤치마크(8개의 시각적으로 불충분한 카테고리에 걸친 800개의 예시)를 활용합니다.

• 설계 분할 (Design Split): LLaVA-1.5-7B를 사용하여 게이트 규칙을 정의합니다.
• 홀드아웃 검증 (Held-Out Validation): 고정된 규칙을 테스트하기 위해 GLM-4.6V 및 Llama-3.2-Vision을 사용하며, 재튜닝 없이 고정된 규칙을 적용합니다.
• 지표: 네거티브 사례에 대한 공격 성공률(ASR)과 매칭된 780개의 포지티브 컨트롤 세트에 대한 긍정 정확도(Positive Accuracy, 타겟 회복)를 측정합니다.

3. 주요 결과

LLaVA-1.5-7B (설계 모델) 성능

• 압력 베이스라인 (Pressure Baseline): 66.75% ASR.
• 안전 중립화 (Safe Neutralization): ASR을 9.88%로 낮추지만 일부 환각이 잔존합니다.
• 전체 TPCD (Full TPCD): ASR을 **0.50%**로 급격히 낮추지만, 과도한 거부로 인해 긍정 정확도가 **15.56%**로 붕괴됩니다.
• 태스크 우선순위/불일치 게이트: 설계 세트에서 최상의 트레이드오프를 달 achieves, ASR을 **1.63%**로 낮추면서 **54.44%**의 긍정 정확도를 유지합니다 (안전 베이스라인과 일치).

교차 모델 전이 (GLM 및 Llama)

LLaVA에서 도출된 고정 규칙을 GLM-4.6V 및 Llama-3.2-Vision에 적용했을 때:

• 안전 중립화: 통합 ASR 10.98%.
• 태스크 우선순위/불일치: 통합 ASR을 **4.90%**로 낮추면서 **73.78%**의 긍정 정확도를 달성합니다.
• 답변 불일치 라우터: 카테고리 우선순위가 없는 규칙으로, ASR을 **6.93%**로 낮추면서 **79.94%**의 긍정 정확도를 달성합니다.
• 브랜치 불일치: ASR을 9.67%로 낮추며 79.94%의 긍정 정확도를 달성합니다.

메커니즘 진단 (POPE)

POPE 벤치마크의 첫 번째 토큰 진단 결과, 압력은 참(true)인 양성과 거짓(false)인 양성 모두에 대해 "yes" 마진을 증가시킵니다. 그러나 일반적인 방해된 지시문 브랜치(ICD 등)는 압력 브랜치와 동일한 확약 신호를 격리해내지 못하며, 이는 TPCD가 톤 유도 편향에 특화되어 있음을 확인시켜 줍니다.

4. 기여

1. 확약 편향(Commitment Bias)의 공식화: 본 논문은 압력 유도 환각을 확약 편향으로 규정하고, 이를 일반적인 지시문 방해 방법과 구별되는 표적 대조적 디코딩 변형으로서 TPCD를 도입했습니다.
2. 운용 가능한 레이블 프리 게이트: 외부 레이블 없이 모델 출력(표면 규칙, 불일치)만을 사용하는 여러 라우팅 전략을 평가하고 특징지었습니다.
3. 교차 모델 증거: 세 가지 모델 제품군에 걸쳐 전체 규모의 증거(네거티브 n=800, 포지티브 n=780)를 제공하여, 압력 차감이 유효한 완화 신호이지만 모델에 따라 최적의 라우팅이 달라질 수 있음을 입증했습니다.
4. 한계점 규명: "레이블 프리 게이팅 병목 현상"을 명시적으로 식별하여, 현재의 게이트들이 독립적으로 검증된 그라운딩 탐지기가 아니며 종종 표면 형태나 카테고리 우선순위에 의존함을 보여주었습니다.

5. 의의 및 주장

본 논문은 다음과 같은 겸손하고 좁은 범위의 주장으로 결론을 맺습니다:

• 압력은 유용한 프로브이다: 압력 반응 분포는 확약 편향을 효과적으로 노출하며, 대조적 디코딩을 위한 유효한 네거티브 브랜치 역할을 합니다.
• 완화는 가능하지만 불완전하다: 단순한 라우팅 규칙은 안전 중립화에 비해 ASR을 크게 줄이면서도 홀드아웃 모델에서 긍정 정확도를 보존할 수 있습니다.
• 일반적인 해결책은 아직 없다: 현재의 게이트들은 독립적으로 검증된 그라운딩 인지 탐지기가 아닙니다. 이들은 사후적(post-hoc)이며 표면 형태에 기반하며, 종종 벤치마크 특정 카테고리 우선순위에 의존합니다.
• 향후 방향: 주요 병목 지점은 시각적 증거가 약할 때 표면 수준의 휴리스틱에 의존하는 대신, 압력 유도 확약을 차감해야 할 시점을 독립적으로 결정할 수 있는 **그라운딩 인지 라우터(grounding-aware router)**를 개발하는 것입니다.

저자들은 이 연구가 완성된 배포용 일반 라우터가 아니라, 압력 차감의 가능성과 비보편성을 보여주는 **특성 규명 논문(characterization paper)**임을 강조합니다.