기술 요약: 어텐션 헤드의 역할 이탈 (Role-Break in Attention Heads)

문제 정의

시각-언어 모델(VLM)은 이미지 캡셔닝 및 시각적 질의응답과 같은 작업에서 상당한 진전을 이루었으나, 입력된 이미지에 근거하지 않은 언어적으로 그럴듯한 내용을 생성하는 환각(hallucination) 현상에 취약한 상태로 남아 있습니다. 기존의 탐지 및 완화 전략은 시각-텍스트 불균형이나 언어적 사전 지식(language priors)에 대한 과도한 의존성과 같은 특정 환각 패턴에 집중하는 경우가 많습니다. 그러나 실제 세계의 환각은 이러한 패턴들이 혼합되어 발생하며, 이로 인해 단일 메커니즘에 기반한 신호는 서로 다른 모델과 작업 전반에서 안정성을 유지하는 데 실패합니다. 본 논문은 환각의 내부 역학을 이해하기 위해 통합된 헤드 수준(head-level)의 관점이 필요하다고 주장합니다.

방법론

핵심 개념: 충실한 역할(Faithful Role)과 역할 이탈(Role-Break)

저자들은 세 가지 주요 관찰을 바탕으로 VLM 환각에 대한 통합된 헤드 수준의 관점을 제안합니다:

1. 헤드 의존성(Head-Dependence): 단일 어텐션 특징(예: 이미지 어텐션 가중치)은 모든 헤드, 모델, 작업에 걸쳐 환각과 안정적인 방향성 연관성을 보이지 않습니다.
2. 충실한 역할(Faithful Roles): 충실한 생성(faithful generation) 하에서, 개별 어텐션 헤드는 네 가지 소스 그룹(시스템 프롬프트, 이미지 토큰, 사용자 텍스트, 자체 생성 히스토리)에 어텐션을 할당하는 방식에 있어 안정적이고 이질적이며 재현 가능한 행동 패턴을 보입니다. 저자들은 이 안정적인 베이스라인을 해당 헤드의 **충실한 역할(Faithful Role)**이라고 명명합니다.
3. 역할 이탈(Role-Break): 환각이 발생한 토큰에서, 개별 헤드는 자신만의 특정 충실한 역할로부터 재현 가능하고 체계적인 편차를 보입니다. 이러한 구조적 이탈을 **역할 이탈(Role-Break)**이라고 합니다.

탐지기 설계

역할 이탈 현상을 기반으로, 저자들은 VLM의 미세 조정(fine-tuning)이 필요 없고 추가적인 추론 단계가 도입되지 않는 경량 선형 환각 탐지기를 설계했습니다. 파이프라인은 세 단계로 구성됩니다:

1. 어텐션 합성(Attention Composition): 타겟 토큰 $y_k$에 대해, 시스템은 모든 레이어-헤드 $(l, h)$에 대한 소스 할당 벡터 $\pi_{k,l,h}$를 추출합니다. 이는 네 가지 소스 그룹 사이에 분배된 어텐션 질량을 나타냅니다.
2. ILR 역할 인코딩(ILR Role Encoding): 어텐션의 합성적 성질(합이 1임)을 처리하고 중복을 제거하기 위해, 저자들은 등적 로그-비율(Isometric Log-Ratio, ILR) 변환을 적용하여 4부 구성(four-part composition)을 3D 유클리드 공간으로 매핑합니다. 그 후, 현재 토큰의 ILR 좌표를 헤드의 충실한 역할의 경험적 평균 및 표준 편차(훈련 데이터로부터 추정됨)에 대해 잔차(residual)를 계산합니다.
   $$r_{k,l,h} = (u_{k,l,h} - \tilde{\mu}^F_{l,h}) \oslash \tilde{\sigma}^F_{l,h}$$
3. 탐지(Detection): 모든 $L \times H$ 레이어-헤드에 걸친 잔차들을 하나의 벡터(차원 $3LH$)로 평탄화(flatten)합니다. 이 벡터는 단순한 **L2 정규화 로지스틱 회귀 프로브(L2-regularized logistic regression probe)**에 입력되어 환각 확률을 예측합니다.

주요 기여

• 개념적 프레임워크: 본 논문은 VLM 환각을 여러 어텐션 헤드가 각자의 베이스라인으로부터 구조적으로 이탈하는 현상으로 규정하는 **충실한 역할(Faithful Role)**과 역할 이탈(Role-Break) 개념을 도입하여, 다양한 환각 패턴의 혼합된 특성을 수용합니다.
• 내부 구조 분석: 저자들은 환각 정보가 글로벌한 어텐션 특징의 상승 또는 하락에 의해 전달되는 것이 아니라, 헤드 고유의 정체성을 유지하는 편차 패턴에 인코딩되어 있음을 밝혀냈습니다. 또한 이 신호가 **선형적으로 판독 가능(linearly readable)**함을 입증했습니다.
• 효율적인 탐지기: 역할 이탈에 기반한 선형 환각 탐지기를 제안합니다. 이 모델은 5,000 미만의 특징 차원(구체적으로 $3LH$)을 가지며, 추가적인 VLM 훈련이나 추론 오버헤드를 요구하지 않습니다.

실험 결과

탐지기는 6개의 VLM(MiniGPT-4, LLaVA-1.5, InstructBLIP, Qwen3-VL, Qwen3.5 포함)을 대상으로 4개의 벤치마크(POPE, AMBER, M-HalDetect, COCO-Caption)에서 평가되었습니다.

• 성능: 이 방법은 모든 모델과 벤치마크에서 평균 93.23의 AUROC를 달성했습니다.
  • 판별 작업 벤치마크(POPE, AMBER)에서는 96.95 AUROC 및 96.98 AUPRC에 도달했습니다.
  • 생성 작업 벤치마크(M-HalDetect, COCO-Caption)에서는 89.52 AUROC 및 77.44 AUPRC에 도달했습니다.
• 비교: 이 방법은 불확실성 기반 점수(AvgProb, AvgEnt), 표현 프로빙(RepProbing, VIB-Probe), 어텐션 기반 방법(DHCP)을 포함한 최신 기술(SOTA) 베이스라인들과 대등하거나 이를 능가하는 성능을 보였습니다. 특히, 표현 프로브가 성능이 저하되는 생성 작업에서도 강력한 성능을 유지했습니다.
• 효율성: 이 탐지기는 VIB-Probe(예: ~135M)에 비해 훨씬 적은 파라미터(예: ~3,000)를 사용하며, 은닉 상태(hidden-state) 프로브에 비해 훨씬 작은 특징 차원을 가집니다.
• 개입(Intervention): 판별 작업에서의 소규모 실험에서, 탐지기가 토큰을 환각으로 분류했을 때 모델의 답변을 뒤집는(flipping) 방식은 POPE에서 평균 2.8 포인트, AMBER에서 7.0 포인트의 Macro-F1 점수 향상을 가져왔습니다.

의의 및 주장

본 논문은 **역할 이탈(Role-Break)**이 어텐션 헤드의 기능적 전문화를 활용함으로써 환각 탐지를 위한 견고하고 모델 불가지론적인(model-agnostic) 신호를 제공한다고 주장합니다. 특정 환각 메커니즘을 겨냥하는 기존 방법들과 달리, 이 접근 방식은 안정적인 헤드 수준 베이스라인으로부터의 편차를 모니터링함으로써 실제 환각에 내재된 패턴의 "혼합"을 포착합니다.

저자들은 이 접근 방식의 실용성을 강조합니다: 이 방식은 경량이며, 훈련이 필요 없고, 추론 시 계산량이 무시할 만한 수준입니다. 비록 본 논문이 역할 이탈이 환각의 원인인지, 다운스트림 반응인지, 혹은 자기 수정(self-correction) 시도인지를 구분하는 명확한 증거를 제시하지는 못했다고 겸허히 밝히고 있으나, 메커니즘적 설명을 확립하고 역할 이탈을 타겟팅된 완화 전략으로 확장하는 것이 유망한 향후 연구 방향임을 명시했습니다.