기술 요약: YARD – 효율적인 환각 완화를 위한 Y-아키텍처 레지스터 디코딩

1. 문제 정의

대규모 시각-언어 모델(LVLMs)은 종종 환각(hallucination) 현상을 겪습니다. 즉, 텍스트를 생성할 때 의미론적으로는 그럴듯하지만 시각적 입력과 일치하지 않는 내용(예: 존재하지 않는 객체, 잘못된 속성 또는 지원되지 않는 공간 관계)을 생성합니다. **대조 디코딩(Contrastive Decoding, CD)**은 "클린(clean)" 모델 브랜치와 "열화된(degraded)" 브랜치를 대조하여 환각이 발생하기 쉬운 로짓(logits)을 억제함으로써 훈련이 필요 없는 해결책을 제공하지만, 기존 방법들은 두 가지 결정적인 딜레마에 직면해 있습니다:

1. 최적화되지 않은 열화된 브랜치:
   • 텍스트 전용 접근 방식: 시각적 토큰을 완전히 제거하면 열화된 브랜치가 언어 사전 지식(language-prior) 모델로 전락합니다. 이는 특정 입력 이미지와 정렬되지 않는 일반적인 사전 지식에 기반한 환각을 유발하여, 이미지 특유의 환각을 분리해 내는 데 실패합니다.
   • 픽셀 수준의 열화: 입력 이미지를 손상시키는 방식(예: 노이즈 추가)은 제어가 거칠게 이루어집니다. 시각적 특징(색상, 질감, 경계 등)은 픽셀 공간에서 밀접하게 얽혀 있기 때문에, 이러한 섭동(perturbations)은 환각의 원인이 되는 국소적 증거를 격리하는 데 실패하고 대신 열화된 로짓에 실제 시각 신호를 오염시킵니다.
2. 추론 지연 시간(Inference Latency): 대부분의 기존 CD 방법은 두 번의 전체 순전파(forward pass) 과정(클린 브랜치용 하나, 열화된 브랜치용 하나)을 요구하므로 추론 지연 시간이 크게 증가합니다.

2. 방법론: YARD

저자들은 LLM 디코더 내부에서 내부적으로 열화된 브랜치를 구축하는 훈련 불필요 프레임워크인 YARD(Y-Architecture Register Decoding)를 제안합니다. 이 방법은 교차 모달 정보 흐름에 관한 두 가지 핵심 관찰에 기반합니다.

A. 어디를 열화시킬 것인가: 중간 레이어 윈도우(The Middle Layer Window)

텍스트-시각 어텐션 및 개입 실험 분석 결과는 다음과 같습니다:

• 얕은 레이어(Shallow layers): 어텐션이 분산되어 있어 쉽게 방해를 받습니다.
• 깊은 레이어(Deep layers): 작업 관련 시각적 증거가 이미 텍스트 측 표현으로 상당 부분 통합되었습니다. 따라서 여기서 시각 토큰을 섭동시켜도 최종 예측에는 미미한 영향만을 미칩니다.
• 중간 레이어(Middle layers): 이곳은 신뢰할 수 있는 시각적 접지(visual grounding)가 나타나고, 텍스트 토큰이 완전한 통합 이전에 국소적 시각 증거를 획득하기 시작하는 결정적인 윈도우입니다.
  YARD 전략: 이 프레임워크는 얕은 디코더 레이어들을 클린 브랜치와 열화된 브랜치 간에 공유하며, 중간 레이어(예: 25개 레이어 모델에서 10번째 레이어)에서 정확히 분기(split)합니다. 이를 통해 열화된 브랜치가 초기 멀티모달 컨텍스트를 상속받으면서도, 미세한 국소적 증거가 완전히 통합되는 것을 방지합니다.

B. 어떻게 열화시킬 것인가: 레지스터 기반 특징 수준 열화(Register-Based Feature-Level Degradation)

입력 이미지를 손상시키거나 토큰을 완전히 제거하는 대신, YARD는 특징 수준에서 열화된 조건을 구축합니다:

• 레지스터 토큰(Register Tokens): YARD는 레지스터 토큰(Vision Transformer에서 고정밀 아웃라이어 아티팩트를 흡수하기 위해 원래 제안됨)을 활용합니다. 이 토큰들은 테스트 시점에 이상적인 MLP 활성화 값을 부가된 토큰으로 리다이렉션함으로써 구축됩니다.
• 열화 메커니즘:
  • 클린 브랜치(Clean Branch): 원래의 패치 수준 시각 토큰($Z$)과 레지스터 토큰($R$)을 유지합니다.
  • 열화된 브랜치(Degraded Branch): 미세한 패치 토큰($Z$)을 버리고 오직 레지스터 토큰($R$)과 텍스트 토큰($T$)에만 의존합니다.
• 효과: 레지스터 토큰은 거친 글로벌 이미지 세만틱(브랜치를 "이미지 인지적"으로 유지함)을 보존하지만, 미세한 국소적 대응 관계(브랜치를 "국소적 접지력이 부족하게" 만듦)는 결여되어 있습니다. 이는 텍스트 전용 브랜치의 극단적인 모달리티 불일치나 픽셀 수준 섭동의 노이즈 없이, 환각이 발생하기 쉬운 구성 요소를 드러내는 대조 신호를 생성합니다.

C. 효율성을 위한 Y-아키텍처(Y-Architecture for Efficiency)

분기 전의 얕은 레이어($1$부터$K$까지)의 계산을 공유함으로써, YARD는 입력 수준의 대조 방법에서 요구되는 비용이 큰 두 번째 전체 순전파 과정을 피합니다. 브랜치는 남은 레이어($K+1$부터 $D$까지)를 위해서만 갈라집니다.

최종 로짓은 다음과 같이 계산됩니다:
$$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$$
여기서 $\ell^c$와 $\ell^d$는 각각 클린 브랜치와 레지스터 조건부 열화 브랜치로부터 얻은 로짓입니다.

3. 주요 기여

1. 레지스터 기반 특징 수준 열화: 시각 입력을 손상시키지 않고도, 레지스터 토큰을 활용하여 글로벌 세만틱은 유지하면서 로컬 증거는 제거함으로써 '이미지는 인지하지만 국소적 접지는 부족한' 대조 브랜치를 구축하는 새로운 방법을 도입했습니다.
2. 열화된 브랜치의 순도 분석: 절제 실험(ablation)을 통해, 보수적인 클린-로짓 앵커링($\alpha$)을 제거했을 때 환각 지표가 낮아지는 것을 확인하였으며, 이를 통해 특징 수준의 열화(특히 레지스터를 통한 글로벌 정보 활용)가 텍스트 전용 또는 픽십 수준의 열화보다 더 순수한 환각 신호를 드러낸다는 것을 입증했습니다.
3. YARD 프레임워크: 다양한 LVLM에서 환각을 일관되게 완화하면서도 이중 패스(dual-pass) 방법보다 추론 지연 시간을 크게 줄이는 효율적인, 훈련 불필요 Y-아키텍처 디코딩 프레임워크를 제시합니다.

4. 실험 결과

YARD는 다양한 백본(LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini)을 사용하여 생성적(AMBER, Object HalBench, MME-Hallucination) 및 판별적(AMBER Discrimination, POPE) 벤치마크 모두에서 평가되었습니다.

• 생성 성능: LLaVA-1.5-7B에서 YARD는 Object HalBench 점수(CHs/CHi)를 27.0/10.5에서 19.7/6.5로 감소시켜, OPERA, VCD, FuzzyCD와 같은 최첨단 방법들을 능가했습니다. 또한 MME-Hallucination에서 최고의 색상 인지 점수를 달성하여 시각적 능력이 보존되었음을 보여주었습니다.
• 판별 성능: YARD는 LLaVA-1.5에서 AMBER 정확도/F1을 67.00/71.10에서 78.70/84.10으로, POPE 정확도/F1을 83.93/82.24에서 86.14/85.85로 향상시켰습니다.
• 전이 가능성: 이 방법은 Qwen3-VL 및 LLaVA-NeXT를 포함하여 테스트된 모든 아키텍처에서 일관된 개선을 보여주었으며, 이는 YARD가 특정 아키텍처에 국한된 것이 아니라 LVLM 디코딩의 일반적인 특성을 포착하고 있음을 시사합니다.
• 절제 연구: 중간 레이어(예: $K=10$)에서 분기하는 것이 결정적임을 확인했습니다. 너무 일찍 혹은 너무 늦게 분기하면 최적의 결과를 얻을 수 없습니다. 레지스터 기반 열화는 "평균(Average)" 특징 열화 및 "텍스트 전용(Text-Only)" 변형보다 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 YARD가 대조 디코딩의 근본적인 트레이드오프, 즉 환각을 드러낼 만큼 충분히 다르면서도 일반적인 언어 사전 지식을 피하기 위해 이미지와 충분히 정렬되어야 하는 열화된 브랜치의 필요성을 해결한다고 주장합니다. 디코딩 과정 내의 구조화된 특징 수준 공간으로 열화를 이동시킴으로써, YARD는 다음을 달 achieves 합니다:

• 충실한 대조 신호: "글로벌하지만 로컬은 결여된" 설계는 약한 국소적 접지 하에서는 그럴듯하지만 깨끗한 시각적 증거에 의해 뒷받지되는 예측을 효과적으로 억제합니다.
• 효율성: Y-아키텍처는 두 번째 전체 순전파의 필요성을 제거하여 실질적인 배포 가능한 솔루션을 만듭니다.
• 일반성: 이 접근 방식은 특정 모델 아키텍처에 묶여 있지 않으며, 환각 완화를 위한 일반적인 훈련 불필요 휴리스틱을 제공합니다.

저자들은 특정 Transformer 기반 LVLM을 위한 효과적인 레지스터 표현 구축에 대한 의존성과 분기 레이어 선택에 대한 민감도를 한계점으로 언급하며, 향-후 연구에서 이러한 메커니즘을 더 넓은 멀티모달 아키텍처에 적응시키는 방향을 제시했습니다.