기술적 요약: 비전 - 언어 모델의 객체 환각에 대한 이중 경로 회로

문제 제기

비전 - 언어 모델 (VLM) 은 시각적 지각과 자연어 이해를 연결하는 데 뛰어난 성과를 거두었습니다. 그러나 모델은 입력 이미지에 존재하지 않는 개체, 속성 또는 관계를 설명하는 객체 환각에 자주 시달립니다. 이러한 행동은 시각적 증거보다 텍스트 중심의 사전 지식을 과도하게 의존하는 것을 반영하며, 모델의 신뢰성과 해석 가능성을 제한합니다.

기존의 완화 전략 (예: 학습 시간 정렬, 디코딩 제약, 사후 수정) 은 대부분 VLM 을 블랙박스로 간주하여 환각을 유발하는 내부 계산을 조사하지 않은 채 입력이나 디코딩 절차를 수정합니다. 결과적으로 이러한 방법들은 종종 모델에 특화되어 아키텍처 간에 일반화되지 못합니다. 또한, 기계적 해석 가능성 (mechanistic interpretability) 이 언어 모델에 적용되어 사실적 회상과 같은 행동을 위한 회로를 식별해 왔지만, 시각적 표현과 언어 구성 요소의 통합 및 현대적 VLM 의 아키텍처 다양성으로 인해 VLM 에 적용하는 것은 어렵습니다.

방법론

저자들은 아키텍처가 다양한 VLM 들에서 환각 관련 회로를 식별하고 특성화하도록 설계된 이중 경로 회로 분석 (Dual-Pathway Circuit Analysis) 프레임워크를 제안합니다. 본 연구는 POPE-적대적 벤치마크를 사용하여 5 개의 VLM(Qwen3-VL, LLaVA, Llama-3.2-Vision, InternVL3-8B, InternVL3-14B) 에 대해 3 단계 분석 전략을 적용합니다.

1. 회로 발견을 위한 활성화 패치 (Activation Patching)

저자들은 입력 계층에서 가우시안 잡음 (3σ) 으로 시각 토큰 임베딩을 손상시켜 정확도를 우연 수준으로 떨어뜨리는 방식으로 VLM 으로 활성화 패치를 확장합니다. 그런 다음 "깨끗한"실행에서 특정 구성 요소 (어텐션 하위 계층 또는 MLP 하위 계층) 를 "손상된"실행으로 복원합니다.

• 간접 효과 (IE): 패치된 실행과 손상된 실행 간의 로그 확률비 (logit) 차이 차이를 계산합니다.
• 회로 추출: 정답 샘플과 환각 샘플을 비교한 코헨의 d(효과 크기) 부호에 따라 구성 요소를 두 가지 경로로 분류합니다.
  • 시각적 근거 경로 ($d > 0$): 정답 샘플에서 더 큰 간접 효과를 보이는 구성 요소.
  • 환각 경로 ($d < 0$): 환각 발생 시 더 큰 간접 효과를 보이는 구성 요소.

2. 조건부 경로 분석 (CPA)

단일 구성 요소 분석을 넘어 경로 수준의 상호작용을 특성화하기 위해 저자들은 CPA 를 도입합니다.

• 중복성 vs 시너지: 모든 경로 구성 요소를 동시에 복원했을 때의 결합 효과를 개별 효과의 합과 비교하여 구성 요소가 중복된 정보를 운반하는지 (중복성) 아니면 보완적인 조각을 운반하는지 (시너지) 를 판단합니다.
• 극성 반전 감지: CPA 는 정답 샘플과 환각 샘플 사이에서 구성 요소의 인과적 기여도가 부호를 바꾸는지 여부를 구체적으로 조사합니다. 이는 표준 구성 요소 수준 분석에서는 보이지 않는 특징입니다.

3. 인과적 검증 및 전이

• 표적 억제: 저자들은 재학습 없이 추론 중에 환각 경로 구성 요소의 출력 ($s \in \{0.0, 0.25, 0.5, 0.75\}$) 을 스케일링하여 인과적 개입을 수행합니다.
• 베이스라인: 그들은 정적 방향 개입 (평균 차이 투영 및 추론 시간 개입 [ITI]) 과 무작위 구성 요소 통제에 비해 구성 요소별 스케일링을 비교합니다.
• 일반화: 식별된 회로는 다른 POPE 분할과 AMBER 벤치마크 (존재, 속성, 관계적 환각 포함) 에서 테스트되어 전이 가능성을 평가합니다.

주요 결과

1. 공유된 이중 경로 조직의 발견

다양한 5 개의 VLM 전반에 걸쳐 분석은 일관된 이중 경로 구조를 드러냅니다.

• 시각적 근거 경로: 중후반 계층에 집중됨.
• 환각 경로: 초기 계층과 네트워크 경계에 집중됨.
  이러한 조직은 서로 다른 백본 계열, 시각 통합 전략 (예: 크로스 어텐션 대 프로젝터), 모델 규모에 걸쳐 유지되며, 이 구조가 특정 아키텍처에서 물려받은 것이 아니라 학습 과정에서 발생함을 시사합니다.

2. 극성 반전과 중복성

CPA 는 두 가지 중요한 발견을 드러냅니다.

• 근거 경로 극성 반전: 정답 샘플에서는 근거 구성 요소가 정답을 지지합니다 ($d > 0$). 그러나 환각 샘플에서는 동일한 구성 요소가 극성을 반전 ($d < 0$) 하여 능동적으로 환각된 답변을 지지합니다. 이는 "근거"표현이 결여된 것이 아니라 모델의 비시각적 출력 사전 지식을 따라 잡히게 (entrained) 되었음을 나타냅니다.
• 일관된 중복성: 두 경로 모두 정답 및 환각 샘플에서 강한 하위 집합 내 중복성 (결합 효과 크기가 개별 효과의 합보다 현저히 작음) 을 보입니다. 중복성은 환각 발생 시 해소되지 않으며, 대신 중복된 사본이 재지향됩니다.

3. 인과적 개입 효과성

• 억제 성공: 환각 경로 구성 요소를 표적으로 억제하면 최소한의 정확도 비용 ($\le 2$ 백분율 포인트) 으로 객체 환각을 **40% 에서 76%**까지 (상대적 감소) 줄입니다.
• 정적 방향 대비 우위: 구성 요소별 스케일링은 정적 방향 베이스라인 (ITI 및 평균 차이 투영) 보다 우수합니다. 저자들은 환각 신호가 다방향적이기 때문이라고 설명합니다. 즉, 주요 단일 방향은 분산의 45~69% 만 포착하여 단일 방향 개입의 효과성을 제한합니다.
• 특이성: 근거 경로를 억제하면 정확도가 우연 수준으로 붕괴되는데, 이는 이중 분리를 확인합니다. 즉, 환각 경로 억제는 작업 성능을 파괴하지 않고 오류를 줄이는 반면, 근거 경로 제거는 작업을 파괴합니다.

4. 선택적 전이

식별된 회로는 환각 유형 간에 선택적으로 전이됩니다.

• 관계적 환각: 개입은 관계적 환각에 잘 전이되어 (36~47% 감소) 객체 존재 환각과 공유된 메커니즘을 시사합니다.
• 속성 환각: 개입은 속성 환각을 줄이는 데 크게 실패하며, 이는 속성 오류가 객체 존재 경로로 포착되지 않는 별도의 회로 (예: 부정확한 시각적 특징 추출) 를 포함함을 의미합니다.

의의 및 주장

본 논문은 다양한 VLM 아키텍처 전반에 걸친 객체 환각에 대한 최초의 기계적 특성을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다.

1. 기계적 통찰: 객체 환각은 근거 구성 요소가 극성 반전을 겪어 오류 발생 시 시각적 증거를 언어 사전 지식으로 재지향하는 공유된 이중 경로 구조에 의해 주도됨을 식별합니다.
2. 방법론적 발전: 경로 수준 분석 (CPA) 이 단일 구성 요소 패치로는 놓치는 중요한 특징 (극성 반전) 을 드러낸다는 것을 입증합니다.
3. 인과적 검증: 특정 구성 요소를 표적으로 억제하면 환각을 인과적으로 줄일 수 있음을 확립하여 회로 가설을 검증합니다.
4. 한계와 범위: 저자들은 겸손하게 회로 추출 및 억제가 메커니즘을 검증하지만, 제안된 스케일링 방법은 배포 가능한 완화 전략이 아닌 인과적 탐침임을 지적합니다. 또한 관계적 환각에는 선택적으로 전이되지만 속성 환각에는 그렇지 않다는 점은 서로 다른 환각 유형이 별도의 회로 추출을 필요로 할 수 있음을 강조합니다.

이 연구는 VLM 의 객체 환각이 아키텍처적 산물이 아니라 학습된 기계적 구조이며, 효과적인 개입은 정적 선형 방향에 의존하기보다 환각 신호의 다방향적 특성을 해결해야 함을 결론짓습니다.