기술 요약: 직교 시맨틱 투영(Orthogonal Semantic Projection)을 통한 환각 현상의 분리

문제 정의

시각-언어 모델(VLM)과 멀티모달 확산 모델이 안전이 중요한 애플리케이션에 배치됨에 따라, 이들 모델의 설명에 대한 신뢰성이 매우 중요해졌습니다. 그러나 기존의 설명 가능한 AI(XAI) 방법들은 시맨틱 환각(semantic hallucination) 문제로 인해 빈번하게 어려움을 겪습니다. 이 현상은 특정 텍스트 설명으로 프롬프트를 주었을 때, 이미지에 존재하지 않는 객체에 해당하는 이미지 영역(어트리뷰션 맵 또는 세일리언시 맵)을 강조하는 것을 의미합니다. 예를 들어, 프롬프트가 "고양이"일 때 모델이 "개"를 강조하거나, 프롬프트가 "고양이"이고 실제로는 양이 존재하지 않음에도 불구하고 "양"을 강조하는 경우입니다.

본 논문은 이 문제가 단순히 특정 아키텍처의 결함이 아니라, 고차원 임베딩 공간 내에서의 **선형 시맨틱 누출(Linear Semantic Leakage)**의 근본적인 결과라고 주장합니다. CLIP이나 SigLIP과 같은 모델에서 텍스트와 이미지 임베딩은 공유 공간에 존재하며, 여기서 서로 의미적으로 연관되어 있지만 구별되는 개념들(예: "고양이"와 "개")은 직교하지 않습니다. 이들은 공통된 방향 성분을 공유합니다. 세일리언시 방법론이 이러한 비직교 임베딩을 기반으로 어트리뷰션을 계산할 때, 공유된 성분들이 무관한 영역을 강조하게 만들어 "유령 신호(ghost signals)"나 환각된 설명을 유발합니다. 논문은 모델이 올바르게 보이는 것처럼 보일 수 있으나, 실제로는 "틀린 이유로 맞춘 것(right for the wrong reasons)"일 수 있다고 상정합니다.

방법론: 직교 시맨틱 투영 (Orthogonal Semantic Projection, OSP)

이를 해결하기 위해 저자들은 세일리ency 맵을 계산하기 전에 공유된 개념으로부터 고유한 시맨틱 신호를 분리하기 위한 기하학적 개입인 **직교 시맨틱 투영(OSP)**을 제안합니다.

이론적 프레임워크

저자들은 선형 시맨틱 어트리뷰션(Linear Semantic Attribution, LSA) 프레임워크를 통해 이 문제를 공식화합니다. 그들은 대부분의 멀티모달 세일리언시 방법(GradCAM, LeGrad, CheferCAM, DAAM 포함)이 텍스트 임베딩의 선형(또는 국소적 선형) 함수로 표현될 수 있음을 입증합니다.

• 보조정리 1 (선형 시맨틱 누출): 타겟 클래스 $A$의 텍스트 임베딩과 방해 클래스 $B$ 사이의 각도가 0이 아니라면(즉, 직교하지 않는다면), $B$에 대한 세일리언시 맵은 $A$의 실제 세일리언시 맵에 비례하는 성분을 포함하게 됩니다. 이 "유령 신호"는 임베딩 간의 코사인 유사도에 의해 직접적으로 제어됩니다.

OSP 알고리즘

OSP는 텍스트 임베딩의 희소 분해(sparse decomposition)를 수행하기 위해 **직교 매칭 추적(Orthogonal Matching Pursuit, OMP)**을 활용합니다. 과정은 다음과 같습니다:

1. 딕셔너리 구축: 타겟과 의미적 또는 시각적으로 연관된 "방해(distractor)" 개념들로 구성된 시맨틱 딕셔너리($\mathbf{D}$)를 생성합니다. 저자들은 네 가지 전략을 탐색합니다: ImageNet 클래스, ImageNet + WordNet 관계, 그리고 LLM(Gemini 3 Flash 및 GPT-OSS 120B)으로 생성된 딕셔너리.
2. 희소 분해: 타겟 텍스트 임베딩($\mathbf{a}^{\text{txt}}_{\text{target}}$)을 딕셔너리 원자(atoms)들에 의해 근사되어야 할 신호로 취급합니다.
3. 잔차 추출: 알고�리즘은 현재 잔차와 가장 상관관계가 높은 원자들을 반복적으로 선택하고 활성 집합을 업데이트합니다. 결정적으로, 최종 잔차($\mathbf{r}$)는 선택된 모든 방해 원자들과 엄격히 직교합니다.
4. 투영: 잔차 $\mathbf{r}$은 방해 요소들과 공유된 성분이 제거된 타겟 개념의 "고유한 시맨틱 방향"을 나타냅니다.
5. 적용: 이 정제된 잔차가 세일리언시 계산 시 원래의 텍스트 임베딩을 대체합니다. 판별 모델의 경우 쿼리 임베딩에 직접 적용되며, 확산 모델(Stable Diffusion 등)의 경우 소프트맥스 연산 전 크로스 어텐션 메커니즘의 키(key) 벡터에 OSP를 적용합니다.

이 방법은 기존의 VLM이나 확산 모델을 재학습할 필요가 없는 플러그 앤 플레이(plug-and-play) 방식입니다.

주요 기여

1. 환각의 기하학적 분석: 본 논문은 그라운딩 실패를 시맨틱 임베딩 방향의 비직교성과 연결하는 공식적인 수학적 프레임워크를 제공합니다. 환각을 선형 시맨틱 누출의 함수로 규정하고, 이러한 오류가 어떻게 전파되는지에 대한 기하학적 해석을 제시합니다.
2. 보편적인 XAI 기술: OSP는 다양한 아키텍처(CLIP, SigLIP, Diffusion 모델) 및 다양한 세일리언시 방법(GradCAM, LeGrad, CheferCAM, AttentionCAM, DAAM)과 호환되는 일반화된 프레임워크로 제시됩니다.
3. 광범한 검증: 이 방법은 세 가지 기초 모델, 다섯 가지 XAI 방법, 그리고 여러 데이터셋(ImageNet-Segmentation, MS COCO)을 통해 평가되었습니다.
4. 인간 중심 평가: 200명의 참가자가 참여한 사용자 연구를 통해 OSP가 모델 설명에 대한 인간의 식별 정확도, 신뢰도 및 신뢰를 향상시킨다는 것을 입증했습니다.

실험 결과

저자들은 mIoU, mAP, AUROC와 같은 지표를 사용하여 ImageNet-Segmentation 및 MS COCO 데이터셋에서 OSP를 평가했습니다.

• 환각 억제: OSP는 양성 프롬프트(타겟 존재)와 음성 프롬프트(타겟 부재) 사이의 격차를 일관되게 넓힙니다. 특히 AUROC를 유의미하게 개선하여, 존재/부재 개념 간의 변별력을 높였습니다.
• 국소화 충실도(Localization Fidelity): 이 방법은 양성 프롬프트에 대한 국소화 성능(mIoU)을 유지하거나 개선하는 동시에, 음성 프롬프트에 대한 부정확한 히트맵을 억제합니다.
• 강건성: 개선 효과는 LLM으로 생성된 딕셔너리나 ImageNet 및 WordNet과 같은 정적 데이터셋 기반의 딕셔너리를 포함한 다양한 딕셔너리 구축 전략 전반에서 유지됩니다.
• 효율성: OSP의 계산 오버헤드는 미미하여(1초 미만), 추론 시 개입이 실용적입니다.
• 사용자 연구: OSP가 강화된 히트맵을 사용한 참가자들은 베이스라인 방법들과 비교했을 때, 모델의 초점을 식별하는 정확도, 답변에 대한 자신감, 그리고 설명에 대한 신뢰도 측면에서 더 높은 수치를 보였습니다.

의의 및 주장

본 논문은 OSP가 해석 가능성을 위한 근본적으로 새로운 패러다임을 나타낸다고 주장합니다. 시각적 개념을 찾기 위해 이미지 임베딩을 분해하려고 시도하는 기존 접근 방식과 달리, OSP는 순수한 시맨틱 방향을 격리하기 위해 텍스트 임베딩 공간을 수학적으로 분해합니다.

저자들은 표현 공간 내 임베딩의 비직교성이라는 환각의 근본 원인을 해결함으로써, 이론적으로 타당하고 경험적으로 검증된 솔루션을 제공한다고 단언합니다. 이 기하학적 개입이 어트리뷰션 맵을 더 신뢰할 수 있게 만들어, 이론적 근거를 측정 가능한 인간 해석력의 향상으로 전환한다는 점을 강조합니다. 이 연구는 이러한 기하학적 관점이 더 큰 규모의 생성형 아키텍처와 광범위한 신뢰할 수 있는 AI 애플리케이션으로 강건한 해석 가능성을 확장하는 데 유망한 방향을 열어준다는 점을 시사합니다.