기술 요약: SpurLens: 멀티모달 LLM에서의 가짜 단서(Spurious Cues) 자동 탐지

문제 정의

단일 모달리티 비전 모델이 가짜 상관관계(비필수적 입력 속성)에 의존한다는 점은 이미 잘 알려져 있으나, 언어적 감독(language supervision)이 존재함에도 불구하고 멀티모달 대규모 언어 모델(MLLM)이 이와 유사한 편향을 보이는지는 명확하지 않았습니다. 저자들은 MLLM의 많은 결정적인 실패, 구체적으로 객체 환각(사실과 다른 내용 생성) 및 객체 인식 실패가 실제 객체 인식보다는 가짜 단서에 대한 의존에서 비롯된다는 가설을 세웠습니다.

이러한 편향을 탐지하기 위한 기존 방법들은 인간의 감독을 필요로 하거나, 미리 정의된 특징에 국한되거나, 계산 비용이 많이 드는 캡션 공생 분석(caption co-occurrence analysis)에 의존하는 한계가 있습니다. 또한, 이러한 편향이 비전 인코더, 언어 모델, 또는 이들의 융합 과정 중 어디에서 발생하는지, 그리고 단순한 프롬프팅 전략으로 이를 완화할 수 있는지 여부도 불분명합니다.

방법론: SpurLens 파이프라인

본 논문은 가짜 시각적 단서를 식별하고 이가 MLLM 성능에 미치는 영향을 정량화하기 위해 설계된 자동화된 비지도 학습 파이프라인인 SpurLens를 소개합니다. 이 파이프라인은 세 가지 주요 단계로 작동합니다:

1. 가짜 특징 제안 (Proposing Spurious Features):

   • 주어진 타겟 객체 $t$에 대해, 시스템은 GPT-4를 활용하여 $t$와 흔히 공생하는 잠재적 가짜 단서(객체 또는 배경 요소) 목록을 생성합니다.
   • 생성된 목록은 다음과 같은 조건을 충족하도록 GPT-4를 통해 엄격한 필터링 과정을 거칩니다:
     • 물리적이고 시각적으로 식별 가능할 것.
     • 타겟 객체의 일부가 아닐 것 (예: "노트북"의 단서로 "화면"은 적절하지 않음).
     • 타겟 객체와 분리 불가능한 것이 아닐 것.
     • 오픈 세트(open-set) 객체 탐지기로 탐지 가능할 것.

2. 이미지 식별 및 순위 지정 (Identifying and Ranking Images):

   • **오픈 세트 객체 탐지기(OWLv2)**를 사용하여 대규모 이미지 데이터셋을 스캔하여 제안된 가짜 특징의 존재 여부를 확인합니다.
   • 이미지들은 탐지된 가짜 단서의 신뢰도 점수를 기반으로 순위가 매겨집니다. 이를 통해 각 특징에 대한 "가짜성(spuriosity)" 순위가 생성되며, 시스템은 단서가 가장 많이 존재하는 이미지(Top-K)와 가장 적게 존재하는 이미지(Bottom-K)를 선택할 수 있습니다.

3. 가짜 간극 계산 (Computing Spurious Gaps):

   • 순위가 매겨진 이미지들은 이진 프롬프트(예: "이미지에 [타겟 객체]가 있습니까?")와 함께 대상 MLLM에 입력됩니다.
   • 두 가지 핵심 지표가 계산됩니다:
     • 인식 정확도(Perception Accuracy, PA) 간극: 가짜 단서를 포함하는 이미지와 포함하지 않는 이미지 간의 인식 정확도 차이입니다. 큰 양(+)의 간극은 인식을 위해 단서에 과도하게 의존함을 나타냅니다.
     • 환각률(Hallucination Rate, HR) 간극: 가상 단서가 있는 이미지와 베이스라인 이미지 간의 환각률(거짓 양성) 차이입니다. 큰 양(+)의 간극은 해당 단서가 환각을 유발함을 나타냅니다.
   • 가장 큰 간극을 보이는 특징이 해당 클래스에 대해 가장 영향력 있는 가짜 단서로 식별됩니다.

주요 기여

• 자동 발견 (Automated Discovery): 인간의 주석이나 고정된 특징 세트를 필요로 하는 기존 연구와 달리, SpurLens는 인간의 감독 없이도 광범위한 객체와 데이터셋에 걸쳐 해석 가능한 가짜 단서를 자동으로 발견합니다.
• 이중 실패 모드 분석 (Dual Failure Mode Analysis): 본 연구는 가짜 편향에 의해 발생하는 두 가지 뚜렷한 실패 모드를 체계적으로 정량화합니다:
  1. 과도한 의존 (Over-reliance): 가짜 단서가 제거될 때 성능이 크게 저하됩니다.
  2. 환각 증폭 (Hallucination Amplification): 가짜 단서가 베이스라인보다 훨씬 높은 비율로 객체 환각을 유발합니다.
• 진단적 깊이 (Diagnostic Depth): 본 프레임워크는 어블레이션 연구(ablation studies)를 통해 편향의 근원을 격리합니다. 즉, 편향이 비전 인코더, 언어 모델, 또는 융합 과정 중 어디에서 기인하는지 조사하며, 다양한 완화 전략의 효능을 테스트합니다.

실험 결과

저자들은 세 가지 데이터셋(HardImageNet, ImageNet Subset, COCO)에 대해 다섯 가지 MLLM(Qwen2-VL, Qwen-3.5, Llama-3.2, LLaVA-v1.6, GPT-4o-mini)을 평가했습니다.

1. 객체 인식 실패

• 가짜 단서를 제거하면 모든 모델에서 유의미한 정확도 저하가 발생합니다.
• 예시: COCO 데이터셋에서 GPT-4o-mini의 정확도는 단서가 있을 때 **88.0%**에서 단서가 없을 때 **67.6%**로, 20.4% 감소했습니다.
• 감소 폭은 모델과 데이터셋에 따라 다르며, LLaVA-v1.6은 COCO에서 16.0%의 간극을 보였습니다.

2. 객체 환각

• 가짜 단서는 환각률을 극적으로 증폭시킵니다.
• 예시: COCO에서 GPT-4o-mini의 환각률은 단서가 없을 때 1.4%에서 단서가 있을 때 11.2%로 증가하여, 9.8배 증가했습니다.
• ImageNet 서브셋에서는 이 현상이 더욱 두드러졌으며, 일부 모델은 가짜 단서가 존재할 때 환각률이 최대 18배까지 증가했습니다.

3. 어블레이션 연구 및 완화

• 토큰 드롭 (Token Dropping): 타겟 객체에 해당하는 시각적 토큰을 인위적으로 제거하더라도, 모델은 여전히 높은 비율로 해당 객체의 존재를 환각하는 경-향을 보였습니다(예: 일부 모델에서 HR > 30%). 이는 편향이 시각적 증거에만 전적으로 의존하는 것이 아님을 시사합니다.
• 비전 인코더 격리 (Vision Encoder Isolation): 비전 인코더 임베딩만으로 이진 분류기를 학습시킨 결과, 상당한 가짜 간극이 발견되었습니다. 이는 편향이 언어 모델과 독립적으로, 비전 인코더의 시각적 표현 자체 내에 존재함을 나타냅니다.
• 프롬프팅 전략: 저자들은 프롬프트 앙상블, 사고 사슬(Chain-of-Thought, CoT) 추론, 그리고 잠재적 가짜 단서에 대해 모델에게 명시적으로 알리는 등의 여러 완화 기법을 테스트했습니다.
  • 결과: 일부 전략이 상황에 따라 미미한 개선을 보이기는 했으나, 그 어떤 것도 '가짜 간극(Spurious Gap)'을 유의미하게 줄이지 못했습니다. 심지어 SpurLens가 식별한 가장 강력한 가짜 단서를 모델에게 직접 제공하는 "치팅(cheating)"을 통해서도 이 편향을 제거하는 데 실패했습니다.

의의 및 주장

본 논문은 가짜 편향이 현재의 MLLM에서 서로 다른 아키텍처와 데이터셋에 걸쳐 지속되는 깊게 뿌리 박힌 근본적인 문제라고 주장합니다. 저자들은 다음을 단언합니다:

1. 현재의 MLLM은 가짜 상관관계에 매우 취약하며, 이는 인식과 생성 모두에서 체계적인 실패를 초래합니다.
2. 단순한 완화 전략은 불충분합니다. 언어 기반 개입(프롬프팅)은 가짜 단서에 대한 근본적인 의존성을 완전히 해결할 수 없는데, 이는 편향이 비전 인코더의 특징 공간(feature space)에 내재되어 있기 때문입니다.
3. 엄격한 평가가 필요합니다. 이러한 편향의 지속성은 MLLM의 신뢰성을 보장하기 위해 현재의 프롬프팅 기법을 넘어서는 더 강력한 평가 방법과 완화 전략이 필요함을 시사합니다.

연구는 결론적으로, SpurLens가 이러한 실패를 진단하는 확장 가능하고 해석 가능한 도구를 제공하지만, 그 근본 원인을 해결하기 위해서는 모델 프롬프팅과 같은 표면적인 조정 이상의 조치가 필요하다고 밝히고 있습니다.