Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

기술 요약: 인간의 색각 이상 진단 방법을 활용한 시각-언어 모델(LVLM)의 지각 능력 진단

문제 제기
대규모 시각-언어 모델(LVLM)은 내비게이션, 교육, 보조 기술과 같은 실생활 환경에 점점 더 많이 배치되고 있습니다. 이러한 배포에서 매우 중요하지만 아직 충분히 탐구되지 않은 가정은 사용자들이 균일한 시각적 경험을 공유한다는 점입니다. 실제로 시각적 지각은 생물학적 요인, 특히 남성의 약 8%, 여성의 0.5%에게 영향을 미치는 색각 이상(CVD)으로 인해 크게 달라질 수 있습니다. 현재의 LVLM은 일반적인 색각을 암묵적으로 가정하는 웹 규모의 코퍼스(corpus)로 학습되었습니다. 이러한 모델들은 색각 이상 및 임상 진단 도구에 대한 상당한 언어적 지식을 보유하고 있지만, 이들이 대안적인 시각적 지각을 시뮬레이션할 수 있는지 여부는 여전히 불분명합니다. 이러한 격차는 배제의 위험을 초래합니다. 예를 들어, LVLM이 색상 기반의 지침(예: "초록색 선을 따라가세요")을 제공할 경우, 적록 색각 이상이 있는 사용자에게는 실행 가능한 정보를 제공하지 못할 수 있으며, 이는 언어적 지식과 지각적 접지(grounding) 사이의 단절을 보여줍니다.

연구 방법론
저자들은 인간의 색각 이상을 진단하는 데 임상적으로 검증된 도구인 이시하라 검사(Ishihara Test)를 LVLM의 진단 프로브(probe)로 활용합니다. 이 연구는 이 검사를 단순히 스크리닝 용도로 사용하는 것이 아니라, 특정 색각 이상 상태의 개인이 경험하는 지각적 결과를 모델이 재현할 수 있는지 평가하기 위해 재구성하였습니다. 본 연구는 6개의 LVLM(Phi-3.5, Qwen2.5-VL, mPLUG-Owl3, LLaVA-NeXT, Llama-3.2, GPT-4o)을 네 가지 시뮬레이션된 시각 조건(정상, 적색맹, 녹색맹, 청색맹)에 걸쳐 평가합니다.

평가는 세 가지 상호 보완적인 관점을 통해 수행됩니다:

1. 생성 수준 (Generation Level): 모델에게 특정 시각 유형을 시뮬레이션하도록 프롬프트를 제공합니다(예: "당신은 적색맹입니다"). 정확도는 해당 시각 조건과 연관된 정답 숫자(ground-truth digit)를 기준으로 측정됩니다.
2. 신뢰도 수준 (Confidence Level): 강제 디코딩된 답변에 대한 토큰당 퍼플렉시티(perplexity)를 분석합니다. 이는 모델의 불확실성이 인간이 색각 이상 시 겪는 지각적 모호성과 일치하는지 측정합니다.
3. 내부 표현 수준 (Internal Representation Level): 레이어별 LogitLens 프로빙 방법을 사용하여, 최종 출력에는 반영되지 않더라도 내부 활성화(activation)가 시각 유형 간의 구분을 인코딩하는지 조사합니다.

강건성을 확보하기 위해, 연구는 다양한 프롬프트 전략(Base, 언어적 지원, 시각적 지원)을 채택하며, 패턴 암기나 도메인 지식만이 성능의 유일한 설명이 아님을 입증하기 위해 의료 특화 모델(MedVLM-R1) 및 합성 점 패턴에 미세 조정된 모델(Qwen-DotPattern)을 이용한 대조 실험을 포함합니다.

주요 결과

• 언어적 지식 vs. 지각적 시뮬레이션: 평가된 모든 모델은 이시하라 검사와 다양한 색각 이상을 정확하게 정의하는 강력한 언어적 지식을 보여주었습니다. 그러나 이러한 지식을 지각적 시뮬레이션으로 변환하는 데는 실패했습니다.
• 생성 실패: 시뮬레이션된 색각 조건(적색맹 및 녹색맹) 하에서 모델의 정확도는 급격히 무너졌습니다. 어떤 모델도 이 조건에서 24%의 정확도를 넘지 못했습니다. 모델은 색각 이상자가 인지하는 숫자를 생성하는 대신, "표준적"(정상 시각)인 답을 내놓거나 환각(hallucination)된 출력을 생성했습니다.
• 프롬프트의 비효効성: 결함에 대한 언어적 설명이나 시각적 퓨샷(few-shot) 예시(시각적 지원)를 제공해도 성능이 유의미하게 향로되지 않았습니다. 모델은 프롬프트 구성과 관계없이 일관되게 표준적 지각으로 회귀했습니다.
• 신뢰도 불일치: 퍼플렉시티 분석 결과, 정상 시각에 대한 뚜렷한 편향이 나타났습니다. 모델은 정상 및 청색맹 조건에서는 낮은 퍼플렉시티(높은 신뢰도)를 보였으나, 적색맹 및 녹색맹 조건에서는 현저히 높은 퍼플렉시티를 보여, 변화된 색각을 시뮬레이션할 때 근본적인 혼란을 겪고 있음을 나타냈습니다.
• 내부 표현: 레이어별 프로빙 결과, 내부 활성화가 시각 유형 간의 구분을 일관되게 인코딩하지 못함을 보여주었습니다. 모델은 중간 레이어에서 이미지를 "정상"으로 처리하다가 마지막 레이어에서만 변화를 보이는 경우가 많았으며, 이는 잠재 공간(latent space)에 대안적인 지각 상태가 부족함을 시사합니다.
• 특화 학습: 의료 데이터나 합성 점 패턴으로 학습된 모델은 정상 시각에서의 성능은 향상되었으나, 색각 이상의 지각적 왜곡을 재현하는 데는 실패했습니다. 이는 도메인 특화 학습이 반드시 대안적인 지각 경험의 시뮬레이션을 가능하게 하는 것은 아님을 확인시켜 줍니다.

핵est 기여

• 진단 프레임워크: 본 논문은 단순한 시각적 인식을 넘어 지각적 정렬(perceptual alignment)을 위해 이시하라 검사를 사용하여 LVLM의 인간 지각 다양성 시뮬레이션 능력을 평가하는 방법론을 구축했습니다.
• 한계에 대한 실증적 증거: 본 연구는 현재의 LVLM이 색각 이상에 대한 사실적 지식을 가지고 있음에도 불구하고, 대안적인 지각 경험을 나타내는 메커니즘이 결여되어 있다는 체계적인 증거를 제공합니다.
• 다층적 분석: 생성, 신뢰도, 내부 표현 분석을 결합함으로써, 저자들은 색각 이상 시뮬레이션의 실패가 단순한 생성 오류가 아니라 모델이 시각 정보를 처리하고 접지(grounding)하는 방식의 근본적인 불일치임을 입로 증명했습니다.

의의 및 주장
저자들은 이러한 결과가 현재의 LVLM이 "표준적"인 시각 경험을 기본값으로 설정하여, 다중 모드 상호작용에서 서로 다른 지각적 특성을 가진 사용자들을 효과적으로 소외시킨다고 주장합니다. 논문은 색각 이상을 언어로 설명하는 능력과 색각 이상자가 보는 것처럼 색을 지각하는 능력은 별개라고 주장합니다. 결과적으로, 접근성 중심의 영역(예: 시각 장애인을 위한 내비게이션)에 이러한 시스템을 배치하는 것은 공정성과 포용성에 대한 우려를 낳습니다. 저자들은 본 연구가 처방적이기보다는 진단적임을 명시하며, 즉각적인 완화 전략을 제시하기보다 색각 이상 인지형 LVLM에 대한 추가 연구의 필요성을 강조하는 데 목적이 있다고 결론짓습니다.