Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models

이 논문은 시공간 색상 혼합 왜곡을 통해 비전 - 언어 모델 (VLM) 이 인간보다 훨씬 취약한 지각적 약점을 보임을 규명하고, 이를 해결하기 위해 인간 중심의 전처리 및 도구 활용 전략의 필요성을 강조합니다.

핵심

🎨 1. 실험의 핵심: "점묘화"로 속여보기

저자들은 인공지능에게 자연스러운 동물이나 사물의 사진을 보여주고 "이게 뭐야?"라고 물었습니다. 그런데 여기서 장난을 쳤습니다.

• 방법: 사진 위에 아주 가늘고 규칙적인 색깔 줄무늬나 격자무늬를 겹쳐서 씌웠습니다.
• 효과: 가까이서 보면 사진이 온통 줄무늬로 뒤덮여 있어 "이게 무슨 동물이지?"라고 헷갈리게 됩니다. 하지만 멀리서 보면 (또는 눈을 가늘게 뜨면) 줄무늬가 섞여 원래의 동물 모양이 또렷하게 보입니다.
  • 비유: 마치 **점묘화 **(Pointillism)를 그린 그림을 가까이서 보면 점 (색점) 들만 보이지만, 멀리서 보면 아름다운 얼굴이 보이는 것과 같습니다.

이 실험은 인공지능이 **가까이서 **(픽셀 단위)를 테스트하는 것입니다.

🤖 2. 인공지능의 반응: "나는 확신하지만 틀렸어!"

연구진은 최신 인공지능 모델 9 개를 이 테스트에 시켰습니다. 결과는 놀라웠습니다.

• 인간: 멀리서 보면 줄무늬를 무시하고 "아, 이건 코끼리구나!"라고 금방 알아맞힙니다.
• 인공지능: 줄무늬가 살짝만 섞여도 완전히 혼란에 빠집니다.
  • "이건 강아지야!"라고 확신 있게 말하지만, 실제로는 코끼리입니다.
  • 심한 경우, "이건 픽셀이 깨진 이미지야"라고 하거나, 전혀 관련 없는 "일본의 산"이라고 대답하기도 합니다.
  • 비유: 인공지능은 눈이 매우 날카로운데 뇌가 약한 사람 같습니다. 아주 작은 점 하나하나 (픽셀) 는 잘 보지만, 점들이 모여 만든 전체 그림 (의미) 을 이해하지 못해 엉뚱한 결론을 내립니다.

📈 3. 중요한 발견: "똑똑해질수록 더 똑똑해지지 않는다"

많은 사람들은 "모델을 더 크게 만들고 데이터를 더 많이 주면 인공지능이 더 똑똑해지겠지?"라고 생각합니다. 하지만 이 실험은 그게 아니었다는 것을 증명했습니다.

• 인공지능의 두뇌 (언어 모델) 를 4 배, 10 배로 키워도 줄무늬가 섞인 사진을 보면 여전히 똑같이 망했습니다.
• 비유: 아무리 고급 카메라를 사도, 렌즈에 기름이 묻어 있으면 사진은 여전히 흐릿하게 나옵니다. 인공지능의 '두뇌'가 아무리 커도, '눈 (시각 인코더)'이 이 특수한 줄무늬에 속아 넘어가면 소용이 없습니다.

👓 4. 해결책: "인간처럼 눈을 가늘게 뜨기"

연구진은 "인간은 어떻게 이걸 해결할까?"를 고민했습니다. 인간은 멀리서 보거나, 눈을 가늘게 뜨면 (블러 처리) 줄무늬가 사라지고 본래 모습이 보입니다.

• 시도: 인공지능에게 사진을 먼저 작게 줄였다가 다시 키우는 (Downscale-Upscale) 나 흐리게 만드는 (Blur) 작업을 시켰습니다.
• 결과: 이 간단한 작업을 거치자 인공지능의 정답률이 뚝뚝 올라갔습니다!
  • 비유: 인공지능에게 안경을 끼워주거나, 초점을 흐리게 해주는 필터를 씌워주니 갑자기 "아! 이거 코끼리네!"라고 깨달은 것입니다.

🛠️ 5. 하지만... 인공지능은 스스로 안경을 못 찾는다

연구진은 "인공지능에게 '네가 이 사진이 흐리니까 안경을 써봐'라고 말해주지 않고, 스스로 판단하게 해보자"라고 했습니다. (도구를 스스로 사용하는지 테스트)

• 결과: 실패했습니다. 인공지능은 "내가 지금 헷갈리고 있어"라는 사실을 스스로 깨닫지 못했습니다.
• 비유: 인공지능은 안경이 필요하다는 걸 모르지만, 안경을 끼우면 잘 보는 사람 같습니다. 스스로 "내 시력이 나빠졌네"라고 생각하지 못하므로, 우리가 외부에서 도와줘야 합니다.

💡 결론: 무엇을 배웠나요?

1. 인공지능은 아직 '보는 법'을 완전히 배운 게 아닙니다: 인간은 전체적인 맥락 (전체 모양) 을 보지만, 인공지능은 세부적인 픽셀에 너무 집착합니다.
2. 단순한 기술이 해결책이 될 수 있습니다: 복잡한 인공지능을 새로 만드는 대신, 사진을 흐리게 만드는 같은 간단한 전처리 (Preprocessing) 만으로도 성능을 크게 높일 수 있습니다.
3. 앞으로의 방향: 인공지능이 "내가 지금 착각하고 있구나"라고 스스로 알아차리게 하거나, 우리가 인공지능에게 **시각적 필터 **(도구)를 제공해 주는 것이 중요합니다.

한 줄 요약:

"인공지능은 줄무늬가 섞인 그림을 보면 완전히 망치지만, 우리가 인간처럼 눈을 가늘게 뜨는 것 (흐리게 하기) 처럼 간단히 사진을 처리해 주면 다시 똑똑해집니다. 하지만 인공지능 스스로 그 사실을 깨닫지는 못하니, 우리가 도와줘야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 시각 - 언어 모델 (VLM) 은 다양한 벤치마크에서 뛰어난 성능을 보이지만, 인간의 지각과 기계의 지각 사이에는 체계적인 격차가 존재합니다.
• 문제점: 이미지의 픽셀 값에 구조적이고 큰 변화 (예: 색상 왜곡) 를 가하더라도 인간은 여전히 사물의 정체성을 쉽게 파악할 수 있는 반면, VLM 은 자신감 있게 하지만 nonsensical(비논리적) 한 답변을 내놓거나 완전히 실패하는 경우가 많습니다.
• 기존 연구의 한계: 기존 착시 (Illusion) 기반 평가는 인터넷에서 크롤링된 데이터를 사용하거나, 질문 형식이 답을 제한하여 언어적 힌트에 의존하는 등 통제되지 않은 혼란 변수 (confounders) 가 존재했습니다.
• 핵심 질문: 인간은 고주파수 세부 사항을 무시하고 전체적인 형태를 파악하여 착시를 극복하지만, VLM 은 왜 동일한 왜곡 하에서 실패하는가?

2. 방법론 (Methodology)

A. 제안된 왜곡 기법: 공간 색상 혼합 (Spatial Colour Mixing)

이 연구는 자연 이미지에 구조적인 패턴을 중첩하여 픽셀 공간에서 큰 변화를 주지만, 의미론적 내용은 유지하는 8 가지의 공간 색상 혼합 변형을 제안했습니다. 이는 RGB 와 Ostwald 색상 시스템 두 가지 체계에서 구현됩니다.

• RGB 시스템 (5 가지 변형):
  • SCMix-1: 패치 평균 색상으로 하나의 줄무늬.
  • SCMix-2: R+G 와 B 두 가지 색상 줄무늬.
  • SCMix-3A: RGB 세 가지 색상 줄무늬.
  • SCMix-3B: 원본 패치 내 색상 비율에 비례하는 RGB 줄무늬 길이.
  • SCMix-6: RGBCYM 6 가지 색상 줄무늬.
• Ostwald 시스템 (3 가지 변형):
  • Ostwald RGB: 흑백과 RGB 선의 수직 조합 (휘도 합이 원본 색상과 일치).
  • Ostwald Checker: 각 블록을 흑백과 색조로 분할한 격자 패턴.
  • Ostwald Random: 흑백이 무작위로 교차하는 격자 패턴.
• 파라미터: 왜곡의 강도 (Distortion Degree) 를 줄무늬 폭이나 격자 크기로 조절하여 점진적인 스트레스 테스트가 가능합니다.

B. 실험 설정

• 모델: Gemma3, LLaVA, Qwen3-VL 등 3 개 계열의 9 가지 VLM (파라미터 크기 4B~34B 포함) 평가.
• 데이터셋: 동물 (Animals), 예술작품 (Artworks), 랜드마크 (Landmarks), MME 벤치마크 등 4 개 데이터셋.
• 인간 평가: 61 명의 참가자를 대상으로 동물 인식 데이터셋에서 인간과 VLM 의 성능 비교 수행.
• 전처리 실험: 인간의 지각 방식 (멀리서 보기, 눈썹을 좁게 뜨기) 을 모방한 다운스케일 - 업스케일 (Downscale-Upscale) 및 박스 블러 (Box Blur) 적용.

3. 주요 기여 (Key Contributions)

1. 통제된 왜곡 패밀리 개발: RGB 와 Ostwald 시스템을 기반으로 한 8 가지 공간 색상 혼합 왜곡을 제안하고, 모든 데이터셋에 적용된 왜곡 버전을 공개했습니다.
2. 포괄적인 VLM 평가: 9 가지 모델과 4 개 데이터셋에 걸쳐 왜곡 강도가 증가함에 따른 정확도 저하를 정량화했습니다.
3. 인간 - 기계 지각 격차 분석: 61 명을 대상으로 한 인간 연구를 통해 동일한 왜곡 조건에서 인간이 VLM 보다 훨씬 강력한 견고성 (Robustness) 을 보임을 입증했습니다.
4. 해결책 제안 및 검증: 인간의 지각 전략을 모방한 단순한 전처리 (다운/업 스케일링, 블러) 가 특정 착시 유형에서 VLM 성능을 유의미하게 회복시킨다는 것을 보였습니다. 또한, 도구 사용 (Tool-use) 이 모델의 인식 불확실성을 자동으로 감지하여 성능을 개선하지는 못함을 확인했습니다.

4. 실험 결과 (Results)

• 정확도 급감: 모든 모델과 데이터셋에서 왜곡 강도가 증가함에 따라 정확도가 급격히 떨어졌습니다. 특히 동물 데이터셋처럼 원래 성능이 높았던 경우에도 첫 번째 왜곡 단계에서 약 50% 로 하락했습니다.
• 모델 스케일링의 한계: 언어 모델의 파라미터 수를 늘리는 것 (Scaling) 은 왜곡에 대한 실패를 완화하지 못했습니다. 모델 계열 (Family) 에 따른 성능 차이가 모델 크기보다 훨씬 컸습니다. (예: LLaVA 계열이 가장 견고함, Gemma3 는 0% 에 수렴).
• 인간 vs VLM: 인간은 왜곡이 심해져도 객체 정체성을 유지하는 반면, VLM 은 성능이 급격히 저하되었습니다. 인간은 고주파수 세부 사항 (줄무늬/격자) 의 영향을 줄이고 전체적인 형태 (Global Shape) 에 집중하는 반면, VLM 은 픽셀 수준의 왜곡에 과도하게 반응했습니다.
• 전처리 효과:
  • 다운스케일 - 업스케일 및 블러링: Ostwald Checker 및 SCMix-1 과 같은 유형에서 성능을 30% 이상 회복시켰습니다. 이는 고주파수 노이즈를 제거하고 저주파수 형태 정보를 강조하기 때문입니다.
  • 다중 줄무늬 패턴: SCMix-3A 와 같이 여러 줄무늬가 있는 패턴은 단순 평균화로 제거되지 않아 전처리 효과가 미미했습니다.
• 도구 사용 (Tool-use) 실패: gpt-5-mini 에 코드 인터프리터 도구를 부여하여 모델이 스스로 전처리를 결정하게 했으나, 모델이 자신의 지각이 불확실한 시점을 인식하지 못해 성능 향상이 없었습니다.
• 비전 인코더 분석:
  • CLIP/SigLIP 기반 인코더는 왜곡이 심해져도 임베딩 유사도가 높게 유지되는 경향이 있어 (과적합 또는 의미론적 편향), 왜곡의 심각성을 감지하지 못했습니다.
  • 반면, DINOv3 기반 인코더는 왜곡 강도에 따라 유사도가 일관되게 감소하여, 중간 수준의 구조적 정보를 더 잘 보존하고 왜곡에 민감하게 반응함을 보였습니다.

5. 의의 및 결론 (Significance)

• 지각의 불일치: VLM 과 인간의 지각 메커니즘은 근본적으로 다릅니다. VLM 은 픽셀 값의 통계적 패턴에 의존하는 반면, 인간은 경험과 맥락을 활용한 구성적 (Constructive) 인 추론을 합니다.
• 견고성 향상 전략:
  1. 지각 인지 전처리: 모델이 스스로 판단하기 전에, 인간의 지각 전략 (블러링, 스케일링) 을 모방한 전처리 파이프라인을 도입하는 것이 실용적인 해결책이 될 수 있습니다.
  2. 하이브리드 인코더: CLIP/SigLIP의 의미론적 능력과 DINOv3 와 같은 자기지도학습 (Self-supervised) 인코더의 구조적 민감도를 결합한 하이브리드 설계가 왜곡에 강한 VLM 개발에 유망한 방향입니다.
  3. 불확실성 인식: 모델이 자신의 지각이 왜곡되었을 때 이를 인식하고 도구 사용이나 다른 전략을 취할 수 있도록 하는 메커니즘이 필요합니다.

이 연구는 VLM 의 취약점을 체계적으로 평가할 수 있는 새로운 벤치마크를 제시하며, 향후 더 견고한 멀티모달 모델 개발을 위한 중요한 통찰을 제공합니다.