기술 요약: HueManity – MLLM의 미세 시각 인지 능력 탐색

문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 질의응답(VQA) 및 이미지 캡셔닝과 같은 고차원적 시각 추론에서 인상적인 능력을 보여주었으나, 기존 벤치마크들은 이들의 미세한 시각적 인지 세부 사항을 포착하는 능력을 간과하고 있다. 현재의 평가 패러다임은 인지와 의미론적 추론을 혼동하는 경아가 있으며, 이로 인해 모델이 순수한 시각적 입력보다는 언어적 사전 지식(language priors)에 의존하게 만든다. MLLM이 안전이 중요한 영역(예: 자율 주행, 의료 영상)에 점점 더 많이 배치됨에 따라, 기초적인 지각 예리함—특히 시각적으로 혼란스러운 환경에서 일관된 신호를 추출하는 능력—의 결여는 심각한 위험을 초산한다. 본 논문은 미묘하고 낮은 수준의 단서(색상, 휘도, 질감)로부터 패턴을 식별하는 능력이 견고한 시각적 지능의 전제 조건임에도 불구하고, 표준 벤치마크에서는 이 능력이 여전히 제대로 조사되지 않고 있다고 주장한다.

방법론: HueManity 벤치마크

이러한 격차를 해소하기 위해, 저자들은 미세한 시각적 인지를 격리하여 평가하도록 설계된 확장 가능하고 자동화된 벤치마크인 HueManity를 소개한다.

데이터셋 구축

• 규모 및 내용: 이 벤치마크는 이시하라라(Ishihara) 스타일의 점 패턴 안에 삽입된 두 글자의 영숫자 문자열을 특징으로 하는 83,850개의 이미지로 구성된다.
• 생성 파이프라인:
  1. 텍스트 마스킹: Pygame 라이 라이브러리를 사용하여 굵은 이탤릭체인 DejaVu Sans 폰트로 두 글자 문자열에 대한 900x900 픽셀의 이진 마스크를 생성한다.
  2. 색상 선택: 25개의 서로 다른 전경-배경 색상 쌍이 다단계 과정을 통해 선택되었다. 여기에는 균형 잡힌 지각적 난이도를 보장하기 위해 CIEDE2000 ($\Delta E_{2000}$) 색차 공식을 통한 정량적 분석이 포함되었으며, 인간의 가독성을 보장하기 위한 수동 검증이 뒤따랐다.
  3. 패턴 렌더링: 반복적인 생성기가 겹치지 않는 원들(4~15 픽셀)로 이미지를 채운다. 문자 영역 내의 원들은 전경 색상을 할당받고, 나머지 원들은 배경 색상을 받는다. 이 색상들은 무작위 변환(그라디언트 이동, RGB 이동, 밝기 스케일링)을 거쳐 밀도 높고 도전적인 패턴을 형성한다.
• 태스크 설계: 벤치마크는 두 가지 인식 태스크를 포함한다:
  • 숫자 태스크(Numeric Task): 90개의 레이블 공간을 가진 두 자리 숫자(예: "17").
  • 영숫자 태스크(Alphanumeric Task): 시각적으로 모호한 문자(예: 'l', 'I', 'J', 'O')를 제외한 3,364개의 레이블 공간을 가진 두 글자 문자열(예: "A7", "9b").
• 대조 조건: 지각적 그룹화와 문자 인식을 분리하기 위해, 모델들은 Ishara 패턴과 함께 이진 텍스트 마스크(Text Masks)(대조 태스크)에서도 평가된다.

실험 설정

• 평가 대상 모델: GPT-4.1, GPT-4.1 mini, Claude 3.7 Sonnet, Qwen VL Max, Pixtral과 같은 상용 API 기반 모델과 LLaVA-v1.6 변형, Mistral-small3.1을 포함한 오픈 소스 모델 등 9개의 최첨단 MLLM을 테스트하였다.
• 베이스라인:
  • 인간 성능: 정상 색각을 가진 16명의 자원봉사자가 각 태스크당 100개의 이미지를 평가하였다.
  • 전통적 CV: 2,000개의 샘플로 미세 조정된 ResNet50 모델이 컴퓨터 비전 베이스라인 역할을 하였다.
• 평가 프로토콜: 모델은 엄격한 형식을 준수하여 정확한 텍스트를 출력하도록 프롬프트가 제공되었다. 성능은 완전 일치 정확도(exact-match accuracy)를 통해 측정되었다. 연구에는 이미지 해상도에 대한 절제 연구(ablation studies)와 인컨텍스트 학습(in-context learning) 및 미세 조정(fine-tuning) 능력에 대한 조사가 포함되었다.

주요 결과

성능 격차

평가 결과, MLLM은 인간 및 전통적인 컴퓨터 비전 베이스라인에 비해 현저한 성능 결핍을 보였다:

• 인간 베이스라인: 거의 천장 성능(numeric 99.37%, alphanumeric 93.25%)을 달성했다.
• ResNet50 베이스라인: 높은 정확도(numeric 96.5%, alphanumeric 94.5%)를 달성하여, 미세한 특징을 학습할 수 있는 아키텍처에게는 이 태스크가 해결 가능하다는 것을 증명했다.
• MLLM 성능:
  • 숫자 태스크: 가장 우수한 모델인 GPT-4.1이 단 **33.6%**의 정확도만을 기록했다. 다른 모델들은 19.0%에서 0%에 가까운 수준까지 떨어졌다.
  • 영숫자 태스크: 성능이 더욱 급락했다. GPT-4.1은 단 **3.0%**를 달성했으며, 대부분의 다른 모델은 0% 또는 0에 가까운 점수를 기록했다.
  • OCR vs. 인지: 모델들이 이진 텍사 마스크에서는 높은 정확도(>80%)를 유지하며 기능적인 OCR 능력을 보여준 반면, Ishihara 패턴에서는 성능이 폭락했다. 이는 실패의 원인이 문자 인식 자체가 아니라 지각적 그룹화 및 특징 추출에 있음을 나타낸다.

실패 모드

정성적 분석을 통해 MLLM의 세 가지 뚜렷한 실패 패턴을 식별했다:

1. 환각(Hallucination): 시각적 처리가 과부하될 때 관련 없는 복잡한 텍스트(예: "MUST SEE"와 같은 문구)를 생성함.
2. 회피(Evasion): 추측을 시도하는 대신 이미지를 "색상 테스트"라고 설명하거나 수행할 수 없음을 명시적으로 언급함.
3. 불안정한 출력(Erratic Outputs): 무작위 문자열, 반복되는 패턴 또는 터무니없는 숫자를 생성하며, 이는 안정적인 시각적 특징 추출의 부재를 나타냄.

추가 발견 사항

• 인컨텍스트 학습(In-Context Learning): 퓨샷(few-shot) 예시를 제공해도 성능이 개선되지 않았으며, 오히려 결과가 저하되는 경우가 많았다. 이는 예시의 시각적 복잡성이 노이즈를 유발함을 시사한다.
• 미세 조정(Fine-Tuning): Gemma-3-4B 모델을 패턴 이미지를 통해 미세 조정하는 것은 성능 향상에 실패했을 뿐만 아니라, 오히려 단순한 마스크 태스크를 해결하는 능력을 파괴했다. 이는 모델이 지각 기술을 배우는 대신 그럴듯한 문자열을 출력하는 법을 배웠음을 나타낸다.
• 해상도 절제 연구: 이미지 해상도를 낮추는 것(다운샘플링)이 예상외로 최선 모델(GPT-4.1)의 성능을 향상시켰다. 이는 다운샘플링이 저역 통과 필터(low-pass filter) 역할을 하여 고주파 노이즈를 매끄럽게 만들고 문자 형태를 더 두드러지게 함을 시사한다.
• 실제 세계 상관관계: HueManity 성능과 Vision Arena 벤치마크 순위 사이에 강한 양의 상관관계($\rho = 0.82$)가 발견되었다. 이는 미세한 지각 결함이 실제 세계의 멀티모달 태스크에 대한 일반적인 성능과 상관되어 있음을 시사한다.

의의 및 주장

본 논문은 HueManity가 현재 MLLM의 지각적 접지(perceptual grounding)에 있는 결정적인 약점을 드러낸다고 주장한다. 저자들은 다음과 같이 주장한다:

1. 아키텍처적 한계: 이러한 실패는 아마도 아키텍처적 병목 현상(예: 이미지를 패치로 나누는 Vision Transformer, 정보 병목 역할을 하는 투영 레이어)과 고수준의 의미론보다는 저수준의 세부 사항에 최적화된 사전 학습 목표 때문일 것이다.
2. 진단적 유용성: 이 벤치마크는 강력한 진단 도구 역할을 한다. 실제 세계 벤치마크와의 강한 상관관계는 미세한 지각 능력을 개선하는 것이 MLLM을 안전이 중요한 애플리케이션에 배치하는 데 필수적임을 시사한다.
3. 연구 방향: 현재의 모델들은 표준적인 미세 조정이나 인컨텍스트 학습을 통해 이러한 기술을 단순히 "학습"할 수 없다. 향후 연구는 저수준의 시각 정보를 보존하는 새로운 아키텍처와 의미론적 추론과는 독립적으로 견고한 시각적 예리함을 명시적으로 육성하는 학습 목표에 집중해야 한다.

저자들은 재현 가능한 연구와 이 분야의 커뮤니티 주도 확장을 촉진하기 위해 데이터셋과 생성 코드를 공개한다.