More Accurate, Less Human: Gestalt Grouping in Vision Models

기술 요약: 더 정확하지만, 덜 인간적인: 시각 모델에서의 게슈탈트 그룹화(Gestalt Grouping)

문제 제기
시각-언어 모델(VLM)은 차트를 해석하고, 디자인을 평가하며, 인간 관찰자의 대리인 역할을 수행하기 위해 시각화 파이프라인에 점점 더 많이 배치되고 있습니다. 이러한 시스템들은 과제 완수(task completion) 벤치마크에서 높은 정확도를 보이지만, 이들이 인간의 시각을 지배하는 것과 동일한 지각적 규칙성에 따라 시각 정보를 조직하는지는 검증되지 않았습니다. 기존의 평가는 능력(예: 시각화 문해력 점수)을 측정할 뿐, 인간과 유사한 지각적 그룹화로부터 도출된 정답과 근본적으로 다른 비인간적 메커니즘으로부터 도출된 정답 사이의 차이를 구분하지 못합니다. 본 논문은 높은 정확도가 지각적 조직화의 "인간 유사성"을 입증하는 것은 아니라고 주장하며, 과제 성능 중심의 메트릭에서 인지 심리학의 확립된 원칙과의 행동적 일치(behavioral alignment)로의 전환이 필요하다고 강조합니다.

방법론
저자들은 게슈탈트 심리학에 기반한 행동 평가 배터리를 도입하여, 특히 폐쇄성(Closure)(불완전한 구조의 지각적 완성)과 유사성(Similarity)(공유된 속성에 의한 그룹화) 원리를 테스트합니다. 새로운 인간 데이터를 수집하는 대신, 이 방법론은 이전의 지각 연구에서 발표된 자극물과 인간 행동 데이터를 평가 대상으로 재사용합니다.

이 배터리는 두 가지 트랙(차트 기반 및 자연 이미지 제어군)에 걸친 4가지 과제로 구성됩니다:

1. 실루엣 인식 (폐쇄성): 질감과 내부 세부 사항이 제거된 채워진 실루엣을 대상으로 하는 16-way 강제 선택 과제입니다. 인간 기준점(anchor)은 10명의 관찰자가 보인 최빈 응답(modal response)입니다.
2. 마크-색상 이상치 찾기 (유사성): 색상을 기준으로 마크 중 이상치를 식별하며, 크라우드소싱된 지각 커널(perceptual kernel)을 기준으로 점수를 매깁니다.
3. 색상 계열 카운팅 (유사성): 차트 내의 구별되는 색상 계열 수를 세며, 발표된 인간의 능력 범위(6~12개 범주)를 기준으로 점수를 매깁니다.
4. 객체 이상치 찾기 (유사성): 자연 이미지에서 의미론적 이상치를 식별하며, THINGS 데이터셋의 검사-재검사 천장(test-retest ceiling)을 기준으로 점수를 매깁니다.

본 연구는 5가지 훈련 계열에 속하는 45개의 모델을 평가합니다: 지도 학습 인코더, 자기 지도 학습 인코더, 대조 학습 시각-언어 인코더, 오픈 웨이트 VLM, 그리고 폐쇄형 파운데이션 모델입니다.

메트릭
세 가지 상호 보완적인 메트릭이 행동적 일치도를 정량화합니다:

• 행동 일치도 ($B$): 모델의 응답이 인간의 타겟(최빈 선택 또는 능력 범주)과 일치하는 비율입니다. 이는 단순한 숙련도가 아닌 '인간다움'을 측정합니다.
• 행동 오류 일관성 ($\kappa$): 모델이 우연히 발생할 수 있는 수준을 넘어, 인간이 범하는 것과 동일한 특정 항목에서 오류를 범하는지를 측정하는 척도입니다. 이는 인간-인간 간의 일관성 천장과 비교됩니다.
• 행동 효과 복제 ($a(k)$): 다양한 계열 수에 따른 모델의 정확도 프로필이 인간의 능력 곡선의 형태를 모방하는지 여부입니다.

주요 결과

• 정확도와 인간 유사성의 괴리: 높은 벤치마크 정확도가 인간의 지각적 조직화와의 일치를 보장하지는 않습니다. 모델들은 특정 그룹화 과제에 따라 순위가 뒤바뀌기도 합니다 (예: 색상 유사성에서는 상위 성능을 보였던 모델이 의미론적 그룹화에서는 평균 수준을 기록할 수 있음).
• 오류 일관성 분산: 45개 모델 중 34개가 인간의 정확도를 초과했으나, 인간-인간 일관성 천장에 도달하거나 이를 넘어선 모델은 단 4개뿐이었습니다. 일부 폐쇄형 파운데이션 모델을 포함한 많은 모델이 높은 정확도를 보이면서도 인간의 오류 패턴을 재현하는 데는 실패했습니다.
• 계열별 특성:
  • 오픈 웨이트 VLM: 일반적으로 낮은 성능을 보였으며, 대부분의 모델이 의미론적 과제에서 위치 추측 바닥(position-guessing floor)을 통과하지 못했습니다. 이는 생성된 답변이 기저의 비전 타워(vision tower)의 그룹화 능력을 반영하지 못함을 시사합니다.
  • 폐쇄형 파운데이션 모델: 인간과 유사한 그룹화를 향한 블록 단위의 이동을 보였으며, 몇몇 모델(예: Claude-Opus-4.6)은 인간 이상의 정확도와 인간 수준의 오류 일관성을 모두 달성했습니다. 그러나 이러한 일치는 계열 전체에서 균일하게 나타나지는 않았습니다.
  • 훈련 목적 함수: 모델이 보이는 그룹화의 유형은 아키텍처보다는 훈련 목적 함수를 따릅니다. 자기 지도 학습은 색상 유사성에서 앞서 나갔고, 대조 학습 시각-언어 모델은 의미론적 그룹화와 형태에서 앞서 나갔습니다.
• 과제 특이성: 인간과 같은 그룹화는 전역적인 특성이 아닙니다. 한 과제에서 인간과 일치하는 모델이 다른 과제에서는 급격히 달라질 수 있습니다.

의의 및 주장
본 논문은 시각화 파이pline에 진입하는 비전 모델을 감사하기 위한 재사용 가능한 이론 기반의 척도를 제공한다고 주장합니다. 기존의 정신물리학(psychophysics) 데이터를 활용함으로써, 연구자들은 새로운 사용자 연구를 수행하지 않고도 모델이 인간 관중처럼 차트를 "보는지" 판단할 수 있습니다.

저자들은 다음과 같이 단언합니다:

1. 행동적 근거는 측정 가능하다: 모델이 인간의 게슈탈트 원리에 따라 시각적 콘텐츠를 조직하는지 정량화하는 것이 가능합니다.
2. 정확도만으로는 불충분하다: 기존의 메트릭은 지각적 조직화의 결정적인 차이를 놓칩니다. 모델은 더 "정확"할 수 있지만, 그룹화 로직 측면에서는 덜 "인간적"일 수 있습니다.
3. 과제별 평가가 필요하다: 단일 점수가 모델을 인간의 대리인으로 인증할 수는 없습니다. 감사는 과제(예: 마크 그룹화 vs 형태 인식)와 훈련 계열에 따라 구체적이어야 합니다.
4. 현재의 한계: 본 연구는 전체 차트 맥락(축, 범례 등)이 아닌 고립된 마크와 객체(차트의 구성 요소)에 집중하고 있으며, 두 가지 게슈탈트 원리(폐쇄성 및 유사성)만을 다룹니다.

본 연구는 일부 폐쇄형 파운데이션 모델이 특정 과제를 위한 인간의 대리인 역할을 할 수 있을 만큼 행동적 일치 수준에 도달했지만, 이러한 능력은 규모(scale) 자체가 아니라 특정 훈련 레시피를 통해 얻어진 것이며 여전히 과제 의존적이라는 결론을 내립니다.