Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

기술 요약: 시각-언어 모델에서 반응 시간의 아날로그로서의 추론 토큰

문제 정의
시각-언어 모델(VLM)은 이미지를 설명하고 추론하는 데 있어 유창함을 달졌으나, 복잡한 장면에서 객체를 찾아내는 내부 메커니즘이 인간의 시각적 주의(visual attention)와 유사한지, 아니면 단지 인간과 유사한 결과물을 생성할 뿐인 비인간적 프로세스인지 여부는 여전히 불분명하다. 인간의 시각적 주의에 관한 한 세기의 연구는 반응 시간(RT)과 디스플레이 내 항목 수 사이의 관계(탐색 기울기, search slope)를 활용하여 기저 메커니즘을 진단한다. 평탄한 기울기는 병렬적이고 전주의적인(preattentive) "팝아웃(pop-out)" 탐색을 나타내며, 양(+)의 기울기는 순차적이고 주의를 요하는 탐색을 나타낸다. 이 패러다임을 VLM에 적용하는 데 있어 핵심적인 방법론적 장애물은 단일 모델의 순전파(forward pass)에 대한 자연스러운 반응 시간 지표가 부재하다는 점이다. 본 논문은 VLM이 인간과 동일한 행동적 징후(탐색 기울기)를 보이는지, 그리고 생성된 추론 토큰의 수가 탐색 노력의 유효한 아날로그 역할을 할 수 있는지 질문한다.

연구 방법론
본 연구는 네 가지 고전적인 시각 탐색 패러다임을 채택하여 미드티어(mid-tier) 및 프런티어(frontier) VLM 제품군(Claude Sonnet 4.6, GPT-4o, o4-mini, Claude Opus 4.8, GPT-5.5 구성 포함)에 제시하였다.

• 자극: 다양한 집합 크기(4, 8, 16, 32개 항목)로 프로그래밍 방식으로 렌더링된 디스플레이를 사용하였다. 실험에는 다음이 포함된다:
  1. 특징(Feature) vs. 결합(Conjunction) 탐색: 검은색 'T'들 사이에서 빨간색 'T'를 찾는 것(특징) 대 빨간색 'L'과 검은색 'T'들 사이에서 빨간색 'T'를 찾는 것(결합)의 구분.
  2. 해상도 제어: 작은 형태를 식별하는 비용과 탐색 비용을 분리하기 위해 결합 디스플레이를 흐릿하게 처리(blurring)함.
  3. 공간-구성(Spatial-Configuration) 탐색: 색상 단서 없는 'T' 대 'L' 탐색.
  4. 계수(Enumeration): 'L'들 사이에서 'T'의 개수를 세기.
  5. 탐색 비대칭성(Search Asymmetry): 수직 막대들 사이에서 기울어진 막대를 찾는 것과 기울어진 막대들 사이에서 수직 막대를 찾는 것의 비교.
• 노력 측정치: 모델에는 반응 시간이 없으므로, 본 연구는 최종 답변을 내놓기 전에 방출된 중간 "추론(reasoning)" 또는 "사고(thinking)" 토큰의 수를 모델 내부의 탐색 노력에 대한 내부적 대리 지표(within-model proxy)로 사용한다. 이 측정치는 인간의 특징/결합 과제에 대한 대규모 공개 벤치마크(Wolfe et al., 2010) 및 기타 과제에 대한 정성적 인간 예측과 비교된다.
• 분석: 본 연구는 집합 크기에 따른 노력의 기울기(항목당 토큰 수)를 분석하고, 모델의 노력 함수를 인간의 RT 함수와 상관 분석한다. 또한 정확도 패턴, 특히 타겟 존재/부재 및 계수 오류를 조사한다.

주요 결과
모델들은 여러 인간 유사 징후를 재현하지만, 구체적이고 정보적인 방식으로 차이를 보인다:

• 일치점 (인간의 징후):
  • 평탄함 vs. 기울기: 특징 탐색은 모든 모델에서 평탄한 노력(제로에 가까운 기울기)을 요구한 반면, 결합 탐색은 숙고(deliberation)가 가능한 모델의 경우 집합 크기가 증가함에 따라 노력이 증가했다.
  • 프런티어 vs. 미드티어: 프런티어 모델은 집합 크기가 증가해도 높은 정확도를 유지했으나, 미드티어 모델(예: GPT-4o, o4-mini)은 높은 부하 상황에서의 인간 성능 한계를 반영하듯 정확도가 확률 수준으로 급락했다.
  • 해상도 제어: 결합 탐색에서 나타난 노력의 증가는 단순히 작은 형태를 식별하는 비용 때문이 아니었다. 이미지가 선명할 때도 노력은 높게 유지되었으며, 극단적인 블러 처리 수준에서만 약간 상승했다.
• 차이점:
  • 타겟 존재/부재 역전: 인간의 탐색에서는 일반적으로 타겟 부재(target-absent) 시의 기울기가 타겟 존재(target-present) 시보다 가파르다(전수 탐색 때문). 그러나 VLM은 이를 역전시켰다. 타겟 존재 시의 노력 기울기가 더 가팔랐는데, 이는 모델이 타겟의 부재를 확인하는 것보다 발견된 타겟을 확정하고 위치를 특정하는 데 더 많은 노력을 기울임을 시사한다.
  • 계수(Enumeration): 집합 크기가 증가함에 따라 숫자를 놓치고 오류를 범하는 인간과 달리, VLM은 완벽에 가까운 계수 정확도를 유지했다. 이들은 정확도 손실 대신 계산적 노력(토큰)을 지불함으로써 이를 달성했다.
  • 모델별 차이 (적응형 숙고): 적응형 사고를 가진 모델(Claude Opus 4.8)은 탐지 과제에 대해 숙고를 거부하는 경우가 많았으며, 그 결과 평탄한 노력 곡선을 나타냈다. 결과적으로, GPT-5.5에서 노력의 경사로 나타났던 동일한 탐색 비대칭성이 적응형 모델에서는 정확도의 절벽(확률 수준의 성능)으로 나타났다.

기여

1. 행동 프로토콜: 본 논문은 모델 내부 구조에 접근할 필요가 없는(블랙박스 테스트) 심리물리학 스타일의 VLM 시각 탐색 조사 프로토콜을 확립한다.
2. 노력 측정치: 추론 토큰 수를 탐색 노력의 내부적 아날로그로 사용하는 것을 검증하며, 통화(currency)의 차이(토큰 vs. 밀리초)에도 불구하고 노력 함수의 형태(기울기)가 인간의 반응 시간 징후와 일치함을 입증한다.
3. 진단 카탈로그: 모델과 인간의 탐색 사이의 일치점과 차이점을 제공하는 카탈로그를 통해, 차이점이 나타나는 지점이 기계 시각 인지를 이해하는 데 있어 일치하는 지점만큼이나 정보 가치가 높음을 주장한다.

의의 및 주장
본 논문은 심리물리학적 패러다임이 VLM에 적용될 때, 기계 시각 인지를 조사하는 날카롭고 저렴한 도구 역할을 한다고 주장한다. 연구 결과는 프런티어 VLM이 인간의 주의 요구와 일치하는 난이도 축을 따라 내부 계산을 조직하며, 노력과 정확도의 거친 형태를 통해 인간 시각 탐색의 "지문"을 재현한다는 것을 시사한다. 그러나 구체적인 메커니즘은 다르다. 모델은 인간의 타겟 부재 탐색에서 나타나는 인내심 있는 전수 조사를 수행하지 않으며, 작업 기억의 한계에 굴복하는 대신 계산량을 정확도로 치환한다. 본 논문은 토큰 수가 아날로그이지 반응 시간의 대체물이 아니라는 점을 명시하며, 결과가 특정 모델과 합성 자극에 국한되어 있음을 언급하며 겸허하게 결론을 맺는다. 이 연구는 이러한 차이점(부재 확인, 계수, 적응형 숙고)이 기계 지각의 본질에 관한 흥미로운 질문의 시작임을 밝히며 마무리된다.