기술 요약: 시각적 특징을 점별로 바인딩하기

문제 제기

비전 언어 모델 (VLM) 은 표준 벤치마크에서 상당한 성과를 거두었지만, 다중 객체 장면에서 지속적인 실패를 보입니다. 특히 색상과 형태와 같은 특징을 개별 개체에 정확하게 연관시키는 작업을 수행할 때 실패합니다. 이러한 실패는 "바인딩 오류"로 나타나며, 예를 들어 이미지에 파란색 정사각형과 빨간색 원이 있을 때 파란색 원을 잘못 식별하는 등의 오류가 발생합니다. 저자들은 이를 바인딩 문제로 규정하며, 이는 인지 과학과 신경과학에서 잘 문서화된 과제라고 지적합니다.

핵심 문제는 구성적 표현 (compositional representations) 에서 기인하는 것으로 추정됩니다. VLM 에서 특징은 공유된 자원 (예: "파란색" 벡터와 "원" 벡터) 을 사용하여 표현됩니다. 병렬 모드 (순방향 모드) 에서 여러 객체를 처리할 때, 이러한 공유 자원은 간섭을 일으켜 잘못된 특징 연관성을 초래합니다. 인간의 시각은 개체를 하나씩 주시함으로써 간섭을 피하는 직렬 처리 (serial processing) 를 통해 이를 극복하지만, VLM 이 유사한 메커니즘을 채택할 수 있는지, 그리고 어떻게 채택할 수 있는지는 여전히 불분명합니다.

방법론

본 논문은 "텍스트를 통한 지시 (pointing-via-text)"—즉, 최종 답변을 생성하기 전에 모델이 객체에 대한 명시적인 공간 좌표를 출력하도록 훈련하는 절차—가 바인딩 문제를 해결하는 내부 직렬 시각 검색 루틴을 유도하는지 여부를 조사합니다.

1. 바인딩 오류의 기작 분석

저자들은 먼저 표현 유사성 분석 (Representational Similarity Analysis, RSA) 을 사용하여 VLM(특히 Qwen2.5-VL-7B-Instruct) 의 표현 구조를 분석했습니다. 그들은 모델의 내부 임베딩을 구성적 (공유 특징 벡터) 및 결합적 (모든 특징 조합에 대한 고유 벡터) 표현을 위한 이상화된 행렬과 비교했습니다.

• 결과: 모델의 표현은 구성적 패턴과 밀접하게 일치했습니다 ($r=0.9269$). 이는 특징 코드의 중첩에서 기인한 간섭이 발생함을 확인시켜 주었습니다.
• 주의 분석: 시각 검색 작업에서 모델의 주의는 목표와 단일 특징을 공유하는 방해 요소 (distractors) 로 불균형적으로 집중되는 것으로 나타났으며, 이는 주의적 간섭을 확인시켜 주었습니다.

2. 텍스트를 통한 지시 조사

이 연구는 지시를 하도록 훈련된 Molmo-7B 모델에 초점을 맞추었습니다. 저자들은 명시적인 내부 주의 상태에 대한 감독 없이도 이러한 훈련이 직렬 주의를 유도하는지 확인하기 위해 기작 분석을 수행했습니다.

• 주의 - 좌표 정렬: 그들은 모델의 내부 주의 분포의 중심점과 텍스트 출력에서 생성된 좌표 간의 Root-Mean-Square Error(RMSE) 를 계산했습니다.
• 인과적 매개 분석: 인과 관계를 규명하기 위해, 시퀀스의 서로 다른 지점들에 대한 주의 맵을 교환하는 개입을 수행했습니다. 이를 통해 직렬 검색 행동을 담당하는 특정 주의 헤드 (attention heads) 를 식별했습니다.

3. 파인튜닝 실험

지시를 배우는 것의 효과를 분리하기 위해, 저자들은 Visual Search와 Counting이라는 두 가지 바인딩이 중요한 작업에 대해 Qwen2.5-VL-7B-Instruct, Gemma-3-12B, LLaVA-1.5-7B-HF를 파인튜닝했습니다.

• 조건: 단일 순방향 통과를 수행하는 직접 답변 (Direct Answer) 모델과 각 객체에 대한 좌표를 생성한 후 답변을 생성하는 지시 후 답변 (Point-to-Answer) 모델을 비교했습니다.
• 일반화 테스트: 모델들은 제한된 분포 (예: 목표 1 개, 객체 610 개) 에서 훈련되었고, 분포 외 (OOD) 시나리오 (예: 목표 3050 개, 객체 11~15 개, 실제 이미지) 에서 테스트되었습니다.

주요 기여 및 결과

1. "검색 헤드 (Search Heads)"의 식별

분석 결과, 지시를 배우는 것이 특정 내부 메커니즘을 유도한다는 것이 밝혀졌습니다.

• 직렬 주의: 모델의 내부 주의는 한 번에 하나의 객체에 초점을 맞춰 이동하며, 생성된 좌표와 밀접하게 일치합니다 (중간 레이어, 특히 Molmo 의 19 번째 레이어에서 가장 낮은 RMSE).
• 검색 헤드: 인과적 매개 분석은 19 번째 레이어에 있는 특정 주의 헤드 집합 ( 검색 헤드라고 명명됨) 을 식별했는데, 이 헤드들이 직렬 검색 루틴을 통제하는 인과적 역할을 합니다. 이러한 헤드들을 제거 (ablation) 하면 성능이 크게 저하되는 반면, 무작위 헤드를 제거할 때는 그렇지 않았습니다.
• 알고리즘적 행동: 모델은 고유한 순서와 세어낸 객체의 기록을 유지합니다. 개입 실험을 통해 모델은 이미 세어진 객체를 건너뛰고 순차적으로 진행함을 확인했으며, 이는 객체를 추적하는 정교한 알고리즘을 보여줍니다.

2. 바인딩 문제의 해결

파인튜닝 실험은 지시 후 답변 (Point-to-Answer) 접근 방식이 바인딩 문제를 효과적으로 해결함을 입증했습니다.

• 오류 제거: 분포 외 (OOD) 카운트에서 0% 정확도로 떨어지며 일반화에 실패한 직접 답변 모델과 달리, 지시 후 답변 모델은 증가하는 객체 수와 다양성 전반에 걸쳐 높은 정확도를 유지했습니다.
• 감소된 간섭: 훈련 후, 지시 후 답변 모델은 목표와 특징을 공유하는 방해 요소에 대한 주의를 현저히 줄인 반면, 원래 모델들은 이에 의해 크게 방해받았습니다.
• OOD 일반화: 지시 후 답변 모델은 시각 검색에서 더 많은 목표 개수와 실제 이미지에서 더 큰 객체 수에 성공적으로 일반화되었으며, 이는 통계적 단서를 이용하는 것이 아니라 일반화 가능한 직렬 절차를 학습했음을 시사합니다.

3. 모델 간 일반화 가능성

검색 헤드의 출현과 바인딩 성능의 개선 현상은 서로 다른 모델 계열 (Qwen2.5-VL, Gemma-3, LLaVA) 에서 관찰되었으며, 이는 명시적인 공간적 근거 (spatial grounding) 와 함께 훈련될 때 직렬 시각 주의 능력은 VLM 의 학습 가능한 속성임을 나타냅니다.

의의 및 주장

본 논문은 텍스트를 통한 지시 훈련이 바인딩 문제에 대한 효과적인 해결책임을 입증하는 원리 증명 (proof-of-principle) 을 제공한다고 주장합니다. 이 연구의 의의는 다음 세 가지 주요 영역에 있습니다:

1. 기작적 설명: 순차적이고 근거 기반의 시각적 추론이 성능을 향상시키는 이유를 설명하여, 경험적 관찰을 넘어 이를 가능하게 하는 특정 내부 메커니즘 (검색 헤드와 직렬 주의 루틴) 을 규명합니다.
2. 인지 과학과 AI 의 연결: VLM 이 인간의 시각과 유사한 직렬 시각 주의 능력을 보완할 수 있음을 보여주며, 다중 객체 장면에서 병렬 처리의 한계를 극복할 수 있게 합니다.
3. 일반화 대 암기: 직접 답변 모델은 통계적 규칙성을 통해 작업을 해결할 수 있지만 (일반화 실패), 직렬 처리는 바인딩 문제를 회피하면서도 구성적 표현의 이점을 유지함으로써 진정한 구성적 일반화를 가능하게 함을 강조합니다.

저자들은 현재의 훈련 절차가 절차적으로 생성된 흔적 (traces) 을 사용한 감독 파인튜닝에 의존하지만, 결과들은 더 일반적인 목적의 훈련 절차 (예: 강화 학습을 통한) 에 직렬 시각 주의를 통합하는 것이 향후 연구의 유망한 방향임을 시사한다고 결론지었습니다.