Getting to the Point: Why Pointing Improves LVLMs

1. 연구 배경 및 문제 정의 (Problem)

• LVLM 의 한계: 대규모 시각 - 언어 모델 (LVLM) 은 이미지 캡셔닝, VQA 등 다양한 작업에서 뛰어난 성과를 보이지만, 공간적 추론, 시간적 이해, 특히 카운팅 (Counting) 과 같은 복잡한 인지 작업에서는 성능이 저하되는 경향이 있습니다.
• 근본적 이유: 기존 모델들은 종종 이미지의 시각적 증거 (grounding) 없이 답변을 생성하거나, 특정 데이터 분포에 과적합 (overfitting) 되어 새로운 상황 (Out-of-Distribution, OOD) 에서는 일반화되지 못합니다.
• 지적 (Pointing) 의 미스터리: 최근 연구들은 모델이 객체의 좌표를 예측하는 '지적 (Pointing)' 작업을 중간 단계로 거치면 정확도가 향상된다고 보고했습니다. 하지만 왜 이러한 성능 향상이 발생하는지, 좌표가 실제로 시각적 설명 (explanation) 으로 신뢰할 수 있는지, 그리고 어떤 메커니즘이 작용하는지에 대해서는 명확히 규명되지 않았습니다.

2. 연구 방법론 (Methodology)

저자들은 제로샷 카운팅 (Zero-shot Counting) 작업을 사례 연구로 선정하여 두 가지 접근 방식을 비교 분석했습니다.

• 데이터셋 구축 (CIVET 프레임워크 활용):
  • 기존 데이터셋의 편향 (위치 편향, 클래스 불균형 등) 을 제거하기 위해 CIVET 프레임워크를 사용하여 합성 데이터를 생성했습니다.
  • 객체의 종류, 색상, 위치, 개수 (1~18 개) 를 균일하게 분포시키며, 방해물 (distractors) 이 포함된 노이즈가 있는 시나리오도 포함했습니다.
• 비교 실험 접근법:
  1. 직접 카운팅 (Direct Counting, DC): 모델이 이미지와 질의 (Query) 를 입력받아 직접 객체 개수만 예측합니다.
  2. 점수 후 카운팅 (Point-then-Count, PtC): 모델이 먼저 질의와 관련된 객체의 2D 좌표를 예측한 후, 해당 좌표를 기반으로 개수를 계산하여 답변합니다.
• 평가 모델: Qwen2.5-VL (3B, 7B), LLaVA-OneVision-1.5 (8B), InternVL3.5 (8B) 등 4 가지 최신 오픈소스 LVLM 을 LoRA 를 통해 미세 조정 (Fine-tuning) 했습니다.
• 평가 지표:
  • OOD 일반화: 훈련 데이터 (19 개) 를 넘어선 더 많은 개수 (1018 개) 에 대한 성능.
  • 방해물 강건성: 방해물이 포함된 이미지에서의 성능.
  • Grounding 신뢰도: 예측된 좌표가 실제 객체 위치와 일치하는지 (F1-score, Exact Match) 분석.
  • 메커니즘 분석: 좌표를 무의미한 토큰으로 대체하거나 이미지를 제거하는 등의 Ablation Study를 수행하여 성능 향상의 원인을 규명했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 지적 (Pointing) 은 기술 학습 (Skill Learning) 을 촉진한다

• OOD 일반화: PtC 접근법은 DC 보다 더 높은 OOD 일반화 성능을 보였습니다. 훈련 시 보지 못한 더 많은 개수의 객체가 있는 상황에서도 PtC 모델이 더 정확하게 카운팅했습니다.
• 기술 습득: 이는 좌표 예측이 모델로 하여금 단순한 패턴 매칭이 아닌, 객체를 식별하고 집계하는 보편적인 카운팅 기술을 학습하게 함을 시사합니다.

B. 좌표는 신뢰할 수 있는 시각적 설명이 된다

• 높은 Grounding 정확도: 예측된 좌표는 89% 이상의 경우 (F1-score 기준) 이미지 내 실제 객체 위치에 정확히 매핑되었습니다.
• 공간적 편향 존재: 그러나 모든 모델이 균일한 성능을 보인 것은 아닙니다. 일부 모델 (예: LLaVA-OneVision) 은 이미지의 특정 영역 (오른쪽, 하단 등) 에서 정확도가 떨어지는 공간적 편향 (Spatial Bias) 을 보였습니다. InternVL3.5 는 균일한 성능을 보였습니다.

C. 성능 향상의 메커니즘 규명

• 공간 정보의 중요성: 좌표를 무의미한 토큰 ('X') 으로 대체했을 때 OOD 성능이 급격히 하락했습니다. 이는 공간 정보 (Spatial Information) 가 일반화의 핵심 요소임을 증명합니다.
• 텍스트 기반 추론 우세: 흥미롭게도, 이미지를 검은색으로 가리고 정답 좌표만 입력했을 때 모델의 성능이 거의 변하지 않았습니다. 이는 PtC 모델이 최종 개수를 계산할 때 시각적 특징보다는 생성된 텍스트 형태의 좌표 정보에 의존하고 있음을 의미합니다. 즉, 모델은 시각적 특징을 직접 세는 것보다, 구조화된 좌표 텍스트를 기반으로 논리적 추론을 수행하는 것이 더 효율적입니다.

4. 결론 및 의의 (Significance)

• 이론적 의의: 이 연구는 LVLM 의 성능 향상이 단순히 '추가 정보'의 제공 때문이 아니라, 지각 (Grounding) 과 추론 (Reasoning) 을 명시적인 순차 단계로 분리함으로써 모델이 더 일반화된 기술을 학습하게 되기 때문임을 규명했습니다.
• 실용적 의의:
  • 신뢰성 있는 AI: 중간 단계의 좌표 예측을 통해 모델의 추론 과정을 인간이 검증할 수 있는 '설명 가능한 AI (XAI)' 구현에 기여합니다.
  • 강건한 학습 전략: 복잡한 시각 - 언어 작업 (카운팅, 공간 추론, 로봇 affordance 예측 등) 에서 OOD 성능을 높이기 위해 지적 (Pointing) 과 같은 중간 단계 (Intermediate Step) 를 도입하는 것이 효과적임을 입증했습니다.
• 한계 및 향후 과제: 현재 연구는 합성 데이터와 제한된 모델 규모 (8B 이하) 에 기반하므로, 실제 복잡한 자연 이미지와 더 큰 규모의 모델에서의 검증이 필요하며, 좌표 생성에 따른 추가적인 계산 비용 (Inference Overhead) 을 줄이는 효율적인 메커니즘 개발이 요구됩니다.

요약하자면, 이 논문은 LVLM 에 "지적 (Pointing)" 작업을 도입하는 것이 단순한 정확도 향상을 넘어, 모델이 공간 정보를 활용한 일반화된 카운팅 기술을 학습하게 하며, 이를 통해 신뢰할 수 있는 시각적 설명을 생성할 수 있음을 체계적으로 증명했습니다.