GroundCount: Grounding Vision-Language Models with Object Detection for Mitigating Counting Hallucinations

이 논문은 객체 탐지 모델의 공간적 위치 정보를 시각-언어 모델에 명시적으로 결합하여 카운팅 오류를 줄이고 추론 시간을 단축하는 'GroundCount' 프레임워크를 제안하며, 이를 통해 다양한 모델에서 카운팅 정확도를 유의미하게 향상시킵니다.

핵심

🎭 1. 문제: AI 의 '착각' (할루시네이션)

최근의 AI(시각 - 언어 모델) 는 그림을 보고 질문에 답하는 능력이 매우 뛰어나졌습니다. 하지만 **'개수 세기'**라는 간단한 작업에서는 자꾸 실수를 합니다.

• 비유: 상상해 보세요. 아주 똑똑한 **문학 박사 (AI)**가 그림을 보고 있습니다. 그는 그림의 분위기나 감정은 잘 설명하지만, "여기에 사과가 몇 개야?"라고 물으면 "아마 3 개일 거야, 아니면 5 개일 수도 있고..." 하며 상상으로 답을 합니다.
• 현실: AI 는 그림을 자세히 보는 것보다, 말로 된 지식 (예: "보통 사과가 3~4 개쯤 있지") 에 더 의존하는 경향이 있어, 실제 그림에 있는 개수와 다르게 말해버립니다. 이를 **'할루시네이션 (착각)'**이라고 합니다.

🛠️ 2. 해결책: 'GroundCount' (발견과 세기의 결합)

연구팀은 이 문제를 해결하기 위해 두 가지 도구를 합쳤습니다.

1. AI (문학 박사): 그림의 맥락과 의미를 이해하는 역할.
2. 물체 탐지 모델 (ODM, 예: YOLO): 카메라와 자 역할을 하는 전문 도구. 이 도구는 그림 속 사물을 정확히 찾아내고 "여기에 사과가 3 개 있습니다"라고 숫자와 위치를 딱딱 끊어서 알려줍니다.

이 연구는 AI 가 혼자서 상상하며 세는 대신, 전문 도구 (카메라) 가 찾아낸 정확한 숫자를 AI 에게 알려주고, AI 가 그 정보를 바탕으로 답을 하도록 만들었습니다.

🚀 3. 세 가지 실험 방법 (세 가지 전략)

연구팀은 이 두 도구를 어떻게 결합할지 세 가지 방법을 시도했습니다.

방법 A: "메모지 붙이기" (가장 효과적!)

• 비유: AI 가 그림을 볼 때, 옆에 전문 감식관이 "여기 사과 3 개, 저기 바나나 2 개"라고 메모지를 붙여주는 방식입니다.
• 결과: AI 가 메모지를 보고 답을 하니, 정확도가 81.3% 로 크게 올라갔습니다.
• 특이점: 오히려 속도도 빨라졌습니다. AI 가 "아니야, 다시 세보자" 하며 헛되이 고민하는 시간을 줄여주었기 때문입니다.

방법 B: "뇌 수술하기" (복잡한 통합)

• 비유: AI 의 뇌 (내부 구조) 를 직접 뜯어고쳐서, 감식관의 눈 (카메라) 과 AI 의 뇌를 신경으로 직접 연결하는 방식입니다.
• 결과: 생각보다 효과가 떨어졌습니다. 두 도구를 너무 깊게 섞으려다 보니, AI 가 혼란을 겪거나 오히려 실수가 늘어났습니다.

방법 C: "메모지 + 뇌 수술" (하이브리드)

• 비유: 메모지를 붙이면서 동시에 뇌도 수술하는 방식입니다.
• 결과: 속도는 매우 빨라졌지만, 정확도는 '메모지'만 붙인 경우보다 약간 떨어졌습니다.

💡 4. 핵심 교훈 (무엇을 배웠을까?)

1. 단순함이 최고다: AI 에게 복잡한 내부 구조를 바꾸기보다, **명확한 정보 (메모지)**를 주는 것이 훨씬 효과적이었습니다.
2. 위치 정보가 중요하지만, 모델에 따라 다르다: "사과가 왼쪽 위에 있다"는 위치 정보를 주는 것이 큰 AI 에겐 도움이 되지만, 작은 AI 에겐 오히려 방해가 되기도 했습니다.
3. 정확한 탐지가 핵심: 감식관 (카메라) 이 사물을 찾을 때 '아마 있을지도 모른다'는 낮은 확률의 정보까지 모두 주면 AI 가 헷갈려서 실수를 많이 했습니다. 확실한 것만 골라서 주는 것이 중요합니다.

🌟 5. 결론

이 연구는 **"AI 가 개수를 세는 데 서툴다면, AI 를 더 똑똑하게 만들기보다, AI 가 볼 수 있는 '정확한 눈'을 붙여주면 된다"**는 것을 증명했습니다.

이 기술은 재고 관리, 장난감 세기, 혹은 시각 장애인을 위한 보조 기기 등 정확한 개수가 중요한 모든 분야에서 AI 의 신뢰도를 높이는 데 큰 도움이 될 것입니다.

한 줄 요약:

"AI 가 그림 속 물건을 세느라 헛소리를 할 때, 옆에 **'정확한 카운터'**를 붙여주니 AI 가 더 빠르고 정확하게 답을 하게 되었다!"

기술 요약

1. 문제 정의 (Problem Statement)

시각 - 언어 모델 (VLM) 은 다양한 멀티모달 작업에서 뛰어난 성과를 보이지만, 객체 수 세기 (Counting) 작업에서는 지속적인 할루시네이션 (Hallucination, 환각) 현상을 보입니다.

• 현상: 최신 VLM 들조차 객체 인식 (Object Recognition) 이나 속성 식별 (Attribute Identification) 과 같은 다른 시각 추론 작업에 비해 수 세기 정확도가 현저히 낮습니다 (PhD 벤치마크 기준 64.0%~74.7%).
• 원인: VLM 의 언어 디코더가 시각 토큰보다 텍스트 사전 지식 (Textual Priors) 에 과도하게 주의를 기울이는 불균형한 교차 모달 주의 (Cross-modal Attention) 메커니즘 때문입니다. 특히 추론 능력이 강화된 최신 모델에서도 반복적인 추론 과정 (Iterative Reasoning) 이 오히려 잘못된 객체를 찾게 하거나, 시각적 근거 없이 텍스트에 의존하게 만들어 정확도를 떨어뜨립니다.
• 기존 방법의 한계: 기존 할루시네이션 완화 기법 (디코딩 조정, 학습 정규화, 레이어 레벨 스티어링 등) 은 단순한 VLM 에서는 효과가 있었으나, 복잡한 수 세기 작업과 같은 구성적 (Compositional) 실패를 해결하는 데는 한계가 있었습니다.

2. 방법론 (Methodology: GroundCount)

저자들은 VLM 의 내부 메커니즘을 수정하기보다, 객체 감지 모델 (ODM, 예: YOLO) 의 강력한 공간 국소화 (Spatial Localization) 능력을 VLM 에 명시적으로 결합하는 GroundCount 프레임워크를 제안합니다. 세 가지 구현 전략을 제시합니다.

A. GroundCount A: 프롬프트 기반 증강 (Prompt-Based Augmentation)

• 방식: 입력 이미지를 ODM(YOLOv13x) 에 먼저 통과시켜 바운딩 박스, 클래스, 신뢰도 점수를 얻은 후, 이를 자연어 프롬프트로 변환하여 VLM 에 입력합니다.
• 공간 인코딩: 각 객체의 위치를 3x3 그리드 (상/중/하 × 좌/중/우) 로 이산화하여 텍스트로 표현합니다 (예: person 1 upper-center: 0.93).
• 순서: 객체를 좌에서 우, 아래에서 위로 정렬하여 VLM 이 공간적 일관성을 유지하도록 합니다.
• 장점: 아키텍처 수정이나 추가 학습이 필요 없으며 (Plug-and-play), ODM 추론 시간 (약 0.1 초) 이 VLM 의 할루시네이션으로 인한 불필요한 추론 루프를 줄여 전체 추론 시간을 단축시킵니다.

B. GroundCount B: 특징 수준 융합 아키텍처 (Feature-Level Fusion)

• 방식: VLM 의 비전 인코더 (ViT) 패치 임베딩과 ODM 의 CNN 특징을 특징 수준에서 융합하는 경량 네트워크를 설계합니다.
• 구조:
  • Branch A (FiLM): CNN 특징이 ViT 표현을 적응적으로 조절 (Modulate) 합니다.
  • Branch B (Cross-Attention): ViT 패치가 관련 CNN 특징을 선택적으로 조회합니다.
  • Information Bottleneck: 두 모달리티의 정보를 강제로 통합하도록 설계합니다.
• 학습: COCO 데이터셋을 기반으로 융합 네트워크를 미세 조정 (Fine-tuning) 합니다.

C. GroundCount C: 하이브리드 접근 (Combined Strategy)

• 프롬프트 증강 (A) 과 특징 수준 융합 (B) 을 결합하여 명시적 기호 정보와 암시적 특징 통합을 모두 활용합니다.

3. 주요 기여 (Key Contributions)

1. 심층 분석: 최신 VLM 들이 추론 능력 향상에도 불구하고 수 세기 작업에서 체계적으로 낮은 정확도를 보임을 입증했습니다.
2. GroundCount 프레임워크 제안: ODM 기반 증강을 통해 5 개 모델 중 4 개 모델에서 정확도를 6.2~7.5%p 향상시켰으며, 최상위 모델 (Ovis2.5-2B) 에서는 **81.3%**의 정확도를 달성했습니다.
3. 효율성 증대: 할루시네이션으로 인한 불필요한 토큰 생성을 줄여, 강력한 모델의 경우 추론 시간을 22%~23% 단축했습니다.
4. 아블레이션 연구:
   • 위치 인코딩: 강력한 모델에는 유리하지만, 약한 모델에는 오히려 방해가 됨.
   • 신뢰도 점수: 대부분의 아키텍처에서 노이즈로 작용하여 제거 시 성능이 향상됨.
   • 융합 vs 프롬프트: 복잡한 특징 융합 (Feature Fusion) 보다는 **명시적 기호 프롬프트 (Explicit Symbolic Prompts)**가 수 세기 작업에서 더 효과적임을 발견했습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • Ovis2.5-2B: 베이스라인 74.7% → 81.3% (6.6%p 향상).
  • Molmo2-4B, R-4B, Qwen3-VL-2B: 모두 6.2~7.5%p 의 유의미한 향상.
  • InternVL3.5-1B: 예외적으로 성능이 저하됨 (반복적 성찰 메커니즘이 구조화된 프롬프트와 충돌하는 것으로 추정).
• 추론 시간: GroundCount A 는 Ovis2.5-2B 에서 평균 10.0 초에서 7.8 초로 단축 (22% 속도 향상). 이는 VLM 이 ODM 의 명확한 정보를 바탕으로 불필요한 재검토 (Re-checking) 를 줄이기 때문입니다.
• ODM 만의 성능: ODM 단독 (YOLOv13x) 은 72.8% 정확도를 보였으나, VLM 에 명시적 공간 사전 지식 (Grounding) 을 제공하면 81.3% 까지 상승하여 VLM 의 문맥적 추론 가치가 입증되었습니다.
• 융합 아키텍처의 한계: 특징 수준 융합 (Plan B) 은 프롬프트 기반 접근 (Plan A) 보다 성능이 낮았으며, 이는 CNN 의 국소적 공간 특징과 ViT 의 전역적 패치 임베딩 간의 표현적 격차 (Representational Gap) 가 원인일 수 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 근본적 원인 규명: VLM 의 수 세기 실패는 단순한 아키텍처 결함이 아니라, 공간 - 의미 통합 (Spatial-Semantic Integration) 의 근본적 한계에서 비롯됨을 시사합니다.
• 실용적 해결책: 복잡한 모델 재학습이나 아키텍처 변경 없이, 전문화된 객체 감지 모델의 출력을 프롬프트로 활용하는 것이 가장 효율적이고 효과적인 해결책임을 증명했습니다.
• 적용 가능성: 접근성 도구, 재고 관리 시스템, 교육 기술 등 신뢰성이 요구되는 분야에서 VLM 의 신뢰성을 크게 향상시킬 수 있습니다.
• 향후 과제: 특정 아키텍처 (InternVL3.5) 와의 비호환성 원인 규명, DETR 과 같은 트랜스포머 기반 ODM 활용, 그리고 프라이버시 보호를 위한 책임 있는 배포 방안 모색이 필요합니다.

이 논문은 VLM 의 할루시네이션 문제를 해결하기 위해 "모델 내부의 추론을 고치기보다, 외부의 정확한 시각적 근거 (Grounding) 를 제공하라"는 실용적이고 혁신적인 접근법을 제시했습니다.