LVLM-COUNT: Enhancing the Counting Ability of Large Vision-Language Models

이 논문은 대규모 비전 - 언어 모델 (LVLM) 의 객체 수 세기 능력을 향상시키기 위해, 객체가 중복 세어지는 문제를 방지하는 분할 - 정복 전략을 기반으로 한 'LVLM-COUNT'라는 간단하면서도 효과적인 기법을 제안하고 그 유효성을 다양한 데이터셋에서 입증합니다.

핵심

이 논문은 **"LVLM-Count"**라는 새로운 방법을 소개합니다. 이 방법은 최신의 거대한 인공지능 (LVLM) 이 이미지 속 물체의 개수를 세는 능력을 획기적으로 향상시켜줍니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "눈이 너무 많은 AI"

우리가 AI 에게 "이 사진에 사과가 몇 개야?"라고 물으면, 사과가 5 개 정도면 잘 맞춥니다. 하지만 사과가 100 개, 200 개로 늘어나면 AI 는 머리가 터져버립니다.

• 비유: 마치 초등학교 1 학생에게 100 개의 구슬을 한 번에 세라고 시키는 상황과 같습니다. 초등학교 1 학생 (기존 AI) 은 10 개까지는 잘 세지만, 100 개가 넘으면 혼란스러워해서 "아마 50 개쯤?"이라고 대충 추측하거나, 같은 구슬을 두 번 세거나 빼먹는 실수를 합니다.

2. 해결책: "조각조각 나누어 세기 (LVLM-Count)"

저자들은 이 문제를 해결하기 위해 "분할 정복 (Divide and Conquer)" 전략을 사용했습니다.

• 비유: 100 개의 구슬을 한 번에 세지 말고, 작은 상자 10 개에 10 개씩 나누어 넣고, 각 상자별로 세어서 합치는 방법입니다. 이렇게 하면 AI 가 한 번에 처리해야 할 양이 줄어들어 훨씬 정확하게 세게 됩니다.

3. 핵심 기술: "물체를 자르지 않는 가위"

하지만 여기서 중요한 문제가 하나 생깁니다. 만약 구슬을 세기 위해 상자를 나눌 때, 구슬을 반으로 잘라버리면 어떨까요?

• 문제: 구슬이 잘리면, 왼쪽 조각과 오른쪽 조각을 각각 세다가 "이건 2 개야!"라고 잘못 세게 됩니다. (중복 계수)
• 해결책 (LVLM-Count 의 핵심): 이 방법은 **"물체를 자르지 않는 가위"**를 사용합니다.
  1. 먼저 AI 가 "어떤 물체를 세고 싶은지 (예: 갈색 계란)"를 정확히 찾아냅니다.
  2. 그다음, 물체들이 모여 있는 공간만 잘라냅니다.
  3. 가장 중요한 것은, 물체 (계란) 를 절단선으로 자르지 않고, 물체와 물체 사이의 빈 공간 (흰색 부분) 을 따라 가위를 움직인다는 점입니다.
  • 비유: 마치 미로 찾기 게임처럼, 물체들은 '벽'으로 처리하고, 빈 공간만 '길'로 간주하여 그 길을 따라 이미지를 잘게 쪼갭니다. 이렇게 하면 어떤 물체도 반으로 잘리지 않고 온전한 상태로 작은 조각에 들어갑니다.

4. 최종 단계: "조각별 세기 + 합산"

이제 잘게 나뉜 작은 이미지 조각들 각각을 AI 에게 보여줍니다.

• AI 는 "이 작은 조각에는 계란이 3 개 있네", "저 조각에는 4 개 있네"라고 아주 정확하게 셉니다.
• 마지막으로 이 숫자들을 모두 더하면, 원래의 거대한 이미지 속 계란의 정확한 개수가 나옵니다.

5. 왜 이 방법이 특별한가요?

• 학습 불필요: 이 방법은 AI 를 다시 가르치지 않아도 됩니다. 이미 존재하는 강력한 AI (GPT-4o 등) 를 그대로 쓰되, 작업 방식을 조금만 바꿔주는 (플러그인 방식) 것입니다.
• 복잡한 상황에도 강함: 물체가 서로 겹쳐 있거나 (가려짐), 배경이 복잡해도 잘 작동합니다.
• 실용성: 병원에서 세포를 세거나, 공장에서 제품을 카운트하거나, 펭귄 개체 수를 조사하는 등 다양한 실생활 문제에 바로 적용할 수 있습니다.

요약

이 논문은 **"AI 가 너무 많은 물체를 세다가 헷갈릴 때, 물체를 자르지 않고 빈 공간만 따라 이미지를 잘게 쪼개서, 작은 덩어리별로 세게 한 뒤 합치는 똑똑한 방법"**을 제안했습니다. 마치 거대한 퍼즐을 한 번에 맞추려 하지 않고, 작은 조각별로 맞춰나가는 것과 같은 원리입니다.

기술 요약

1. 문제 정의 (Problem)

대형 시각 - 언어 모델 (LVLM, Large Vision-Language Models) 은 제로샷 (zero-shot) 객체 인식 능력에서 뛰어난 성과를 보이지만, 시각적 카운팅 (Visual Counting) 작업, 특히 객체 수가 많은 경우 심각한 성능 저하를 겪습니다.

• 현황: LVLM 은 소수의 객체 (보통 20 개 미만) 를 카운팅할 때는 비교적 잘 수행하지만, 객체 수가 증가함에 따라 정확도가 급격히 떨어집니다.
• 원인: 복잡한 배경, 객체 간의 중첩 (occlusion), 그리고 대규모 객체 군집을 한 번에 처리하는 데서 오는 추론의 한계 때문입니다.
• 기존 방법의 한계: 기존 카운팅 전용 모델들은 특정 클래스에 국한되거나, 시각적 예시 (exemplars) 가 필요하며, 복잡한 프롬프트나 분포 변화 (distribution shift) 에 취약합니다.

2. 제안 방법: LVLM-Count (Methodology)

저자들은 LVLM 의 카운팅 능력을 향상시키기 위해 분할 정복 (Divide-and-Conquer) 전략을 기반으로 한 새로운 파이프라인인 LVLM-Count를 제안합니다. 이 방법은 추가적인 모델 학습 없이 프롬프트 기반 (prompt-based) 으로 작동하며, 다음과 같은 4 단계로 구성됩니다.

1 단계: 영역 감지 (Area Detection)

• 입력된 질문 (Q) 에서 관심 대상 (예: "brown eggs") 을 나타내는 표현 (E) 을 LLM 을 통해 추출합니다.
• 추출된 표현 (E) 과 원본 이미지를 GroundingDINO와 같은 그라운딩 (grounding) 모델에 입력하여 관심 영역을 감지합니다.
• 감지된 영역을 크롭 (crop) 하여 불필요한 배경을 제거합니다.

2 단계: 타겟 분할 (Target Segmentation)

• 크롭된 이미지에 대해 GroundingDINO로 객체 바운딩 박스를 생성하고, 이를 SAM (Segment Anything Model) 에 입력하여 각 객체의 인스턴스 마스크 (segmentation masks) 를 생성합니다.
• 중요: 밀집된 장면이나 중첩된 객체에서 분할 경로를 방해하지 않도록, 생성된 마스크에 대해 비최대 억제 (NMS) 와 침식 (erosion) 과 같은 후처리 과정을 적용하여 마스크 간의 간격을 확보합니다.

3 단계: 객체 인식 분할 (Object-aware Division) - 핵심 기여

• 기존 나이스한 분할 (Naive division, 직선으로 균등 분할) 은 객체를 잘라내어 중복 계수 (double-counting) 나 누락을 초래할 수 있습니다.
• 이를 해결하기 위해 객체 인식 분할 (Object-aware Division) 메커니즘을 도입합니다.
  • 경로 탐색: 생성된 마스크를 장애물로 간주하고, 나머지 영역을 통과 가능한 공간으로 간주하는 2 차원 이진 맵을 생성합니다.
  • A 알고리즘:* 시작점과 끝점 사이를 장애물 (객체) 을 건드리지 않고 연결하는 최적 경로를 A 검색 알고리즘*을 사용하여 찾습니다.
  • 이 과정을 통해 객체가 절단되지 않는 하위 이미지 (sub-images) 로 분할됩니다.

4 단계: 타겟 카운팅 및 집계 (Target Counting & Aggregation)

• 생성된 각 하위 이미지를 LVLM 에 입력하여 해당 영역 내의 객체 수를 카운팅하도록 요청합니다.
• 모든 하위 이미지의 카운팅 결과를 합산하여 최종 답을 도출합니다.
• 참고: 하위 이미지에 관심 객체가 없을 때 LVLM 이 0 이 아닌 값을 예측하는 오류를 줄이기 위해 "0 으로 답하라"는 프롬프트 기법 (Zero-aware prompt) 을 활용합니다.

3. 주요 기여 (Key Contributions)

1. LVLM-Count 파이프라인 제안: 추가 학습 없이 기존 LVLM 의 카운팅 성능을 획기적으로 개선하는 간단하고 효과적인 베이스라인 방법을 제시했습니다. 이는 제로샷 능력을 유지하면서 대규모 객체 카운팅 문제를 해결합니다.
2. 객체 인식 분할 (Object-aware Division) 솔루션: 임의의 프롬프트로 지정된 객체를 절단하지 않고 이미지를 분할하는 알고리즘을 개발했습니다. 이는 기존 나이스한 분할 방식의 치명적인 결함 (객체 잘림으로 인한 오계수) 을 해결합니다.
3. 새로운 벤치마크 (Emoji-Count) 구축: 기존 데이터셋의 단순함을 보완하기 위해, 미세한 차이가 있는 이모지 아이콘을 복잡한 개념으로 구분해야 하는 새로운 도전적인 벤치마크를 제안했습니다.
4. 광범위한 실험 및 검증: FSC-147, PASCAL VOC, Penguin Dataset 등 다양한 데이터셋과 새로운 Emoji-Count 벤치마크에서 LVLM-Count 의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: FSC-147, PASCAL VOC, Penguin Dataset 등 다양한 벤치마크에서 GPT-4o, Qwen2 VL, Gemma 3 등 여러 최신 LVLM 에 적용 시, 평균 절대 오차 (MAE) 와 제곱근 오차 (RMSE) 가 크게 감소했습니다.
  • 예: FSC-147 에서 GPT-4o 의 MAE 는 25.57 에서 17.86 으로, Qwen2 VL 은 34.18 에서 22.29 로 감소했습니다.
• 복잡한 시나리오 강건성: 밀집된 장면 (Crowded scenes) 과 중첩이 심한 Penguin Dataset 에서도 높은 성능을 유지하며, 기존 카운팅 전용 모델들이 분포 변화에 취약한 반면 LVLM-Count 는 일반화 능력이 뛰어났습니다.
• 새로운 벤치마크 (Emoji-Count): 복잡한 개념 이해가 필요한 이모지 카운팅 작업에서 기존 훈련된 모델들은 성능이 급격히 떨어졌으나, LVLM-Count 는 높은 정확도를 유지했습니다.
• 추론 시간: 파이프라인의 추가 단계 (분할, 경로 탐색 등) 는 전체 추론 시간의 일부만 차지하며, 대부분은 LVLM 쿼리에 소요되므로 실용적입니다.

5. 의의 및 결론 (Significance)

이 논문은 LVLM 이 가진 수치 추론 (Numerical Reasoning) 의 약점을 해결하기 위해 시각적 분할 전략을 효과적으로 결합한 첫 번째 시도 중 하나입니다.

• 학습 불필요: 별도의 학습 데이터나 모델 튜닝 없이, 기존 오픈소스 및 상용 LVLM 에 즉시 적용 가능한 '플러그 앤 플레이 (Plug-and-play)' 방식이라는 점이 큰 장점입니다.
• 범용성: 단순한 객체 카운팅을 넘어, 복잡한 속성이나 관계를 포함하는 질문에도 유연하게 대응할 수 있어 산업, 의료, 환경 모니터링 등 다양한 실제 응용 분야에 적용 가능성이 높습니다.
• 향후 연구의 기준: 제안된 LVLM-Count 는 향후 대규모 객체 카운팅 솔루션을 평가하기 위한 강력한 기준 (Baseline) 으로 자리 잡을 것으로 기대됩니다.

요약하자면, LVLM-Count는 "큰 이미지를 잘게 나누되, 객체를 자르지 않고 나누는 지능적인 분할 전략"을 통해 LVLM 의 카운팅 한계를 극복한 혁신적인 방법론입니다.