CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models

기술 요약: CounterCount: 비전 언어 모델의 카운팅 편향 진단 프레임워크

문제 제기
비전 - 언어 모델 (VLM) 은 대규모 언어 모델 (LLM) 을 텍스트 백본으로 활용함으로써 다중 모달 추론에서 강력한 능력을 입증해 왔습니다. 그러나 중요한 모호성이 남아 있습니다: VLM 이 시각적 질문에 답변할 때, 그 예측이 구체적인 시각적 증거에 기반한 것인지, 아니면 텍스트 코퍼스에서 학습된 통계적 규칙성과 "정형적 사전 지식 (canonical priors)"에 의해 주도되는 것일까요? 이 문제는 카운팅 작업에서 특히 심각합니다. 카운팅은 단순해 보이지만, 실제로는 모델이 개체를 식별하고, 방해 요소와 구별하며, 시각적 증거를 집계해야 합니다. 현재 VLM 들은 종종 카운팅에 어려움을 겪으며, 이전 분석에 따르면 관련 개체에 주의를 기울이더라도 모델이 해당 증거를 올바르게 활용하지 못하고 대신 원형 지식에 의존하는 경향이 있습니다 (예: 이미지 내용과 관계없이 토끼가 두 개의 귀를 가진다고 가정). 기존 벤치마크는 카운팅 오류를 프롬프트 편향이나 의미적 모호성 같은 다른 요인들과 혼동하는 경우가 많아, 시각적 증거와 언어 사전 지식 간의 충돌로 인해 발생하는 실패를 분리하기 어렵습니다.

방법론
이를 해결하기 위해 저자들은 시각적 증거와 개체 단위 카운팅 사전 지식 간의 충돌을 분리하도록 설계된 진단 프레임워크인 CounterCount를 소개합니다.

1. 데이터셋 구축:

   • 반사실 쌍 (Counterfactual Pairs): 데이터셋은 10 가지 의미 범주 (예: 포유류, 교통, 화폐) 에 걸친 168 개의 쌍을 이루는 이미지 (총 336 개) 로 구성됩니다. 각 쌍에는 정형적 개체 속성을 가진 "사실적 (factual)" 이미지와 이미지 편집 모델 (Nano-Banana Pro) 을 사용하여 카운팅 관련 속성 (예: 귀, 바퀴, 날개의 수) 을 체계적으로 변경한 "반사실 (CF)" 이미지가 포함됩니다.
   • 로컬라이제이션: 표준 벤치마크와 달리 CounterCount 는 영역 수준의 주석을 제공합니다. 각 CF 이미지에 대해 저자들은 수정된 속성에 대한 세그멘테이션 마스크와 바운딩 박스 (BB) 를 생성합니다. 이를 비전 인코더의 시각적 토큰 그리드에 매핑하여 "Mask-BB" 영역을 생성함으로써 카운트에 필요한 특정 시각적 토큰을 분리합니다.
   • 평가 형식: 각 인스턴스는 일반적 카운팅 오류와 사전 지식 기반 오류를 구분하기 위해 균형 잡힌 방해 요소를 포함한 개방형 (OE) 프롬프트와 객관식 질문 (MCQ) 으로 평가됩니다.

2. 진단 분석:

   • 저자들은 최근의 오픈 가중치 VLM 들 (Qwen3-VL, Gemma3) 과 폐쇄형 소스 모델 (Claude-haiku-4.5) 을 평가합니다.
   • 실패가 로컬라이제이션 부재에서 기인하는지, 아니면 로컬라이즈된 증거의 가중치 부여 실패에서 기인하는지 확인하기 위해 주의 메커니즘을 분석합니다. 결과는 모델이 종종 관련 영역에 주의를 기울이지만, 추론 과정에서 이러한 토큰을 배경이나 관련 없는 문맥에 비해 과소평가한다는 것을 보여줍니다.

3. 개입 전략:

   • 본 논문은 통합 추론 시간 주의 조절 (Unified Inference-Time Attention Modulation) 전략을 제안합니다. 이 방법은 소프트맥스 레이어 이전의 LLM 백본의 원시 주의 로짓 (logits) 에서 작동합니다.
   • 이 방법은 특정 시각적 토큰 세트 (Target) 를 증폭 ($\alpha > 1$), 억제 ($0 < \beta < 1$), 또는 마스킹 ($\beta = 0$) 할 수 있게 하며, 동시에 배경 토큰을 감쇠시킵니다.
   • 이 공식은 증폭, 억제, 마스킹 등 다양한 개입을 단일 연속 로짓 조절 공간으로 통합하여, 재학습 없이 모달리티 기여도를 표적적으로 재조정할 수 있게 합니다.

주요 기여

• CounterCount 데이터셋: 정형적 사전 지식에 대한 시각적 그라운딩을 테스트하도록 특별히 설계된, 로컬라이즈된 주석 (마스크 및 바운딩 박스) 이 포함된 쌍을 이루는 사실적 및 반사실 이미지를 특징으로 하는 통제된 진단 데이터셋.
• 진단 통찰: VLM 이 사실적 이미지에서는 강력한 성능을 보이지만 반사실 이미지에서는 일관된 정확도 저하를 겪는다는 실증적 증거. 이는 모순되는 시각적 증거가 존재할 때조차 개체 단위 사전 지식에 의존함을 확인시켜 줍니다.
• 주의 분석: 카운팅 실패가 시각적 증거 부재나 나쁜 로컬라이제이션 때문만이 아니라, 모델이 관련 영역에 주의를 기울이지만 언어 사전 지식과 배경 잡음에 비해 이를 충분히 가중치 부여하지 못하기 때문임을 입증.
• 학습 없는 개입: 추론 시 카운팅 관련 시각적 토큰을 재가중함으로써 여러 VLM 에서 반사실 카운팅 정확도를 최대 8% 향상시키는 통합 주의 조절 전략.

결과

• 성능 저하: 사실적 이미지에서 모델은 높은 정확도를 달성합니다 (예: Qwen3-VL-32B: 약 87%, Gemma3: 약 66–81%). 그러나 반사실 이미지에서는 정확도가 크게 떨어집니다 (예: Qwen3-VL-32B: 약 48%, Gemma3: 약 34–38%), 정형적 카운트에 대한 편향률이 높게 나타납니다.
• 조절 효과: 주의 조절 (특히 대상 토큰 증폭 및 배경 토큰 감쇠/마스킹) 을 적용하면 반사실 정확도가 향상됩니다. 예를 들어, Qwen3-VL-32B 는 개방형 정확도에서 8.26% 의 개선을 보였습니다.
• 편향 감소: 이 개입은 정형적 사전 지식에서 시각적 증거로 예측을 성공적으로 전환시켜 여러 구성에서 편향률을 감소시킵니다.
• 일반화: 이 발견은 다양한 모델 규모 (4B 에서 32B) 와 오픈 가중치 및 폐쇄형 소스 아키텍처 모두에서 유효하며, 현재 VLM 추론의 체계적 문제를 시사합니다.
• 사실적 안정성: 조절 전략은 일반적으로 사실적 이미지에서의 성능을 저하시키지 않으며, 일부 경우에는 이를 향상시켜, 이 방법이 일반적 이해를 해치지 않으면서 의미적으로 관련 있는 토큰에 대한 집중을 강화함을 나타냅니다.

의의
본 논문은 CounterCount 가 시각적 증거가 명시적이고 로컬라이즈되어 있음에도 불구하고, 카운팅 예측이 시각적 증거가 아닌 사전 지식에 의해 주도되는 현재 VLM 의 지속적인 추론 실패를 드러낸다고 주장합니다. 그 의의는 다음과 같습니다:

1. 실패 모드 분리: 지각적 한계와 모달리티 불균형 (언어적 사전 지식을 선호하여 시각적 증거를 과소 활용) 을 구분할 수 있는 통제된 환경을 제공.
2. 메커니즘적 통찰: 실패가 모델이 카운트를 "볼 수" 없어서가 아니라, 추론 과정에서 카운트와 관련된 시각적 토큰을 우선시하지 못하기 때문에 발생함을 보여줌.
3. 설계 지침: 이러한 편향을 탐지하고 완화하기 위한 학습 없는 추론 시간 메커니즘을 제공하여, 더 강력한 시각적 그라운딩을 갖춘 미래 VLM 설계에 대한 경로를 제시. 저자들은 개입이 정확도를 향상시키지만 편향을 완전히 제거하지는 못한다고 지적하며, 견고한 시각적 그라운딩을 위해서는 더 깊은 아키텍처 변경이 필요할 수 있음을 시사합니다.