기술 요약: 보지 않고 보기: 비전 - 언어 벤치마크가 정말로 비전을 테스트하는가?

문제 제기

비전 - 언어 모델 (VLM) 은 grounded visual understanding(현실 기반 시각적 이해) 과 객체 환각을 평가하도록 설계된 수많은 벤치마크에서 높은 점수를 달성했습니다. 그러나 이러한 점수가 모델의 정밀한 시각적 증거에 대한 의존성을 실제로 반영하는 것인지, 아니면 거친 시각적 단서, 표현적 중복성, 또는 강력한 언어 사전 지식의 악용에서 비롯된 것인지는 여전히 불분명합니다. 저자들은 POPE 와 같은 널리 사용되는 벤치마크에서 이미지 토큰의 상당 부분 (최대 75%) 을 무작위로 제거하더라도 정확도 저하는 미미하게 나타난다는 중요한 단절을 관찰했습니다. 이는 표준 벤치마크 지표가 상세한 시각적 grounding 의 상실을 감지하기에 충분히 민감하지 않을 수 있으며, 시각적 추론과 환각 완화 분야에서 모델 능력에 대해 과도하게 확신하는 결론으로 이어질 수 있음을 시사합니다.

방법론

저자들은 LLaVA-1.5, Qwen3-VL, Gemma-3, InternVL3, Molmo 등 여러 오픈소스 VLM 과 POPE, A-OKVQA, MME, AMBER 등 여러 벤치마크에 걸쳐 포괄적이고 다단계의 진단 분석을 수행했습니다. 이 연구는 세 가지 주요 범주의 개입을 활용합니다:

1. 시각적 수준 개입:

   • 토큰 드롭핑: 언어 디코더에 들어가기 전 임베딩 수준에서 이미지 토큰을 무작위로 제거합니다.
   • 전역적 열화: "No-Image"(더미 검은 이미지), "Black" 가림 (특정 이미지 영역 마스킹), "Blur"(노이즈와 혼합) 를 통해 시각적 증거를 체계적으로 약화시킵니다.
   • 개체 수준 조작: Ground Truth 양수 샘플에 초점을 맞춰, 저자들은 Grounding DINO, SAM2 와 같은 세그멘테이션 모델을 사용하여 정밀한 개입을 수행합니다:
     • BlackMask: 질의된 개체의 픽셀만 마스킹합니다.
     • BlackBox: 개체의 전체 바운딩 박스를 가려 국소적 컨텍스트를 제거합니다.
     • EntitySwap: 이미지 편집 모델을 사용하여 질의된 개체를 관련 없는 객체로 교체합니다.

2. 작업 구성 개입:

   • 확장된 답변 공간: 시각적 증거가 열화되었을 때 모델이 불확실성을 표현할 수 있는지 테스트하기 위해 명시적인 "Unknown" 옵션을 도입합니다.
   • 개방형 생성: 이진 질문을 개방형 생성 작업으로 재구성하여 출력 분포에서 대상 개체의 순위와 확률을 평가합니다 (평균 역순위 및 평균 확률 사용).

3. 표현 분석:

   • 레이어별 기하학: 시각적 인코더의 내부 상태를 분석하여 공간적 판별력을 측정합니다. 저자들은 네트워크 레이어를 통해 정보가 전파됨에 따라 공간적 구별이 저하되는지 여부를 판단하기 위해 블록 내 대 블록 간 코사인 유사도, k-평균 공간 응집성, 그리고 네트워크 레이어 전반에 걸친 토큰 표현의 유효 랭크를 계산합니다.

주요 결과

• 시각적 손실에 대한 강건성: POPE 에서 이미지 토큰의 75% 가 드롭되어도 정확도는 거의 변하지 않습니다. 마찬가지로, 심한 흐림이나 부분적 검은색 마스킹과 같은 전역적 열화는 시각적 손상 정도에 비해 정확도 하락이 불균형적으로 작습니다.
• 개체 수준 무감각성: 특정 질의된 개체가 완전히 마스킹 (BlackMask) 되거나 교체 (EntitySwap) 되더라도 모델은 종종 높은 "Yes" 비율을 유지합니다. 결정 마진 ("Yes"와 "No" 사이의 로그트 차이) 은 감소하지만, 분포는 여전히 긍정적 답변 쪽으로 치우쳐 있어 주변 장면 컨텍스트나 언어 사전 지식이 예측을 유지하고 있음을 시사합니다.
• 불확실성 표현 실패: "Unknown" 옵션이 제공될 때, 대부분의 모델은 심각한 시각적 열화 (예: 이미지 없음 또는 높은 노이즈) 상황에서도 이를 거의 선택하지 않습니다. 그들은 여전히 확신에 찬 이진 판단을 생성합니다.
• 약한 개체 표현: 개방형 생성 작업에서 대상 개체는 가시적일지라도 모델의 생성 분포에서 낮은 순위를 받는 경우가 많습니다. 이는 모델이 출력 확률에서 개체별 정보를 강력하게 인코딩하지 않음을 나타냅니다.
• 공간적 판별력 저하: 표현 분석은 시각적 토큰이 시각 인코더의 더 깊은 레이어를 통과함에 따라 블록 간 유사도는 증가하는 반면 블록 내 유사도는 감소함을 보여줍니다. 최종 레이어에 도달하면 서로 다른 공간 영역의 토큰이 방향적으로 구별 불가능해지고 표현의 유효 랭크가 붕괴됩니다. 이는 모델의 내부 처리 과정에서 정밀한 공간 구조가 손실되었음을 시사합니다.

주요 기여

1. 측정 격차 식별: 본 논문은 표준 벤치마크 지표 (top-1 정확도) 가 해당 시각적 증거가 상당히 약화되거나 제거되더라도 크게 저하되지 않는다는 점을 규명하여, 정밀한 grounding 에 대한 민감성 부족을 나타냅니다.
2. 다단계 진단 프레임워크: 저자들은 VLM 성능의 진정한 의존성을 탐구하기 위해 토큰 수준 축소, 전역적 열화, 개체 수준 가림, 의미적 조작, 그리고 결정 수준 분석을 포함한 체계적인 프레임워크를 개발했습니다.
3. 얕은 시각적 의존성에 대한 증거: 이 연구는 현재 VLM 들이 상세한 시각적 증거의 상실에도 불구하고 정확한 예측을 유지할 수 있음을 보여주며, 대신 거친 장면 단서, 중복성, 그리고 언어 사전 지식에 의존하고 있음을 입증합니다. 이는 벤치마크 성공과 질문 관련 시각적 증거에 대한 진정한 의존성 사이의 체계적 격차를 드러냅니다.

중요성과 주장

본 논문은 현재 벤치마크가 VLM 의 정밀한 시각적 grounding 을 신뢰성 있게 평가하기에 부족하다고 주장합니다. 저자들은 높은 벤치마크 점수가 모델의 시각적 능력과 시각적 교란에 대한 강건성을 과대평가할 수 있다고 주장합니다. 결과적으로 시각적 grounding 을 개선하거나, 환각을 완화하거나, 추론 효율성을 높이기 위해 설계된 방법들 (예: 이미지 토큰 드롭핑) 은 진정한 시각적 이해가 아닌 데이터셋 사전 지식이나 거친 단서를 악용하기 때문에 단순히 효과적으로 보일 수 있습니다.

저자들은 평가가 top-1 정확도를 넘어 시각적 증거의 변화에 모델 예측이 적절히 반응하는지 명시적으로 테스트해야 한다고 결론지었습니다. 그들은 관찰된 성능의 안정성이 견고한 시각적 이해의 징후가 아니라 시각적 입력에 대한 얕은 의존성의 증상일 뿐이며, 모델 능력을 정확하게 평가하기 위해 더 많은 진단 평가 프로토콜이 필요하다고 제안합니다.