What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models

1. 문제 정의 (Problem)

기존의 비전 - 언어 모델 (VLM) 벤치마크는 구조화되고 명확한 질문 (Explicit Prompts) 으로 구성되어 있습니다. 그러나 실제 사용자들은 이미지와 함께 매우 비공식적이고 미세정제되지 않은 (Under-specified) 질문을 던지는 경향이 있습니다. 사용자는 맥락을 생략하고 "이거 뭐야?", "이거 어떻게 해?"와 같이 이미지에만 의존하는 질문을 합니다.

• 핵심 문제: 현재의 벤치마크 평가 방식은 이러한 자연스러운 '미세정제 (Under-specification)' 현상을 반영하지 못하여, 모델의 실제 배포 환경에서의 성능을 과대평가하거나, 모델의 능력 부족이 아닌 질문의 모호성으로 인한 실패를 모델의 한계로 오인하게 만듭니다.

2. 방법론 (Methodology)

가. HAERAE-Vision 벤치마크 구축

• 데이터 소스: 한국 온라인 커뮤니티 (지식인, 브릭, 롤리웹 등 9 개 플랫폼) 에서 수집한 86,052 개의 질문 - 이미지 쌍.
• 필터링 파이프라인 (6 단계):
  1. 데이터 수집: 답변이 채택되거나 참여도가 높은 데이터 우선 수집.
  2. 적합성 필터링: 안전성, 객관성, 시의성 기준 적용 (GPT-4o 자동 필터링).
  3. 난이도 보정: 강력한 모델이 쉽게 해결하는 질문 제거.
  4. 이미지 의존성 검증: 이미지 없이는 답변 불가능한 질문만 선별.
  5. 체크리스트 생성: 정답을 평가하기 위한 구체적인 기준 (1~5 개 항목) 을 LLM 으로 생성.
  6. 인간 검증: 7 명의 어노테이터를 통한 3 단계 검수.
• 결과: 0.76% 의 생존율을 거쳐 최종 653 개의 고품질 문제가 도출됨. 13 개 도메인 (게임, 자연물, 과학, 코딩 등) 을 포괄하며, 23.7% 는 한국 특유의 문화적 지식이 필요함.

나. 명시적 재작성 (Query Explicitation)

• HAERAE-Vision-Explicit: 원본의 미세정제된 질문을 의도 (Intent) 는 유지하되, 누락된 맥락과 정보를 명시적으로 포함하도록 재작성한 병렬 데이터셋을 구축했습니다.
• 목적: 질문의 모호성 (Under-specification) 이 모델 성능에 미치는 영향을 고립시켜 측정하기 위함.

다. 평가 프레임워크

• 체크리스트 기반 평가: 단일 정답이 아닌, 답변이 충족해야 할 구체적 기준 (Checklist) 을 설정.
• LLM Judge: GPT-5-Mini 를 심사위원으로 활용하여 각 체크리스트 항목에 대해 '충족 (1.0)', '부분 충족 (0.5)', '미충족 (0.0)' 점수를 매기고 근거를 제시하도록 함.

3. 주요 기여 (Key Contributions)

1. 실세계 벤치마크 (HAERAE-Vision): 8 만 6 천 개 후보 중 653 개만 선별된, 실제 사용자의 비공식적이고 문화적으로 뿌리 깊은 질문으로 구성된 최초의 대규모 VLM 벤치마크.
2. 쌍대 데이터셋 (Explicit vs. Original): 동일한 질문에 대해 '미세정제된 원본'과 '명시적 재작성' 버전을 제공하여, 질문의 모호성이 모델 성능에 미치는 영향을 정량화.
3. 문화적 기반성 (Cultural Grounding): 한국 특유의 제도, 브랜드, UI, 문화적 관습을 이해해야만 해결 가능한 문제들을 대량 포함하여, 영어 중심 훈련 데이터의 한계를 드러냄.

4. 실험 결과 (Results)

가. 전반적 성능

• 저조한 성능: 최신 SOTA 모델 (GPT-5, Gemini 2.5 Pro) 도 원본 질문에서 **50% 미만 (약 48%)**의 정확도를 보임.
• 모델 크기 영향: 오픈소스 모델과 한국 특화 모델 (VARCO, HyperCLOVA) 은 상용 모델보다 성능이 현저히 낮음.

나. 질문 명시화 (Explicitation) 의 효과

• 성능 급상승: 질문을 명시적으로 재작성했을 때, 모든 모델의 성능이 8~22 포인트 향상됨.
• 소규모 모델의 혜택: GPT-5-Nano 와 같은 소형 모델이 가장 큰 폭 (+21.7%) 의 개선을 보임. 이는 소형 모델이 이미지만으로 암묵적 맥락을 추론하는 능력이 부족함을 시사.
• 한계: 명시화 후에도 최상위 모델 (GPT-5) 의 성능은 57.6% 에 머무르며, 나머지 난이도는 문화적 지식 부족에서 기인함.

다. 웹 검색 (Web Search) 의 한계

• 검색의 비효율성: 미세정제된 질문에 웹 검색을 추가해도, 검색 없이 명시화된 질문보다 성능이 낮음 (GPT-5: 55.6% vs 57.6%).
• 원인: 검색 엔진은 텍스트 기반이므로, 이미지에만 포함된 핵심 맥락 (예: 제품명, 오류 코드) 을 추출하지 못하면 검색 자체가 무의미함. 모델이 먼저 "무엇을 검색해야 하는지"를 이해해야 검색이 유효함.

라. 오류 분석 (Error Analysis)

• 명시화 전: 실패의 주원인은 '명시성 부족 (Lack of explicitness)' (84.3%).
• 명시화 후: '명시성 부족'은 감소하지만, **문화적 지식 부족 (Cultural knowledge gaps)**이 주요 오류 원인으로 부상 (+6.4%p).
• 시각 - 텍스트 정합 (VTG) 오류: 명시화 후 VTG 오류가 증가하는 것처럼 보이지만, 이는 모호성으로 가려졌던 기존 오류들이 드러난 것 (Unmasking effect) 임.

5. 의의 및 결론 (Significance & Conclusion)

• 벤치마크와 현실의 괴리: 기존 벤치마크는 모델의 '지식'이나 '추론 능력' 부족을 측정하는 척도로 오해하게 만들지만, 실제 난이도의 상당 부분은 사용자 질문의 비공식성과 맥락 생략에서 비롯됨.
• 모델 평가의 재고: 모델의 능력을 평가할 때는 "명확한 질문"뿐만 아니라 "비공식적이고 맥락이 생략된 질문"에 대한 내성을 반드시 포함해야 함.
• 검색 증강 (RAG) 의 한계: 단순히 검색을 추가하는 것만으로는 해결되지 않으며, 모델이 이미지와 텍스트를 결합하여 **사용자의 의도를 먼저 파악 (Intent Understanding)**하는 능력이 선행되어야 함.
• 문화적 중요성: 한국어와 같은 특정 문화권 데이터는 글로벌 모델에게 여전히 큰 장벽이며, 문화적 지식을 포함한 훈련 데이터의 필요성을 강조함.

이 논문은 VLM 의 발전 방향이 단순히 더 큰 모델이나 더 많은 데이터가 아니라, 실제 사용자의 불완전한 입력을 이해하고 처리하는 능력과 문화적 맥락의 심층적 이해에 달려 있음을 시사합니다.