What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models

Título: O que os Usuários Deixam Não Dito: Consultas Subespecificadas Limitam Modelos Visão-Linguagem

1. O Problema

Os benchmarks atuais de Modelos Visão-Linguagem (VLMs) são predominantemente compostos por perguntas bem estruturadas, claras e explícitas. No entanto, na realidade, as consultas dos usuários são frequentemente informais, subespecificadas e dependem fortemente do contexto visual para transmitir significado. Os usuários tendem a omitir informações cruciais, confiando que a imagem fornecerá o contexto necessário (ex: "O que é isso?" acompanhada de uma foto).

Essa tendência natural à subespecificação cria uma lacuna crítica entre a avaliação em benchmarks e a implantação no mundo real. O artigo argumenta que uma parte significativa da dificuldade enfrentada pelos VLMs não decorre de limitações na capacidade de raciocínio do modelo, mas sim da ambiguidade inerente às consultas humanas naturais.

2. Metodologia: HAERAE-Vision

Para abordar essa lacuna, os autores introduzem o HAERAE-Vision, um novo benchmark projetado para capturar a natureza subespecificada e culturalmente enraizada das consultas reais.

• Coleta de Dados: O dataset foi construído a partir de 86.052 pares de (pergunta, imagem) extraídos de nove plataformas online coreanas (fóruns de Q&A, jogos, ciência, programação, etc.).
• Pipeline de Filtragem (6 Estágios):
  1. Coleta: Seleção de trios (pergunta, imagem, resposta) com alta engajamento ou resposta aceita.
  2. Filtragem de Adequação: Remoção de conteúdo inseguro, subjetivo ou dependente de tempo.
  3. Calibração de Dificuldade: Remoção de perguntas que modelos fortes resolvem trivialmente.
  4. Verificação de Dependência de Imagem: Garante que a resposta exija raciocínio visual (comparando respostas com e sem imagem).
  5. Geração de Checklist: Criação de critérios estruturados (1-5 itens) para avaliação objetiva.
  6. Validação Humana: Revisão por anotadores nativos coreanos para garantir qualidade e relevância cultural.
• Resultado Final: Apenas 653 questões sobreviveram ao processo rigoroso (taxa de sobrevivência de 0,76%), cobrindo 13 domínios (ex: Objetos Naturais, Jogos, Vida Diária, Código).
• Dataset Paralelo (HAERAE-Vision-Explicit): Para isolar o efeito da subespecificação, cada uma das 653 perguntas originais foi reescrita por um LLM (GPT-5.1) para se tornar explícita, adicionando contexto implícito, substituindo referências vagas ("isso", "aquilo") e integrando informações visuais no texto, mantendo a intenção original.

3. Contribuições Principais

1. Benchmark do Mundo Real: O HAERAE-Vision é o primeiro benchmark focado em consultas autênticas, informais e culturalmente específicas (coreanas), contrastando com os dados "limpos" de benchmarks tradicionais.
2. Dataset de Reescrita Explícita: A criação de um conjunto de dados paralelo permite medir quantitativamente o impacto da ambiguidade da consulta no desempenho do modelo.
3. Análise de Subespecificação: Evidência empírica de que a ambiguidade da consulta é um fator de dificuldade maior do que a capacidade do modelo em si.
4. Avaliação de Recuperação (Search): Investigação sobre se a busca na web pode compensar a falta de contexto na consulta.

4. Resultados Experimentais

O estudo avaliou 45 VLMs, incluindo modelos proprietários (GPT-5, Gemini 2.5 Pro), open-source (Qwen, InternVL, Gemma) e modelos especializados em coreano (VARCO, HyperCLOVA).

• Desempenho Geral: Mesmo os modelos mais avançados (GPT-5 e Gemini 2.5 Pro) obtiveram menos de 50% de precisão nas consultas originais (subespecificadas).
  • GPT-5: 48,0%
  • Gemini 2.5 Pro: 48,5%
• Efeito da Explicitação: A reescrita das consultas para torná-las explícitas resultou em melhorias drásticas, variando de 8 a 22 pontos percentuais.
  • Modelos menores se beneficiaram desproporcionalmente (ex: GPT-5 Nano saltou de 21,2% para 43,0%, um aumento de +21,7 pontos).
  • Isso sugere que modelos menores carecem da capacidade de inferir contexto implícito apenas a partir da imagem.
• Limitação da Busca na Web:
  • Consultas originais com busca na web ainda tiveram desempenho inferior a consultas explícitas sem busca.
  • Conclusão: Sistemas de recuperação atuais não conseguem compensar a subespecificação porque o modelo precisa primeiro entender a intenção do usuário para formular uma busca eficaz.
• Fator Cultural: Após a explicitação, a principal causa de erro remanescente foi o conhecimento cultural específico (ex: identificar sacos de areia de inverno coreanos ou interfaces de metrô de Seul), que representa cerca de 19% dos erros em coreano, contra apenas 2,7% em um piloto em inglês.

5. Significado e Conclusão

O trabalho desafia a premissa comum de que a dificuldade em benchmarks reflete apenas limitações de capacidade dos modelos. Os autores demonstram que:

1. A Subespecificação é o Gargalo: Uma grande parte da dificuldade dos VLMs no mundo real decorre da ambiguidade das consultas humanas, não da falta de inteligência do modelo.
2. Avaliação Enganosa: Benchmarks tradicionais superestimam a prontidão dos modelos para implantação real, pois não testam a habilidade de lidar com o "não dito".
3. Necessidade de Novas Estratégias: A simples adição de busca na web não resolve o problema; é necessário desenvolver mecanismos que ajudem os modelos a inferir intenções implícitas e lidar com conhecimento cultural local.
4. Viés Linguístico/Cultural: Modelos treinados predominantemente em dados em inglês têm dificuldades significativas com consultas coreanas subespecificadas, não apenas por falta de vocabulário, mas por falta de "grounding" cultural.

Em suma, o HAERAE-Vision revela que para os VLMs serem verdadeiramente úteis em cenários reais, eles devem evoluir de sistemas que respondem a perguntas claras para sistemas capazes de interpretar o contexto implícito e as nuances culturais das interações humanas.