Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated

Resumo Técnico: Avaliação de Confiabilidade e Negociação para Benchmarking de VLMs de Percepção Urbana

Problema
Os modelos de visão-linguagem (VLMs) são cada vez mais implantados para gerar descrições estruturadas de imagens ao nível da rua para tarefas de governança urbana, como auditoria de paisagens urbanas e consulta pública. Essas tarefas frequentemente exigem a combinação de atributos físicos observáveis com categorias de avaliação subjetiva (ex: conforto, segurança, inclusividade). Um problema crítico de avaliação surge porque a "verdade fundamental" (ground truth) para essas avaliações não é um rótulo estável, mas uma distribuição de julgamentos humanos caracterizada por discordância, abstenção e pluralidade.

As práticas atuais de benchmarking frequentemente colapsam esses julgamentos pluralistas em um único rótulo, tratando a discordância como erro de anotação. Essa abordagem obscurece a incerteza sistemática e torna a precisão do modelo contingente à população específica de rotuladores e à semântica da abstenção. O artigo argumenta que, para domínios onde os resultados dos modelos informam decisões institucionais, o benchmarking deve tratar a discordância e a abstenção como sinais informativos, em vez de ruído, e deve tratar os espaços de rótulos como artefatos negociáveis sujeitos a revisão pelas comunidades afetadas.

Metodologia
O artigo fundamenta seu argumento em um novo benchmark empírico e em um protocolo de avaliação determinístico zero-shot.

• Conjunto de Dados: O benchmark consiste em 100 cenas ao nível da rua de Montreal, organizadas em dez painéis. O conjunto de dados é equilibrado entre 50 renderizações sintéticas fotorrealistas e 50 fotografias.
• Anotação: Doze participantes de sete organizações comunitárias anotaram as imagens em 30 dimensões. Essas dimensões abrangem configurações objetivas (ex: vegetação, forma construída) e avaliações subjetivas (ex: impressão geral, segurança).
  • Protocolo: As anotações foram coletadas em francês. O estudo distingue explicitamente entre "ausência observada" (ex: "Sem árvores") e "abstenção" (ex: "Não aplicável" ou "Não consegue julgar").
  • Consenso: Foi aplicada uma mapeamento determinístico de francês para inglês. Para dimensões de múltiplos rótulos, um conjunto de consenso rígido foi formado retendo as opções selecionadas por pelo menos 50% dos anotadores. Para dimensões de escolha única, utilizou-se o voto majoritário, com empates exatos sinalizados como "incerto" e excluídos dos cálculos de precisão.
• Modelos: Sete VLMs foram avaliados em um cenário zero-shot sem ajuste fino específico para a tarefa: claude-sonnet, openai-o4-mini, gpt-4.1, gemini-2.5-pro, grok-2-vision, qwen2.5-vl e llama-4-maverick.
• Métricas de Avaliação:
  • Alinhamento do Modelo: Precisão para itens de escolha única e índice de Jaccard para itens de múltiplos rótulos contra o consenso humano.
  • Confiabilidade Humana: A confiabilidade inter-anotador foi computada por dimensão usando o $\alpha$ de Krippendorff (distância nominal).
  • Análise: O estudo analisou a correlação entre a confiabilidade humana e o alinhamento do modelo, comparou o desempenho em dimensões observáveis versus de avaliação e examinou desalinhamentos distributivos nas taxas de abstenção.

Resultos Principais

1. Correlação com a Confiabilidade: Existe uma covariância positiva entre a confiabilidade inter-anotador humana e o alinhamento do modelo. Dimensões com maior concordância humana tendem a gerar maior concordância do modelo. Dimensões com baixa confiabilidade humana frequentemente apresentam alta variância no desempenho do modelo, sugerindo que as pontuações do modelo nessas dimensões podem refletir vieses (priors) do modelo em vez de evidência visual recuperável.
2. Observável vs. Avaliação: Os modelos geralmente alcançam pontuações macro superiores em dimensões próximas a atributos observáveis (ex: estruturas físicas) em comparação com dimensões de avaliação (ex: "Impressão Geral").
3. Desalinhamento Distributivo: Para a dimensão "Impressão Geral", modelos e anotadores exibem desalinhamentos distributivos significativos. Especificamente, os modelos selecionam "Não aplicável" em taxas mais altas do que os anotadores humanos, enquanto os anotadores usam mais frequentemente "Não consegue julgar". Isso indica uma divergência na forma como modelos e humanos interpretam a incerteza e a semântica da abstenção.
4. Efeitos de Fonte: Os modelos alcançaram maior concordância com o consenso humano em fotografias do que em renderizações sintéticas, destacando um deslocamento de domínio relacionado a artefatos de geração, textura e iluminação.

Principais Contribuições

• Benchmarking Consciente da Confiabilidade: O artigo propõe um framework onde os relatórios de benchmark devem incluir a confiabilidade inter-anotador ao lado das pontuações do modelo. Isso permite que as partes interessadas distingam entre falha do modelo e instabilidade inerente ao conceito alvo.
• Benchmarking Negociado: Introduz o conceito de benchmarks como "artefatos negociados". Em vez de tratar os espaços de rótulos como fixos, o artigo defende procedimentos onde as comunidades afetadas podem contestar e revisar definições, regras de pontuação e políticas de abstenção.
• Âncora Empírica: Fornece um conjunto de dados concreto, anotado pela comunidade, e um protocolo de avaliação que torna a discordância e a abstenção observáveis, servindo como um campo de teste para essas reivindicações metodológicas.
• Padrões de Divulgação: O artigo descreve um conjunto de divulgação (Tabela 1) para criadores de benchmark, incluindo especificações de rótulos, detalhes de coleta de julgamento, relatórios de confiabilidade e registros de revisão, para tornar as suposições visíveis.

Significância e Alegações
O artigo afirma que, para VLMs usados na governança urbana, tratar alvos de avaliação como verdades fundamentais estáveis é uma falha metodológica que pode levar a conclusões enganosas sobre o progresso do modelo e o risco de implantação. Ao tratar a discordância e a abstenção como resultados em vez de erros, a abordagem proposta torna a incerteza visível.

A significância reside na mudança do foco de maximizar uma única pontuação de precisão para entender as condições sob as quais ocorre o alinhamento. Os autores argumentam que o benchmarking consciente da confiabilidade e negociado não apenas melhora as métricas de avaliação, mas serve como um mecanismo de governança. Ele permite a revisão de categorias contestadas e garante que os resultados dos modelos usados para decisões institucionais permaneçam abertos à contestação e à prestação de contas. O artigo conclui que a qualidade do benchmark para alvos de avaliação depende tanto de suposições transparentes e mecanismos de revisão quanto do design estatístico.