VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images

O artigo apresenta o VB, um novo benchmark que avalia a capacidade de modelos de visão e linguagem de determinar a visibilidade em imagens e abster-se quando necessário, utilizando edições mínimas controladas e métricas específicas para medir precisão, robustez e raciocínio de perspectiva.

O essencial

Imagine que você tem um amigo muito inteligente, mas que às vezes é muito confiante em suas respostas, mesmo quando está chutando. Se você perguntar a ele: "O que tem dentro daquela caixa fechada?", ele pode inventar uma resposta detalhada, mesmo que seja impossível saber a resposta apenas olhando para a caixa.

No mundo da Inteligência Artificial, isso é chamado de "alucinação". O problema é que, em situações reais (como carros autônomos ou diagnósticos médicos), esse amigo confiante pode ser perigoso. É melhor ele dizer "Não sei" do que inventar algo errado.

É aqui que entra o VB (Visibility Benchmark), o "teste de honestidade visual" descrito neste artigo.

O Que é o VB? (A Analogia do Detetive Cético)

Pense no VB como um treino para detetives. O objetivo não é ver o quanto o modelo consegue "adivinhar" coisas legais, mas sim testar se ele sabe o que ele realmente pode ver em uma foto.

O teste funciona assim:

1. A Foto: Você mostra uma foto para o modelo.
2. A Pergunta: Você faz uma pergunta simples de "Sim" ou "Não" sobre algo visível (ex: "Dá para ler o número da placa?").
3. A Regra de Ouro: O modelo tem três opções:
   • Sim (Visível): "Sim, eu vejo claramente."
   • Não (Não Visível): "Não, está borrado/oculto."
   • Não Sei (Abstém-se): "Olha, a foto não é boa o suficiente para eu ter certeza. Melhor eu não chutar."

Se o modelo chuta errado quando deveria ter dito "Não sei", ele perde pontos. Se ele diz "Não sei" quando a resposta era óbvia, ele também perde, mas de um jeito diferente. O VB quer modelos que sejam precisos e humildes.

Como o Teste é Feito? (O Jogo do "E Se...")

Os criadores do teste são mestres em criar armadilhas sutis. Eles usam uma técnica chamada Edição Mínima.

Imagine que você tem uma foto de um carro estacionado.

• Cenário A: A placa está escondida por uma árvore. O modelo deve dizer "Não dá para ver".
• Cenário B (Edição de Imagem): Eles movem a árvore na foto. Agora a placa está visível. O modelo deve mudar a resposta para "Sim, dá para ver".
• Cenário C (Edição de Texto): Eles mudam a pergunta para "A placa não está visível?". O modelo deve entender a lógica e mudar a resposta.

O teste verifica se o modelo é sensível às mudanças. Se você muda a foto (tirando o obstáculo), o modelo deve mudar a resposta. Se ele não mudar, é porque ele não está realmente "vendo", apenas memorizando padrões.

As 100 Famílias de Perguntas

O teste é organizado em 100 "famílias" de situações, cobrindo diferentes tipos de problemas visuais:

• Oclusão: Algo está escondido atrás de outra coisa?
• Fora do Quadro: O objeto está fora da foto?
• Luz e Distância: Está muito escuro ou muito longe para ler?
• Perspectiva de Segunda Ordem: "O Bob sabe que a Alice não consegue ver o cartão?" (Isso exige que o modelo entenda o que outras pessoas na foto conseguem ver, não apenas o que a câmera vê).

Quem Passou no Teste? (Os Resultados)

O artigo testou 9 modelos de IA, desde os mais famosos e caros (fechados) até os mais acessíveis (código aberto).

• Os Líderes (Os "Detetives de Elite"): O GPT-4o e o Gemini 3.1 Pro empataram no topo. Eles são muito bons em dizer "Não sei" quando necessário e em entender mudanças sutis na foto.
• Os "Velhos" vs. Os "Novos": Curiosamente, o GPT-4o (uma versão anterior) ainda é mais esperto nesse teste específico do que modelos mais novos e caros de outras empresas.
• A Surpresa (Os "Estudantes Talentosos"): O melhor modelo de código aberto (Gemma 3 12B) conseguiu superar um dos modelos antigos e caros. Isso mostra que a tecnologia está ficando tão boa que modelos menores e gratuitos estão começando a competir com os gigantes.

O Grande Problema: Texto vs. Imagem

Uma descoberta interessante foi que a maioria dos modelos é melhor em entender mudanças no texto do que mudanças na imagem.

• Se você mudar a pergunta de "Está visível?" para "Não está visível?", eles geralmente acertam.
• Mas, se você mudar a foto (tirar um obstáculo), muitos deles continuam dizendo que não dá para ver. É como se eles fossem ótimos em ler, mas ainda um pouco "cegos" para detalhes visuais sutis.

Conclusão: Por Que Isso Importa?

Este teste (VB) é como um exame de direção para a Inteligência Artificial. Não basta saber dirigir rápido (ter alta precisão); você precisa saber quando parar o carro quando a estrada está escura ou nebulosa (saber quando se abster).

Para o futuro, isso significa que, à medida que essas IAs forem usadas em hospitais, carros e casas, elas estarão ficando mais seguras porque aprenderam a dizer "Não tenho certeza" em vez de inventar fatos. E o melhor de tudo: modelos gratuitos e de código aberto estão aprendendo essa lição tão bem quanto os modelos mais caros.

Resumo técnico

Resumo Técnico: VB (Visibility Benchmark)

1. Problema e Motivação

Os modelos de linguagem visual (VLMs) estão sendo cada vez mais implantados em cenários críticos (como direção autônoma, tecnologias assistivas para cegos e diagnóstico médico), onde julgamentos visuais incorretos podem ter consequências reais. Um problema central é a alucinação ou a incapacidade de distinguir entre o que está "presente" na cena e o que é "visível" na foto.

Muitas perguntas sobre imagens são intrinsecamente sem resposta (unanswerable) porque a evidência relevante está oculta, fora do quadro, muito escura ou pequena. Modelos que "adivinham" quando a evidência visual é insuficiente são perigosos. O artigo introduz o VB, um benchmark projetado para testar se os modelos podem:

1. Verificar se uma afirmação de visibilidade é suportada pela evidência visual.
2. Abster-se (reconhecer a incerteza) quando um observador humano não poderia responder com confiança.
3. Manter a robustez frente a edições mínimas que alteram a evidência visual.

2. Metodologia e Design do Benchmark

O VB é construído sobre uma estrutura controlada e rigorosa para isolar habilidades específicas de raciocínio.

• Definição da Tarefa: Cada item consiste em uma foto e uma afirmação curta (sim/não). O modelo deve classificar como:
  • VISIBLY_TRUE: A evidência visual suporta claramente a afirmação.
  • VISIBLY_FALSE: A evidência visual contradiz claramente a afirmação.
  • ABSTAIN: O modelo não pode decidir com confiança (equivalente a um humano não conseguindo responder).
• Saída Estruturada: O modelo deve fornecer o rótulo, um código de motivo (ex: oclusão, fora do quadro, iluminação) e uma pontuação de confiança (0.0 a 1.0).
• Estrutura Familiar 2x2: Os itens são organizados em 100 famílias. Cada família cruza uma edição mínima de imagem com uma edição mínima de texto, gerando quatro células:
  1. BASE: Imagem original + Pergunta original (Rótulo dourado: VISIBLY_FALSE).
  2. TEXT_FLIP: Imagem original + Pergunta editada (inverte a afirmação) (Rótulo: VISIBLY_TRUE).
  3. IMAGE_FLIP: Imagem editada (mudança atômica na cena) + Pergunta original (Rótulo: VISIBLY_TRUE).
  4. DOUBLE_FLIP: Imagem editada + Pergunta editada (Rótulo: VISIBLY_FALSE, usado apenas para diagnóstico).
• Categorias de Visibilidade: O benchmark cobre 8 categorias principais, incluindo direção do olhar, oclusão, fora do quadro, limitações de iluminação/distância, propriedades não visíveis inerentemente e julgamentos de segunda ordem (teoria da mente).
• Conjunto de Dados: 100 famílias (300 itens de avaliação principais por modelo), coletados em ambientes universitários e urbanos, com metadados detalhados e privacidade preservada (rostos obscurecidos ou ausentes).

3. Métricas de Avaliação

O VB propõe um conjunto de métricas focadas em segurança e calibração:

1. CAA (Confidence-Aware Accuracy with Abstention): Mede a precisão ponderada pela confiança. Acertos com alta confiança ganham pontuação total; erros ganham zero; abstenções ganham uma pontuação parcial fixa (α=0.25). Isso incentiva o modelo a não chutar quando inseguro.
2. MEFR (Minimal-Edit Flip Rate): Mede a robustez. Se o modelo acertou a célula BASE, ele deve inverter sua resposta corretamente quando apenas a imagem ou apenas o texto for editado.
3. SelRank (Confidence-Ranked Selective Prediction): Avalia se as respostas com maior confiança do modelo são, de fato, mais corretas (curva risco-cobertura).
4. ToMAcc (Theory of Mind Accuracy): Precisão específica no subconjunto de julgamentos de segunda ordem (o que um agente sabe sobre a visão de outro).
5. Score Composto: Uma média ponderada (70% CAA, 15% MEFR, 10% SelRank, 5% ToMAcc) focada na segurança de implantação.

4. Resultados Principais

O benchmark avaliou 9 modelos (3 fechados de ponta, 3 fechados de geração anterior e 3 open-source de 8B-12B):

• Desempenho Geral:
  • GPT-4o (0.728) e Gemini 3.1 Pro (0.727) empataram como os melhores modelos.
  • Gemini 2.5 Pro (0.678) ficou em terceiro.
  • O melhor modelo Open-Source, Gemma 3 12B (0.505), superou um sistema fechado de geração anterior (Claude 3.7 Sonnet, 0.476), indicando que modelos open-source de 8B-12B estão começando a rivalizar com sistemas proprietários antigos em raciocínio de visibilidade.
• Assimetria Texto vs. Imagem:
  • Para 6 dos 9 modelos, a robustez a edições de texto (negar a pergunta) foi maior do que a robustez a edições de imagem (mudanças visuais sutis). Isso sugere que os modelos são melhores em lógica textual do que em detectar mudanças visuais mínimas.
• Calibração e Abstenção:
  • Houve grande variação na calibração. O Gemini 3.1 Pro teve a melhor calibração (SelRank 0.394), enquanto o Gemini 2.5 Pro teve calibração anti-informativa (SelRank negativo), ou seja, suas respostas menos confiantes tendiam a ser mais corretas.
  • O GPT-5 foi o mais cauteloso, abstendo-se em 78 de 300 itens, o que reduziu sua pontuação composta apesar de alta precisão nas respostas dadas.
• Raciocínio de Segunda Ordem:
  • Modelos fechados de ponta (GPT-4o: 0.952) superaram significativamente os modelos open-source (Gemma 3: 0.714) em tarefas que exigem inferir o que uma pessoa vê em relação a outra.

5. Contribuições e Significância

• Novo Padrão de Avaliação: O VB é o primeiro benchmark a testar sistematicamente a capacidade de um modelo de abster-se de responder quando a evidência visual é insuficiente, em vez de forçar uma resposta.
• Validação por Edição Mínima: Ao usar o design 2x2, o VB verifica se o modelo muda sua resposta apenas quando a evidência subjacente muda, eliminando viéses de memorização ou raciocínio baseado apenas em texto.
• Segurança em IA: O benchmark destaca que a precisão bruta não é suficiente para aplicações seguras; a calibração da confiança e a capacidade de reconhecer limites visuais são críticas.
• Lacuna Open vs. Closed: Embora exista uma lacuna significativa entre os modelos de ponta fechados e os open-source atuais, a performance do Gemma 3 12B sugere que o raciocínio de visibilidade está se tornando acessível em modelos menores, embora o raciocínio de perspectiva complexa (segunda ordem) ainda seja um domínio dominado pelos modelos maiores.

Conclusão: O VB estabelece uma base rigorosa para medir não apenas o que os modelos de visão podem "ver", mas o que eles sabem que não podem ver, um passo essencial para a confiabilidade de sistemas de IA no mundo real. O código e os dados estão disponíveis publicamente.