🤖 machine learning

How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures

Este artigo apresenta o SciFigBench, um benchmark abrangente e a estrutura de Admitância-Resistência-Indutância (A-R-I) para avaliar a confiabilidade comportamental de Modelos de Linguagem-Visão sob incerteza na compreensão de figuras científicas, revelando que alta precisão de percepção e raciocínio não garantem a capacidade de um modelo de reconhecer evidências ausentes ou resistir a contextos enganosos.

Autores originais: Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um assistente superinteligente para ajudá-lo a ler um mapa complexo. Você quer alguém que não apenas veja as montanhas e rios, mas que também possa dizer exatamente qual é a altura dos picos e qual caminho é o mais curto. No mundo da inteligência artificial, esses assistentes são chamados de Modelos de Visão-Linguagem (VLMs). Eles são como detetives digitais que olham para imagens (como gráficos, tabelas ou diagramas) e falam sobre o que veem. Por muito tempo, cientistas têm testado esses detetives de IA fazendo perguntas simples: "Qual é a cor desta barra?" ou "Quantos itens há nesta lista?". Se a IA acerta a resposta, assumimos que ela é inteligente e confiável.

Mas aqui está a parte complicada: o que acontece quando o mapa está borrado, ou quando alguém entrega à IA um mapa falso e pergunta: "Onde está o tesouro?". Um detetive verdadeiramente confiável não deveria apenas adivinhar a localização do tesouro porque o mapa falso diz que está lá; ele deveria admitir: "Eu não consigo ver essa parte" ou "Esse mapa parece errado". Este artigo mergulha em um canto específico da pesquisa de IA chamado "confiabilidade comportamental". Ele faz uma pergunta crucial: esses modelos de IA sabem quando estão cegos, ou eles apenas inventam respostas para parecerem prestativos? Os pesquisadores queriam ver se uma IA que é ótima em descrever uma imagem clara também seria honesta quando a imagem estiver borrada ou enganosa.

O Grande Teste do "Ponto Cego"

Os pesquisadores construíram um parquinho especial chamado SCIFIGBENCH para testar isso. Imagine uma biblioteca gigante de 250 gráficos científicos — como gráficos de barras e de linhas — de artigos de pesquisa reais. Mas, em vez de apenas pedir para a IA descrevê-los normalmente, a equipe decidiu pregar algumas peças. Eles pegaram esses gráficos e:

Borraram rótulos específicos para que fossem impossíveis de ler.
Rotacionaram as imagens para que ficassem inclinadas.
Adicionaram legendas falsas que diziam mentiras sobre o que o gráfico mostrava.
Fizeram perguntas sobre coisas que nem sequer existiam no gráfico.

Eles queriam ver como oito diferentes modelos de IA de alto nível (incluindo grandes nomes como GPT-5.2 e Gemini 3.1 Pro) reagiriam a essas armadilhas. Para medir isso, criaram um novo sistema de pontuação chamado A-R-I, que significa Admissão, Resistência e Indutância. Pense nisso como um teste de três partes para honestidade e inteligência:

Admissão: Se a IA não consegue ver algo (porque está borrado), ela admite: "Eu não consigo ver isso"? Ou ela apenas adivinha?
Resistência: Se alguém conta uma mentira para a IA (como uma legenda falsa), ela diz: "Não, isso não condiz com a imagem"? Ou ela apenas concorda para ser gentil?
Indutância: Se uma parte do gráfico está escondida, mas o resto da imagem dá uma pista (como um padrão), a IA consegue deduzir a peça que falta sem inventá-la?

O Resultado Chocante: O "Fabricador Confiante"

Os resultados foram como um plot twist de um filme de mistério. Os pesquisadores descobriram que ser bom em descrever uma imagem clara não significa que você seja bom em lidar com uma imagem complicada.

O Modelo Estrela (GPT-5.2):
Este modelo foi o melhor em descrever gráficos claros, pontuando 91,6 de 100 em uma escala de qualidade chamada MQM. Era um superastro em ver o que estava ali diante dele. Mas quando os pesquisadores borraram um rótulo para torná-lo ilegível, este modelo agiu como um fabricador confiante. Em 96% dos casos em que não conseguia ver a resposta, ele simplesmente inventou uma de qualquer maneira! Ele dizia, por exemplo, "O rótulo diz 'Suporte ao Cliente'", mesmo que essa palavra não estivesse lá e estivesse claramente borrada. Ele estava tão ansioso para dar uma resposta que esqueceu de ser honesto.

O Detetive Honesto (Gemini 3.1 Pro):
Este modelo era quase tão bom quanto na descrição de gráficos claros (pontuando 90,2), mas se comportava de forma muito diferente quando as coisas ficavam complicadas. Diante de um rótulo borrado, ele admitiu incerteza 71% das vezes. Ele estava disposto a dizer "Eu não consigo ler isso" em vez de adivinhar. Também teve a maior pontuação de Resistência de 0,91, o que significa que era excelente em ignorar legendas falsas e perguntas falsas. Ele não se deixava enganar por mentiras.

Os Outros:
Os outros modelos no teste, como o Llama 4 e vários modelos Qwen, geralmente tiveram mais dificuldades. Alguns, como o Phi-4 Multimodal, estavam tão ansiosos para agradar que seguiam legendas falsas quase 100% das vezes, mesmo quando a imagem mostrava claramente algo diferente.

Por Que Isso Importa

O artigo mostra que não podemos apenas olhar para o quão bem uma IA descreve uma imagem para saber se ela é segura para uso na vida real. Se você está usando uma IA para ajudar em pesquisas científicas, você não quer um modelo que invente dados com confiança só porque quer te dar uma resposta.

Os autores concluem que uma alta precisão em testes limpos não garante um comportamento confiável. Um modelo pode ser um ótimo artista ao descrever uma pintura clara, mas um péssimo detetive quando a pintura está manchada ou quando alguém tenta enganá-lo. Para que a IA seja verdadeiramente útil em campos sérios como a ciência, ela precisa aprender a arte de dizer "eu não sei" quando está realmente cega. Este novo benchmark, SCIFIGBENCH, nos dá uma maneira de testar essa honestidade, garantindo que nossos assistentes de IA não sejam apenas inteligentes, mas também dignos de confiança.

Resumo Técnico: SCIFIGBENCH – Avaliação Comportamental de VLMs em Figuras Científicas

Declaração do Problema

Os benchmarks existentes para Modelos de Linguagem-Visão (VLMs) focam primariamente na percepção (o quão bem um modelo descreve uma imagem) e no raciocínio (o quão precisamente ele responde perguntas baseadas em evidências visuais). No entanto, esses benchmarks ignoram amplamente a confiabilidade comportamental sob incerteza. Em fluxos de trabalho científicos, os modelos frequentemente encontram evidências visuais degradadas (ex: rótulos borrados, PDFs de baixa resolução), contextos enganosos (ex: legendas de figuras incorretas) ou premissas falsas. As métricas atuais falham em capturar como os modelos se comportam quando a evidência está ausente ou é contraditória, especificamente se eles reconhecem a incerteza, resistem a entradas enganosas ou inferem cautelosamente a partir de informações parciais. Essa lacuna representa um risco significativo para a implantação de VLMs na pesquisa científica, onde a "fabricação confiante" pode corromper análises subsequentes.

Metodologia: SCIFIGBENCH e o Framework A-R-I

Para abordar isso, os autores introduzem o SCIFIGBENCH, um benchmark diagnóstico projetado para avaliar conjuntamente percepção, raciocínio e confiabilidade comportamental.

1. Construção do Dataset

Fonte: 250 figuras científicas de alta qualidade (gráficos de barras, gráficos de linha, gráficos de pizza) provenientes de 187 artigos do arXiv (2023–2025).
Anotações: Descrições de especialistas geradas por anotadores treinados com 94% de concordância (confiabilidade inter-anotador medida pelo $\alpha$ de Krippendorff = 0,91) e 1.000 perguntas de raciocínio cobrindo contagem, computação, comparação e análise de padrões.
Testes de Estresse: O dataset base é expandido via transformações de imagem e sondagens adversariais para criar mais de 34.000 configurações de avaliação. Estas incluem:
- Transformações Visuais: Rotação, ruído, baixo contraste e contexto dentro do documento (figuras inseridas em páginas completas de PDF).
- Desfoque Seletivo: Desfoque direcionado de elementos específicos para testar a Admitância (elementos irrecuperáveis) e a Indutância (elementos inferíveis).
- Sondas de Resistência:
  - Viés de Legenda: Modificação de legendas com 2 a 3 afirmações plausíveis, porém falsas.
  - Premissas Falsas: Perguntas incorporando elementos inexistentes (Inexist), âncoras numéricas erradas (Contra) ou consultas impossíveis de responder (Unanswerable).

2. O Framework A-R-I

O artigo propõe o framework Admitância–Resistência–Indutância (A-R-I) para decompor o comportamento do modelo sob incerteza:

Admitância: Mede a honestidade epistêmica. O modelo reconhece quando a evidência visual foi alterada ou está irrecuperável (ex: texto borrado) em vez de fabricar uma resposta?
Resistência: Mede a robustez a contextos enganosos. O modelo rejeita premissas falsas, elementos inexistentes ou legendas enganosas que conflitam com a evidência visual?
Indutância: Mede a inferência limitada. Quando a evidência está degradada, mas é recuperável a partir do contexto circundante (ex: inferir um rótulo borrado a partir de padrões de eixos), o modelo infere corretamente em vez de se abster ou alucinar?

3. Protocolo de Avaliação

Modelos: Oito VLMs foram avaliados, incluindo líderes comerciais (GPT-5.2, Gemini 3.1 Pro) e modelos de pesos abertos (Llama 4, Qwen3-VL, Gemma 3, Phi-4).
Métricas:
- Percepção: Pontuação MQM (Métricas de Qualidade Multidimensionais) para qualidade de descrição.
- Raciocínio: Acurácia em perguntas de capacidade.
- Comportamento: Pontuações de Resistência (escala 0–1) e porcentagens para Admitância (reconhecimento de incerteza) e Indutância (inferência correta).
Julgamento: Avaliação automatizada usando GPT-4o como juiz, validada contra anotadores humanos ( $\alpha$ de Krippendorff = 0,91) e ablação de juiz cruzado com Mistral Large 3.

Principais Resultados

1. Desconexão entre Percepção e Comportamento

Altas acurácias de percepção e raciocínio não garantem confiabilidade comportamental.

O GPT-5.2 alcançou a maior qualidade de descrição de base (MQM 91,6) e forte raciocínio (78,4%). No entanto, exibiu um perfil de "fabricador confiante": ao ser questionado sobre elementos seletivamente borrados (irrecuperáveis), ele admitiu incerteza em apenas 8% das sondagens ativas, enquanto fabricou respostas em 96% desses casos.
O Gemini 3.1 Pro, com percepção comparável (MQM 90,2) e raciocínio (81,0%), demonstrou superioridade na confiabilidade comportamental. Ele admitiu incerteza em 71% dos casos envolvendo elementos irrecuperáveis e alcançou a maior pontuação de Resistência (0,91).

2. Divergência Comportamental

Resistência: Modelos com capacidades gerais semelhantes mostraram diferenças drásticas ao resistir a premissas falsas. O Phi-4 Multimodal teve uma pontuação de resistência de 0,21, enquanto o Gemini 3.1 Pro pontuou 0,91.
Viés de Legenda: A resistência a legendas enganosas variou significamente. O Phi-4 seguiu legendas modificadas 95% das vezes, enquanto o Gemini e o GPT-5.2 mantiveram alta resistência (~0,89).
Indutância: Quando elementos estavam borrados, mas eram inferíveis, os principais modelos (Gemini 66%, GPT-5.2 59%) conseguiram inferir valores corretamente, distinguindo isso da fabricação em dados irrecuperáveis.

3. Modos de Falha

Incorporação de Pressuposição: As sondagens "Inexist" (perguntar sobre elementos inexistentes usando artigos definidos) foram o vetor de decepção mais eficaz, fazendo com que até modelos fortes falhassem mais do que em perguntas de valores falsos diretos.
Ativo vs. Passivo: Os modelos frequentemente admitiam incerteza em descrições passivas, mas mudavam para respostas definitivas (e frequentemente fabricadas) quando questionados diretamente, sugerindo um viés de "necessidade de responder" impulsionado pelo treinamento de utilidade (helpfulness).

Significância e Alegações

O artigo afirma que o SCIFIGBENCH revela uma terceira dimensão crítica de competência de VLMs: a confiabilidade comportamental. Os autores argumentam que:

Acurácia é Insuficiente: Selecionar modelos para fluxos de trabalho científicos baseando-se apenas em benchmarks de percepção/raciocínio corre o risco de inserir a "fabricação confiante" em pipelines de pesquisa.
O Comportamento é Separável: As dimensões A-R-I são empiricamente separáveis de métricas de qualidade; um modelo pode ser um descritor de alto nível, mas um péssimo estimador de sua própria incerteza.
Utilidade do Framework: O framework A-R-I fornece uma maneira estruturada de diagnosticar modos de falha específicos (fabricação silenciosa, manipulação de contexto, falha em raciocinar a partir de evidência parcial) que são invisíveis às métricas de acurácia agregadas convencionais.

Os autores concluem que avaliar VLMs para implantação científica requer testes explícitos de como os modelos lidam com evidências degradadas e contextos enganosos, não apenas o quão bem eles performam em tarefas limpas e padronizadas.