💬 NLP

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

Este estudo revela que, embora pequenos modelos de visão-linguagem possuam um autoconhecimento interno preciso sobre seus erros sob degradação realista de imagem, eles falham em verbalizar essa incerteza, tornando a probabilidade de token interna um sinal superior para adiamento do que a confiança declarada, embora ambos os sinais se tornem não confiáveis sob condições severas de baixa luminosidade.

Autores originais: M M Asif Ferdous

Publicado 2026-07-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: M M Asif Ferdous

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma cidade movimentada com um pequeno robô guia muito inteligente. Este robô tem uma câmera para olhos e uma voz para falar. O trabalho dele é olhar para as coisas ao seu redor e dizer o que elas são. Mas tem um detalhe: a cidade é bagunçada. Às vezes o sol está forte demais, às vezes está um breu total, e às vezes a lente da sua câmera está suja ou tremendo. No mundo da inteligência artificial, essas imagens "bagunçadas" são chamadas de imagens degradadas.

Quando um robô como este fica confuso com uma imagem ruim, ele precisa saber quando dizer: "Eu não sei, pergunte a um humano", em vez de adivinhar o erro com confiança. Essa habilidade de saber quando não se tem certeza é chamada de incerteza. Existem duas maneiras de um robô mostrar essa incerteza. A primeira é a confiança verbalizada: o robô simplesmente diz em voz alta: "Estou 90% seguro!". A segunda é a confiança interna: um sinal secreto e silencioso dentro do cérebro do robô que mede o quão trêmula está a sua lógica, mesmo que ele não diga uma palavra. A maioria das pessoas assume que, se um robô diz que está confiante, ele provavelmente está. Mas e se o robô for apenas um mentiroo de mão cheia? Essa é a grande questão que este artigo faz.

A História do Sinal Silencioso

Neste estudo, pesquisadores submeteram dois pequenos robôs guias de código aberto (chamados Qwen2-VL e SmolVLM) a um teste rigoroso. Eles não mostraram apenas fotos limpas e perfeitas. Em vez disso, pegaram 100 fotos de comida e as arruinaram deliberadamente de seis maneiras diferentes: esmagando a qualidade como um arquivo JPEG, borrando-as com movimento, diminuindo a luz até ficarem quase escuras, adicionando um brilho cegante, inclinando a câmera ou encolhendo e esticando a imagem. Eles fizeram isso em três níveis de severidade para cada tipo de ruína.

Os robôs tiveram que adivinhar o que era a comida em cada foto arruinada. Então, os pesquisadores verificaram duas coisas:

O robô disse "Estou confiante!" ou "Não tenho certeza"? (O Sinal Verbalizado)
Qual era o escore secreto e interno do robô sobre a probabilidade de estar certo? (O Sinal Interno)

A Grande Surpresa: O Robô que Não Admite que Está Errado

Os resultados foram como assistir a um mágico que é péssimo no que faz, mas continua fazendo reverências e dizendo: "Isso foi perfeito!".

O Sinal Verbalizado (A Boca do Robô):
Quando questionados sobre seu nível de confiança, os robres foram incrivelmente teimosos. Não importava o quão terrível fosse a foto, não importava o quão borrada ou escura ela ficasse, eles continuavam dizendo que estavam cerca de 87% a 90% seguros. Mesmo quando a foto estava tão escura que o robô estava basicamente chutando aleatoriamente (acertando a resposta apenas 22% das vezes), ele ainda dizia confiantemente: "Estou 87% seguro!". Era como se o robô tivesse um botão de confiança quebrado, travado no "Alto". Na verdade, para um dos robôs, pedir que ele desse um número de confiança foi tão difícil que ele apenas se recusava a responder, dando apenas o nome da comida sem nenhum número.

O Sinal Interno (O Cérebro do Robô):
No entanto, quando os pesquisadores espiaram dentro do céreço do robô para ver seus "token probabilities" secretos (uma maneira sofisticada de medir o quão certa a matemática do próprio robô estava), descobriram algo totalmente diferente. O sinal interno do robô era, na verdade, muito honesto! Quando a foto estava clara, o escore interno era alto. Quando a foto estava borrada ou escura, o escore interno caía significativamente. Esse sinal secreto era tão bom em detectar erros que conseguia distinguir uma resposta certa de uma errada com 92% a 99% de precisão.

A Armadilha da "Baixa Luminosidade"

Houve um momento assustador na história, porém. Quando os pesquisadores deixaram as fotos extremamente escuras (o nível de "subexposição severa"), ambos os sinais falharam. A precisão dos robôs desabou (caindo de 99% para 22%) e até o sinal interno honesto parou de funcionar. Ele não conseguia mais distinguir uma resposta certa de uma errada. Era como se a escuridão fosse tão espessa que até o nevoeiro mental do robô se tornasse opaco.

O Que Isso Significa Para Você

Então, o que os pesquisadores aprenderam?

Não confie na boca do robô. Se você perguntar a um pequeno robô guia o quão seguro ele está, ele provavelmente mentirá e dirá que está muito seguro, mesmo quando estiver totalmente perdido. O artigo mostra que essa "confiança declarada" é inútil para saber quando parar e pedir ajuda a um humano.
Confie no cérebro do robô (na maior parte do tempo). A matemática interna secreta é muito melhor. Ela sabe quando o robô está confuso e pode sinalizar isso a um sistema de computador, permitindo que o sistema diga: "Ok, não tenho certeza, vamos pedir para um humano verificar isso".
Mas cuidado com a escuridão. Mesmo o sinal interno honesto falha quando as imagens estão escuras demais. Se você estiver usando esses robôs em um quarto escuro ou à noite, não pode confiar que o robô dirá que está falhando. Você precisa de uma "verificação de segurança" separada para garantir que a imagem não esteja escura demais antes mesmo do robô tentar olhar para ela.

Em resumo, pequenos robôs de IA sabem quando estão errados no fundo de seu código, mas eles simplesmente não admitem isso em voz alta. Eles são como um aluno que erra uma questão de prova, mas ainda levanta a mão e diz: "Tenho total certeza disso!". A única maneira de pegá-los é olhando para o rascunho secreto deles, não ouvindo o que dizem.

Resumo Técnico: Pequenos Modelos de Visão-Linguagem Sabem Quando Estão Errados, Mas Não Conseguem Dizer Isso

Declaração do Problema

À medida que os Modelos de Visão-Linguagem (VLMs) são cada vez mais implementados em hardware de consumo e dispositivos de borda (edge), eles encontram frequentemente imagens de entrada degradadas por condições do mundo real, como compressão, desfoque de movimento, iluminação precária e reflexos. Nesses ambientes restritos, a precisão bruta é insuficiente para uma implantação segura; um sistema requer um sinal de incerteza confiável para determinar quando deve recorrer a um humano em vez de fornecer uma resposta potencialmente incorreta.

Embora os VLMs generativos ofereçam duas rotas potenciais para a estimativa de incerteza — confiança verbalizada (o modelo declarando uma pontuação de confiança em linguagem natural) e confiança interna (a probabilidade média dos tokens gerados) — a relação entre esses sinais sob degradação de imagem realista não foi examinada sistematicamente para modelos pequenos de pesos abertos. Trabalhos anteriores sobre modelos proprietários não puderam acessar as probabilidades internas de tokens, deixando uma lacuna na compreensão de se os modelos pequenos possuem um autoconhecimento utilizável que sua saída de texto falha em expressar.

Metodologia

O estudo avalia dois VLMs pequenos de instrução com pesos abertos: Qwen2-VL-2B-Instruct e SmolVLM-Instruct. Ambos os modelos foram executados em fp16 em uma única GPU NVIDIA T4 usando decodificação gulosa (greedy decoding).

Configuração Experimental:

Dataset: Um subconjunto de 100 itens do conjunto de teste Food101, formatado como questões de múltipla escolha com quatro opções.
Degradações: Seis famílias de degradação fotográfica realistas foram aplicadas em três níveis de severidade cada:
1. Compressão JPEG
2. Desfoque de Movimento (Motion Blur)
3. Baixa Luz (redução de brilho + ruído)
4. Reflexo (amplificação de brilho)
5. Rotação
6. Reamostragem (downscale/upscale)
Total de Predições: 3.800 predições (1.900 por modelo através de 19 condições, incluindo a linha de base limpa).

Sinais de Confiança:

Confiança Verbalizada: Os modelos foram instruídos a gerar uma pontuação de confiança inteira $[0, 100]$ , normalizada para $[0, 1]$ .
Confiança Interna: Calculada como a probabilidade média atribuída a cada token emitido durante a geração do intervalo da resposta ( $c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$ ).

Métricas:
A métrica primária para avaliar a utilidade da incerteza foi o AUROC de Detecção de Erro (a probabilidade de uma resposta correta escolhida aleatoriamente receber uma pontuação de confiança maior do que uma resposta incorreta escolhida aleatoriamente). As métricas secundárias incluíram Precisão (Accuracy), Erro de Calibração Esperado (ECE) e escore de Brier.

Principais Resultados

1. Degradação da Precisão

Ambos os modelos demonstraram robustez à maioria das degradações (compressão, desfoque, reflexo, rotação, reamostragem), mantendo alta precisão. No entanto, condições de baixa luz severas causaram um colapso catastrófico no desempenho:

Qwen2-VL-2B: A precisão caiu de 0.99 (limpo) para 0.22 (baixa luz severa):
SmolVLM: A precisão caiu de 0.97 (limpo) para 0.42 (baixa luz severa).

2. A Confiança Verbalizada é Informativa

Qwen2-VL-2B: A confiança verbalizada permaneceu quase constante (média 0.87–0.90) em todas as condições, independentemente da precisão. Mesmo quando a precisão colapsou para 0.22, o modelo declarou uma confiança de 0.87. Consequentemente, a confiança verbalizada operou no nível do acaso ou próximo a ele (AUROC $\approx$ 0.50) na detecção de erros.
SmolVLM: A confiança verbalizada foi amplamente inalcançável. Através de três templates de prompt, apenas uma de cinco tentativas piloto produziu um valor de confiança analisável; o modelo tipicamente retornava apenas as respostas, independentemente da instrução para declarar confiança.

3. A Confiança Interna Detecta Erros

Em forte contraste com a saída verbalizada, a probabilidade interna de tokens forneceu um sinal forte para detecção de erro:

Q2-VL-2B: O AUROC interno variou de 0.92 a 0.99 em condições limpas e moderadamente degradadas, superando significativamente a confiança verbalizada.
SmolVLM: O AUROC interno ficou acima do acaso (0.54–0.92) na maioria das condições, embora o sinal fosse mais ruidoso e fraco que o do Qwen2-VL.

4. Falha Sob Baixa Luz Severa

Ambos os sinais de confiança falharam precisamente quando eram mais necessários. Sob superexposição severa (onde a precisão colapsou), o AUROC interno caiu para níveis de acaso (0.62 para Qwen2-VL, 0.54 para SmolVLM). Embora a confiança interna fosse ligeiramente mais responsiva às quedas de precisão do que a verbalizada, nenhum dos sinais conseguiu detectar o modo de falha catastrófica de forma confiável.

5. Métricas de Calibração vs. Utilidade Diagnóstica

O Erro de Calibração Esperado (ECE) foi baixo para ambos os sinais na maioria das condições, criando uma impressão enganosa de confiabilidade. O estudo demonstra que o ECE é menos diagnóstico neste contexto porque um sinal de confiança quase constante pode parecer bem calibrado se o modelo for geralmente preciso, mesmo que o sinal não carregue informação sobre erros específicos. O AUROC de detecção de erro é identificado como a métrica superior para avaliar a utilidade de adiamento (deferral).

Significância e Alegações

O artigo conclui que pequenos VLMs codificam um autoconhecimento utilizável que sua saída verbalizada não expressa.

Para Implantação: Praticantes não devem confiar na confiança declarada para adiamento em pequenos VLMs de pesos abertos, pois ela é ou está no nível do acaso ou é inalcançável. Em vez disso, a probabilidade interna de tokens deve ser usada como o sinal de adiamento, pois é gratuita para computar, não requer retreinamento e fornece detecção de erro utilizável sob degradação leve a moderada.
Limitação de Segurança: Nenhum dos sinais deve ser confiado sob condições de baixa luz severa, pois ambos falham em rastrear o colapso na precisão. Implantações que enfrentam tais condições exigem verificações de qualidade de imagem upstream explícitas, em vez de limiares de confiança downstream.
Contribuição Metodológica: O estudo destaca que a confiança verbalizada e a probabilidade interna são quantidades distintas que divergem drasticamente sob degradação. Argumenta-se que o trabalho futuro sobre confiança verbalizada em pequenos VLMs deve priorizar o AUROC de detecção de erro sobre a medida de erro de calibração.

Os autores observam que suas descobertas são específicas para a classe de ~2B de parâmetros e que a lacuna entre a confiança verbalizada e a interna em escalas maiores permanece uma questão aberta. Além disso, o estudo é limitado a um único dataset (Food101) e degradações sintéticas que aproximam artefatos do mundo real.