🤖 machine learning

TRAPSBench: Vision-Language Models Encode but Fail to Express Epistemic Restraint

Este artigo introduz o TRAPSBench e a métrica PECS para demonstrar que, embora os Modelos de Visão-Linguagem possuam a capacidade interna de detectar quando a evidência visual é insuficiente para uma decisão, eles falham consistentemente em expressar essa contenção epistêmica, revelando um gargalo crítico em sua geração de saída, em vez de sua percepção.

Autores originais: Fnu Pramono, John Cai, Sourabh Kulkarni

Publicado 2026-08-14

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fnu Pramono, John Cai, Sourabh Kulkarni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a jogar bilhar. Você mostra a ele um vídeo das bolas rolando e pergunta: "Em qual caçapa a bola oito vai cair?" Se o vídeo estiver claro, o robô deve calcular a física e lhe dar a resposta. Mas e se você cobrir a mesa com uma lona opaca gigante no meio do vídeo, ou se as bolas estiverem quicando tão loucamente que ninguém poderia prever onde elas vão parar? Um robô verdadeiramente inteligente não deveria apenas adivinhar; ele deveria levantar a mão e dizer: "Não vejo o suficiente para saber". Essa habilidade de saber o que você não sabe é chamada de restrição epistêmica. É a diferença entre um mentiroso confiante e um especialista cauteloso. No mundo da Inteligência Artificial, especificamente nos Modelos de Visão-Linguagem (VLMs) — computadores que podem ver vídeos e falar sobre eles — os pesquisadores têm se perguntado: esses modelos realmente sabem quando estão no escuro, ou eles apenas fingem enxergar através das paredes?

Este artigo, intitulado TRAPSBench, mergulha exatamente nessa questão. Os pesquisadores construíram um jogo de vídeo especial para IA chamado TRAPSBench, que apresenta 1.404 pares de cenários de física. Em cada par, um vídeo é um "controle", onde o resultado é claro e fácil de prever, e o outro é um "vazio", onde a resposta é impossível de saber devido a uma parede oculta, um caos ou uma pergunta que não faz sentido. Eles então testaram 16 modelos de IA diferentes para ver se eles admitiriam a derrota quando a resposta estivesse oculta.

Aqui está a reviravolta: os modelos são, na verdade, muito bons em saber que a resposta está oculta, mas são terríveis em dizer que não sabem. É como um aluno fazendo uma prova que secretamente sabe que não tem a resposta correta, mas, por estar tão ansioso para agradar o professor, escreve uma resposta inventada e confiante de qualquer maneira. Os pesquisadores descobriram que, quando sondavam o "cérebro" interno da IA (seus estados ocultos), conseguiam detectar com alta precisão (até 91% em uma escala chamada AUROC) se o modelo percebia que a evidência estava faltando. No entanto, quando o modelo de fato proferia sua resposta, ele ignorava esse aviso interno e apenas chutava.

O estudo também descobriu um desequilíbrio curioso: esses modelos de IA são muito melhores em detectar quando uma pergunta é um absurdo no texto (como perguntar "Qual é o peso da cor azul?") do que quando a evidência visual está faltando. Eles conseguem detectar uma impossibilidade baseada em texto cerca de quatro vezes mais rápido do que uma visual. Além disso, os pesquisadores tentaram "direcionar" a IA, dando um empurrão em seus sinais internos. Eles descobriram que, se empurrassem a IA em uma direção específica, poderiam forçá-la a parar de adivinhar e dizer "Eu não sei", provando que a habilidade de se restringir já estava lá, apenas trancada atrás de uma porta que o modelo se recusa a abrir por conta própria.

Em resumo, o artigo sugere que o problema não é que esses modelos de IA sejam cegos ou estúpidos; é que eles são excessivamente ansiosos. Eles codificam a verdade de que estão incertos, mas sua saída é bloqueada por um "portão" que os força a responder de qualquer maneira. Os pesquisadores concluem que, para tornar esses sistemas de IA verdadeiramente confiáveis, provavelmente precisamos consertar a parte do sistema que decide o que dizer, em vez de tentar ensinar a eles como enxergar melhor.

Resumo Técnico: TRAPSBench: Modelos de Visão-Linguagem Codificam, mas Falham em Expressar a Restrição Epistêmica

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) alcançaram progressos significativos na compreensão de vídeo e no raciocínio físico. No entanto, para implantação em domínios de alto risco, a capacidade de um modelo reconhecer quando a informação sensorial é insuficiente para uma previsão determinística é tão crítica quanto sua capacidade de responder corretamente. Os benchmarks atuais avaliam o raciocínio físico, mas falham em testar a abstenção seletiva sob condições de evidência insuficiente. As métricas existentes frequentemente recompensam a abstenção indiscriminada ou ignoram a dimensão epistêmica inteiramente, falhando em distinguir entre um modelo que sabe que não sabe e um que simplesmente adivinha.

Este artigo aborda a lacuna entre o conhecimento interno de incerteza de um modelo e sua expressão externa dessa incerteza. Especificamente, investiga se os VLMs conseguem distinguir internamente cenários físicos respondíveis de não respondíveis e, se sim, por que falham em expressar essa distinção em seus outputs autorregressivos.

Metodologia

1. Benchmark TRAPSBench

Os autores introduzem o TRAPSBench (Testing Restraint in Ambiguous Physical Scenarios), um benchmark de vídeo gerado proceduralmente consistindo de 1.404 pares físicos pareados.

Geração: Usando MuJoCo, o benchmark cria vídeos de "controle" onde os resultados são determinísticos e vídeos "vazios" (void) onde o resultado é tornado incomputável por meio de uma modificação direcionada única.
Taxonomias de Incerteza:
- Oclusão: Dados visuais cruciais são bloqueados por um oclusor opaco ( $N=202$ ).
- Sensibilidade Caótica: Sistemas determinísticos com sensibilidade extrema às condições iniciais, truncados antes da resolução ( $N=500$ ).
- Questões Mal Formuladas: Os vídeos de controle são reutilizados, mas a pergunta contém uma premissa falsa ou solicita detalhes inobserváveis ( $N=702$ : 202 oclusão mal formulada + 500 caótica mal formulada).
Avaliação: Um painel de juízes apenas de texto (três modelos) pontua as respostas. Para vídeos de controle, a correção é medida contra a verdade fundamental (ground truth) do MuJoCo. Para vídeos vazios, o juiz detecta se o modelo se absteve.

2. Pontuação de Calibração Epistêmica Penalizada (PECS)

Para avaliar o desempenho, os autores propõem a PECS, uma métrica de conjunção definida como:
$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$
Onde:

Acc: Acurácia em vídeos respondíveis (controle).
AbsRec: Recall de Abstenção (abstenção correta em vídeos vazios).
FalseAbs: Abstenção Falsa (abstenção incorreta em vídeos de controle).
Significância: A métrica utiliza o estatístico J de Youden ( $\text{AbsRec} - \text{FalseAbs}$ ) para penalizar estratégias indiscriminadas. Um modelo que sempre se abstém ou nunca se abstém recebe uma PECS de 0. Pontuações altas exigem tanto alta acurácia em tarefas respondíveis quanto abstenção seletiva em tarefas não respondíveis.

3. Análise Mecanística

O artigo emprega duas técnicas para sondar representações internas:

Probing Linear: Treinamento de sondas de regressão logística nos estados ocultos de VLMs congelados para prever rótulos "vazio" vs. "controle". Isso testa se o modelo codifica a distinção.
Direcionamento de Ativação (Activation Steering): Manipulação causal de estados ocultos adicionando um vetor de "direção de vazio" ( $v_\ell$ ) durante a geração para testar se a representação controla causalmente o comportamento de abstenção.

Contribuições Principais

TRAPSBench e PECS: Um benchmark de larga escala e uma métrica robusta projetados especificamente para avaliar a calibração epistêmica na compreensão de vídeo, zerando estratégias degeneradas como sempre-abster ou nunca-abster.
A Lacuna Representação–Saída: O artigo estabelece que os VLMs codificam internamente a incerteza epistêmica, mas falham em expressá-la. Isso é demonstrado através de:
- Prompting Guiado: Instruir explicitamente os modelos a se absterem ("Eu não sei") desbloqueia capacidades latentes, melhorando significativamente o recall de abstenção sem sacrificar a acurácia.
- Probing Linear: Sondas decodificam o sinal de respondibilidade dos estados ocultos com alto AUROC (até 0,91) através de domínios de física, mesmo em amostras onde o modelo alucina com confiança.
- Direcionamento de Ativação: Injetar uma "direção de vazio" de camada única induz causalmente a abstenção em amostras de controle e suprime a abstenção em amostras vazias.
Assimetrias de Modo de Falha:
- Visual vs. Textual: Os modelos detectam impossibilidades textuais (questões mal formuladas) aproximadamente 4 $\times$ mais facilmente do que lacunas de informação visual.
- Efeitos de Raciocínio: O raciocínio de cadeia de pensamento (CoT) não melhora uniformemente a calibração. Em alguns modelos (ex: Qwen3-VL Think), os traços de raciocínio expressam dúvida que é subsequentemente sobreposta pelo output final, levando a um aumento de confabulação em comparação com variantes sem pensamento.
Análise Mecanística Causal: A geometria do sinal "vazio" varia por domínio. As direções da família de oclusão codificam um sinal de "evidência ausente" generalizado para o domínio que se transfere entre modalidades e domínios. As direções da família caótica são específicas do domínio e quase ortogonais, sugerindo que a transparência epistêmica governa a transferibilidade.

Resultados

A Restrição Espontânea é Pobre: Através de 16 VLMs de cinco famílias (Gemini, Qwen, GPT-5, Gemma, LLaVA), a PECS espontânea é baixa. O melhor PECS espontâneo é 0,292 (Gemini 2.5 Flash). A maioria dos modelos exibe um viés forte para responder independentemente da qualidade da evidência.
O Prompting Guiado Desbloqueia a Latência: Instruções de prompting explícitas para se abster aumentam o Recall de Abstenção em uma mediana de 1,9 $\times$ em modelos nativos de vídeo, com a PECS melhorando significativamente (ex: Gemini 3.1 Pro R-Low atinge 0,568). No entanto, mesmo com orientação, os modelos não atingem a saturação, indicando um gargalo persistente.
Codificação Interna vs. Supressão de Saída:
- Probes lineares alcançam AUROC de até 0,91 em transferência entre datasets, provando que o modelo "sabe" que o resultado é desconhecido.
- Crucialmente, esse sinal persiste mesmo quando restrito a amostras onde o modelo confabulou (falhou em se abster) sob prompting padrão.
- O direcionamento de ativação confirma que este sinal é causal: adicionar a direção de vazio aos estados ocultos força a abstenção.
Portão de Prompt (Prompt Gating): No Qwen3-VL-8B, o prompting padrão impõe uma restrição de via única contra a abstenção. Embora o direcionamento possa forçar a confabulação (suprimindo a abstenção) sob prompts padrão, ele não consegue induzir a abstenção a menos que o prompt "guiado" seja usado. Isso sugere que o gargalo é um portão de estágio de saída, não a falta de representação interna.
Raciocínio e Confabulação: A análise dos modos de confabulação revela que 87–99% das falhas envolvem premissas alucinadas (fabricação de observações visuais). No Qwen3-VL Think, o traço de raciocínio frequentemente expressa dúvida, mas o output final a sobrepõe para fornecer uma resposta fabricada e confiante.

Significância e Alegações

O artigo afirma que o principal gargalo para a implantação confiável de VLMs em raciocínio físico é expressivo, e não perceptual.

Lacuna Representação–Saída: Os VLMs possuem os sinais epistêmicos internos necessários para distinguir cenários respondíveis de não respondíveis. A falha reside no processo de geração autorregressiva, que suprime esses sinais em favor de respostas fluentes e comprometidas.
Especificidade de Modalidade: A lacuna é mais pronunciada para incerteza visual do que para incerteza textual. Os modelos são significativamente melhores em detectar impossibilidades semânticas (texto) do que lacunas de informação física (vídeo).
Necessidade de Intervenção: Fechar esta lacuna provavelmente requer intervenções no estágio de saída (ex: restrições de decodificação, direcionamento ou objetivos de treinamento especializados) em vez de simplesmente escalar o tamanho do modelo ou melhorar a percepção visual.
Generalização: Os achados se replicam em três famílias de pesos abertos (Qwen, Gemma, LLaVA) sem pipelines de treinamento compartilhados, sugerindo que esta é uma propriedade fundamental das arquiteturas de VLM atuais, e não um artefato de um modelo específico.

Os autores concluem que o TRAPSBench fornece uma ferramenta necessária para avaliar e melhorar a calibração epistêmica de sistemas de IA, destacando que "saber quando não responder" continua sendo um desafio crítico e não resolvido para agentes autônomos.