Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

Resumo Técnico: Confiança do Modelo sob Ataques de Preservação de Resposta

Definição do Problema
Modelos de Linguagem-Visão (VLMs) implantados frequentemente utilizam pontuações de confiança internas para controlar decisões subsequentes, como aceitar uma resposta, recorrer a um humano ou abster-se. O modo de falha crítico investigado neste trabalho ocorre quando uma perturbação adversarial altera a pontuação de confiança o suficiente para inverter uma decisão subsequente, enquanto a string da resposta gerada permanece byte a byte idêntica à original. O artigo questiona se as leituras de confiança internas do modelo podem fornecer supervisão robusta quando o comportamento monitorado (a resposta) é mantido fixo, mas a entrada (a imagem) é adversariamente perturbada. Diferente de trabalhos anteriores em classificadores que preservam um único token de predição, este estudo aborda a preservação de respostas completas e de comprimento variável.

Metodologia e Modelo de Ameaça
Os autores avaliam sete canais de confiança em quatro VLMs (InternVL3.5-2B, Gemma-3-12B, Molmo2-4B, LLaVA-OneVision-7B) e três benchmarks (GQA, VQAv2, POPE). O principal modelo de ameaça é white-box, apenas imagem e preservação de resposta.

• Restrições de Ataque: Os ataques utilizam o Gradiente Descendente Projetado (PGD) sob um orçamento $L_\infty$ (padrão 8/255) para perturbar a imagem de entrada. A otimização é restringida de modo que o token emitido em cada posição da resposta permaneça como o argmax por uma margem de segurança ($\tau_{safe} = 1.0$ logit), e a resposta final regenerada via decodificação gulosa deve ser byte a byte idêntica à resposta limpa.
• Canais de Confiança: O estudo testa cinco canais principais:
  1. Probabilidade do span da resposta.
  2. $P(IK)$ e SAPLMA (lidos nos tokens final do prompt e final da resposta).
  3. CCPS (medindo a estabilidade sob perturbação interna).
  4. CCPS-D (um substituto diferenciável treinado em características de CCPS).
  • A confiança verbalizada e a autoconsistência são reportadas como suplementares, mas excluídas das contagens principais devido à falta de ataques direcionados a estimadores específicos ou fraca discriminação limpa.
• Métricas de Avaliação: A métrica primária é a Área Sob a Curva de Característica de Operação do Receptor (AUROC) para discriminar respostas corretas vs. incorretas. O estudo também mede a "razão de destruição excessiva" (o quanto o ataque degrada o desempenho em relação ao piso teórico) e o impacto nas decisões de implantação (taxas de aceitação/adiamento).

Contribuições Teóricas Principais
O artigo deriva dois endpoints teóricos relativos à robustez das leituras de confiança sob preservação de resposta:

1. Teto da String de Resposta (Proposição 1): Sob a Suposição 1 (que os intervalos de pontuação alcançáveis para diferentes imagens produzindo a mesma resposta se interceptam), qualquer leitura "imóvel" (aquela que não pode ser perturbada) é efetivamente uma função da própria string da resposta. Consequentemente, sua discriminação não pode exceder o prior da string de resposta ($c^*$), definido como $Pr(Y=1 | A=a(x))$. O valor operativo agrupado deste prior através dos benchmarks é 0.617.
2. Certificado de Amplitude Uniforme (Proposição 3): Sem depender da Suposição 1, os autores estabelecem que, se a amplitude manipulável (o deslocamento máximo de pontuação) para cada item for limitada por um limiar $\gamma$, então a discriminação é garantida para permanecer acima do piso da string de resposta, desde que a separação limpa entre pares corretos e incorretos exceda $2\gamma$. O limiar mediano $\gamma^*$ através do estudo é 0.065.

Resultados Experimentais
A avaliação empírica refuta a possibilidade de leituras imovíveis e robustas sob o orçamento estudado:

• Refutação do Certificado: Perturbações viáveis por item produzidas por ataques diretos ou direcionados a substitutos excederam o limiar de amplitude uniforme ($\gamma^*$) em todos os 84 combinações de estimador-por-célula. Isso demonstra que nenhum dos canais testados satisfaz o limite uniforme exigido.
• Colapso do Piso: Ataques coordenados e conscientes do rótulo de correção levaram a AUROC adversarial para ou abaixo do piso operativo da string de resposta em todas as 60 células de canal implantado. Das 59 células que começaram acima do piso, todas as 59 colapsaram para ou abaixo dele. A AUROC limpa (0.72–0.78) caiu para 0.13–0.26, com uma razão de destruição excessiva mediana de 3.74.
• Manipulação ao Nível de Representação: O efeito não é exclusivo a imagens adversariais. Injetar uma direção extraída do desvio do estado oculto induzido pelo ataque diretamente na representação do modelo (sem perturbação da imagem) moveu com sucesso as pontuações de confiança e preservou as respostas em pelo menos 86% dos itens. Isso confirma que a vulnerabilidade existe no nível da representação.
• Limitações de Defesa:
  • Probes Restritos: Probes restritos ao subespaço "acoplado à resposta" (COUPLED) falharam em fornecer robustez quando atacados diretamente, embora tenham mostrado alguma resistência a ataques de transferência.
  • Estabilidade de Perturbação: Medir a confiança via estabilidade (CCPS) não impediu a manipulação de pontuação; ataques direcionados a substitutos causaram perda significativa de AUROC.
  • Purificação de Entrada e Suavização: O pré-processamento JPEG e a suavização aleatória falharam em estabelecer um certificado uniforme útil ou em prevenir o colapso da discriminação.
  • Monitores de Desacordo: Um monitor de desacordo baseado em múltiplos canais não forneceu um sinal robusto consistente, muitas vezes performando pior que o prior da string de resposta.

Impacto de Implantação
Em uma simulação com controle de confiança, os ataques corromperam com sucesso as decisões de aceitação:

• Errado-para-Aceito: Até 84.8% das respostas erradas anteriormente rejeitadas tornaram-se aceitas sob um ataque de transferência de probabilidade de token.
• Correto-para-Abster-se: Até 27.4% das respostas corretas anteriormente aceitas foram novas adiadas.
• Acurácia Líquida: Após o reponderamento para a prevalência natural de correção, a acurácia atacada do gate caiu abaixo da linha de base "sem gate" (aceitando todas as respostas) em 8 de 12 células sob ataques de transferência e em todas as 12 sob ataques diretos.

Significância e Alegações
O artigo conclui que, sob o modelo de ameaça específico de ataques de imagem única, white-box e preservação de resposta, a confiança interna do modelo é um sinal sensível à integridade, em vez de um mecanismo de supervisão intrinsecamente robusto.

• O estudo não afirma que a confiança é inútil, nem descarta verificadores externos treinados independentemente ou futuras construções certificadas.
• No entanto, demonstra que as leituras especificamente implantadas atualmente em VLMs são movíveis dentro do conjunto de preservação de resposta.
• As descobertas implicam que, para um sistema controlado por confiança ser confiável quando o caminho de entrada não é confiável, a própria pontuação deve ser protegida, certificada ou verificada independentemente, pois o sinal interno sozinho não pode garantir robustez contra a manipulação adversarial que preserva o texto de saída.