Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

Resumen Técnico: Confianza del Modelo bajo Ataques de Preservación de la Respuesta

Planteamiento del Problema
Los Modelos de Lenguaje-Visión (VLM) desplegados suelen utilizar puntuaciones de confianza internas para regular decisiones posteriores, tales como aceptar una respuesta, recurrir a un humano o abstenerse. El modo de fallo crítico investigado en este trabajo ocurre cuando una perturbación adversaria altera la puntuación de confianza lo suficiente como para cambiar una decisión posterior, mientras que la cadena de texto de la respuesta generada permanece idéntica en bytes a la original. El artículo se pregunta si las lecturas de confianza internas del modelo pueden proporcionar una supervisión robusta cuando el comportamiento monitoreado (la respuesta) se mantiene fijo pero la entrada (la imagen) es adversariamente perturbada. A diferencia del trabajo previo sobre clasificadores que preservan un único token de predicción, este estudio aborda la preservación de respuestas completas y de longitud variable.

Metodología y Modelo de Amenaza
Los autores evalúan siete canales de confianza en cuatro VLM (InternVL3.5-2B, Gemma-3-12B, Molmo2-4B, LLaVA-OneVision-7B) y tres bancos de pruebas (GQA, VQAv2, POPE). El modelo de amenaza principal es de caja blanca, solo imagen y preservación de la respuesta.

• Restricciones del Ataque: Los ataques utilizan el Descenso de Gradiente Proyectado (PGD) bajo un presupuesto de $L_\infty$ (por defecto 8/255) para perturbar la imagen de entrada. La optimización está restringida de tal manera que el token emitido en cada posición de la respuesta siga siendo el argmax por un margen de seguridad ($\tau_{safe} = 1.0$ logit), y que la respuesta regenerada final mediante decodificación codiciosa (greedy decoding) sea idéntica en bytes a la respuesta original.
• Canales de Confianza: El estudio prueba cinco canales principales:
  1. Probabilidad del token del intervalo de la respuesta (answer-span token probability).
  2. $P(IK)$ y SAPLMA (leídos en los tokens final del prompt y final de la respuesta).
  3. CCPS (mide la estabilidad bajo perturbación interna).
  4. CCPS-D (un sustituto diferenciable entrenado con características de CCPS).
  • La confianza verbalizada y la autoconsistencia se reportan como complementarias pero se excluyen de los conteos principales debido a la falta de ataques dirigidos a estimadores específicos o a una débil discriminación de la muestra limpia.
• Métricas de Evaluación: La métrica principal es el Área Bajo la Curva Característica de Operación del Receptor (AUROC) para discriminar respuestas correctas frente a incorrectas. El estudio también mide la "relación de exceso de destrucción" (cuánto degrada el ataque el rendimiento respecto al suelo teórico) y el impacto en las decisiones de despliegue (tasas de aceptación/deferencia).

Contribuciones Teóricas Clave
El artículo deriva dos puntos finales teóricos respecto a la robustez de las lecturas de confianza bajo la preservación de la respuesta:

1. Techo de la Cadena de Respuesta (Proposición 1): Bajo la Asunción 1 (que los rangos de puntuación alcanzables para diferentes imágenes que producen la misma respuesta se intersectan), cualquier lectura "inamovible" (una que no puede ser perturbada) es efectivamente una función de la cadena de respuesta por sí sola. Consecuentemente, su discriminación no puede exceder el prior de la cadena de respuesta ($c^*$), definido como $Pr(Y=1 | A=a(x))$. El valor operativo agrupado de este prior a través de los bancos de pruebas es 0.617.
2. Certificado de Amplitud Uniforme (Proposición 3): Sin depender de la Asunción 1, los autores establecen que si la amplitud manipulable (el desplazamiento máximo de la puntuación) para cada ítem está acotada por un umbral $\gamma$, entonces la discriminación está garantizada para permanecer por encima del suelo de la cadena de respuesta, siempre que la separación limpia entre pares correctos e incorrectos exceda $2\gamma$. El umbral mediano $\gamma^*$ a través del estudio es 0.065.

Resultos Experimentales
La evaluación empírica refuta la posibilidad de lecturas inamovibles y robustas bajo el presupuesto estudiado:

• Refutación del Certificado: Las perturbaciones factibles por ítem producidas por ataques directos o de sustitución dirigida exceden el umbral de amplitud uniforme ($\gamma^*$) en todos los 84 casos de combinación de estimador-celda. Esto demuestra que ninguna de las lecturas probadas satisface el requisito de límite uniforme.
• Colapso del Suelo: Los ataques coordinados y conscientes de la etiqueta de corrección llevan el AUROC adversario hacia o por debajo del suelo operativo de la cadena de respuesta en todas las 60 celdas de canales desplegados. De las 59 celdas que comenzaron por encima del suelo, todas las 59 colapsaron hacia o por debajo de este. El AUROC limpio (0.72–0.78) cayó a 0.13–0.26, con una relación de exceso de destrucción mediana de 3.74.
• Manipulación a Nivel de Representación: El efecto no es exclusivo de las imágenes adversarias. Inyectar una dirección extraída de la deriva del estado oculto inducida por el ataque directamente en la representación del modelo (sin perturbación de la imagen) logró mover las puntuaciones de confianza y preservar las respuestas en al menos el 86% de los ítems. Esto confirma que la vulnerabilidad existe a nivel de representación.
• Limitaciones de Defensa:
  • Sondas Restringidas: Las sondas restringidas al subespacio "acoplado a la respuesta" (COUPLED) no lograron proporcionar robustez cuando fueron atacadas directamente, aunque mostraron cierta resistencia a los ataques de transferencia.
  • Estabilidad de la Perturbación: Medir la confianza mediante la estabilidad (CCPS) no evitó la manipulación de la puntuación; los ataques dirigidos a sustitutos causaron una pérdida significativa de AUROC.
  • Purificación de Entrada y Suavizado: El preprocesamiento JPEG y el suavizado aleatorizado no lograron establecer un certificado uniforme útil ni evitar el colapso de la discriminación.
  • Monitores de Desacuerdo: Un monitor de desacuerdo basado en múltiples canales no proporcionó una señal robusta consistente, realizando a menudo peor que el prior de la cadena de respuesta.

Impacto en el Despliegue
En una simulación con puerta de control de confianza, los ataques corrompieron con éxito las decisiones de aceptación:

• De Incorrecto-a-Aceptado: Hasta el 84.8% de las respuestas incorrectas previamente rechazadas fueron aceptadas bajo un ataque de transferencia de probabilidad de token.
• De Correcto-a-Abstención: Hasta el 27.4% de las respuestas correctas previamente aceptadas fueron ahora diferidas.
• Precisión Neta: Tras el reponderado a la prevalencia natural de corrección, la precisión aceptada del control atacado cayó por debajo de la línea base "sin control" (aceptar todas las respuestas) en 8 de 12 celdas bajo ataques de transferencia y en las 12 bajo ataques directos.

Significación y Reivindicaciones
El artículo concluye que, bajo el modelo de amenaza específico de ataques de caja blanca, solo de imagen y de preservación de la respuesta, la confianza interna del modelo es una señal sensible a la integridad en lugar de un mecanismo de supervisión intrínsecamente robusto.

• El estudio no afirma que la confianza sea inútil, ni descarta verificadores externos entrenados independientemente o futuras construcciones certificadas.
• Sin embargo, demuestra que las lecturas actualmente desplegadas en los VLM son movibles dentro del conjunto de preservación de la respuesta.
• Los hallazgos implican que, para que un sistema con puerta de control de confianza sea fiable cuando la ruta de entrada no es de confianza, la puntuación misma debe estar protegida, certificada o verificada de forma independiente, ya que la señal interna por sí sola no puede garantizar la robustez contra la manipulación adversaria que preserva el texto de salida.