🤖 machine learning

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

Este artículo presenta "Steal the Patch Size", un ataque de caja negra que explota las caídas de precisión a nivel de tarea en los modelos de visión y lenguaje para recuperar configuraciones privadas del tokenizador, tales como el tamaño del parche y los procesos de preprocesamiento, permitiendo así una manipulación adversaria dirigida.

Autores originales: Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

Publicado 2026-07-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando adivinar la receta secreta de la sopa de un chef famoso, pero no se te permite ver la cocina, los ingredientes, ni las notas del chef. Solo puedes pedir la sopa, probarla y preguntar: "¿A qué sabe esto?".

Este artículo describe un truco ingenioso donde los investigadores "probaron" la sopa de los modelos de visión-lenguaje modernos (llamados modelos de visión-lenguaje o VLMs) para descubrir su receta secreta. Específicamente, lograron robar dos detalles ocultos:

El "Tamaño de Parche" (Patch Size): Cómo la IA divide una imagen en pequeños azulejos cuadrados antes de observarla.
El "Preprocesamiento" (Preprocessing): Si la IA aplasta cada imagen a un tamaño específico o si las maneja de forma distinta según su forma original.

Aquí explicamos cómo lo hicieron, usando analogías sencillas.

El problema de la "Fresa"

Sabes que algunas personas tienen dificultades para contar la letra "r" en la palabra "strawberry" (fresa). Es porque el cerebro ve la palabra completa, no las letras individuales.

Este artículo encontró que los modelos de IA tienen un problema similar con las imágenes. La mayoría de los modelos de IA no ven una imagen como algo continuo; la dividen en una cuadrícula de pequeños cuadrados (parches), como un mosaico. Si la IA divide la imagen en cuadrados de 16x16 píxeles, trata cada cuadrado como una sola "palabra" (o token).

La Trampa: El Juego de la Cuadrícula

Los investigadores crearon un juego sencillo para engañar a la IA. Le mostraron a la IA la imagen de una cuadrícula de colores (como un tablero de ajedrez) y le preguntaron: "¿Cuántos cuadros hay en esta cuadrícula?".

Los humanos pueden responder esto instantáneamente. Pero la IA empezó a fallar siguiendo un patrón muy extraño y predecible:

Cuando los cuadros de la cuadrícula tenían un cierto tamaño, la IA acertaba.
Cuando los cuadros eran ligeramente más grandes o más pequeños, la IA se equivocaba.
Cuando los cuadros eran exactamente del mismo tamaño que los "azulejos de corte" ocultos de la IA, la IA se quedaba completamente ciega y fallaba estrepitosamente.

¿Por qué? Imagina que los azulejos de corte de la IA están perfectamente alineados con las líneas de la cuadrícula. La IA observa un azulejo y ve solo un color sólido. Nunca ve la línea donde cambian los colores porque la línea cae exactamente entre los azulejos. Es como intentar ver el borde de una pared de ladrillos mirando solo los ladrillos, sin ver nunca el mortero. La IA pierde la capacidad de contar.

El Robo: Robando los Secretos

Al probar miles de tamaños de cuadrícula diferentes, los investigadores observaron estos "puntos ciegos".

Encontrar el Tamaño del Azulejo: Notaron que la IA fallaba cada vez que el tamaño de la cuadrícula era un múltiplo de un número específico (por ejemplo, 14, 28, 42). Esto les indicó que el "azulejo de corte" oculto de la IA era exactamente de 14 píxeles de ancho.
Encontrar la Regla de Redimensionamiento: Algunos modelos de IA aplastan todas las imágenes a un tamaño fijo (como 512x512) antes de dividirlas. Otros manejan diferentes tamaños de forma distinta.
- Si la IA aplasta las imágenes, los "puntos ciegos" desaparecen cuando simplemente cambias el tamaño de la cuadrícula.
- Pero los investigadores añadieron un truco: colocaron la cuadrícula dentro de un lienzo más grande y vacío (relleno o padding). Al cambiar el tamaño de este lienzo vacío, pudieron obligar a la IA a aplastar las imágenes de forma predecible. Esto reveló el tamaño exacto al que la IA estaba comprimiendo las imágenes (por ejemplo, 512 píxeles).

El Resultado: Conocen los Secretos

Usando este método, los investigadores lograron adivinar la configuración oculta de modelos de IA importantes como GPT-4o, Claude y Qwen. No necesitaron hackear el código; simplemente hicieron las preguntas correctas y observaron dónde tropezaba la IA.

¿Por qué es esto importante? (El Ataque "Dirigido")

El artículo muestra que conocer estos secretos permite realizar un ataque "quirúrgico".

Imagina que quieres engañar a una IA específica para que vea una señal de alto como una señal de límite de velocidad, pero no quieres engañar a otra IA diferente.

Sin el secreto: Creas un truco genérico que podría funcionar en ambas, o en ninguna.
Con el secreto: Sabes exactamente cómo esa primera IA divide sus imágenes. Puedes crear un truco que funcione perfectamente para ese estilo de división específico, pero que parezca completamente normal para la segunda IA (que divide de forma distinta).

Es como saber que los mecanismos de una cerradura específica miden 14 mm de ancho. Puedes fabricar una llave que abra solo esa cerradura, dejando todas las demás intactas.

Resumen

El artículo demuestra que la forma "invisible" en que los modelos de IA procesan las imágenes deja una huella digital. Al hacer preguntas simples sobre cuadrículas, los investigadores pueden realizar ingeniería inversa de la configuración interna del modelo. Esto revela que los "detalles de implementación" de cómo la IA ve el mundo son en realidad llaves secretas que, si se roban, permiten a los atacantes crear trucos altamente específicos y peligrosos contra esos modelos.

Resumen Técnico: Robar el Tamaño del Parche: Manipulación Adversaria de Modelos de Visión-Lenguaje

Declaración del Problema

Los Modelos de Visión-Lenguaje (VLM) desplegados dependen de canales de preprocesamiento visual complejos y, a menudo, no documentados. Estos canales incluyen decisiones críticas de diseño arquitectónico y de sistema, tales como el tamaño de parche visual ( $P$ ), estrategias de redimensionamiento de entrada, reglas de relleno/recorte y resoluciones objetivo ( $S$ ). Aunque estos parámetros impactan significativamente la eficiencia, precisión y robustez del modelo, suelen tratarse como información privada de despliegue y no se divulgan a través de las API o la documentación.

Este artículo aborda un "punto ciego" en los VLM de caja negra: la incapacidad de estos modelos para realizar tareas triviales (como contar celdas de una cuadrícula) cuando ocurren alineaciones estructurales específicas entre la imagen de entrada y la rejilla de tokenización interna del modelo. Los autores postulan que estos fallos no son aleatorios, sino que constituyen un canal lateral determinista a nivel de tarea inducido por la de la partición en parches (patchification) tipo ViT. La pregunta central de investigación es si los parámetros arquitectónicos y de preprocesamiento privados de los VLM de caja negra pueden recuperarse sistemáticamente mediante el acceso a la API únicamente, sin acceso a gradientes, activaciones internas o datos de entrenamiento.

Metodología

El ataque propuesto, denominado Coincidencia de Tamaño de Parche (PSM - Patch-Size Matching), explota la relación geométrica entre los límites de la cuadrícula de entrada y la rejilla de parches interna del modelo.

1. El Mecanismo: Coincidencia de Tamaño de Parche (PSM)

La mayoría de los VLM tokenizan imágenes utilizando un Vision Transformer (ViT) que particiona las entradas en parches no superpuestos de $P \times P$ .

El Fenómeno: Cuando se procesa una imagen de cuadrícula sintética con un tamaño de celda $D$ , si el tamaño de celda efectivo en el espacio de entrada del tokenizador ( $D_{eff}$ ) es un múltiplo entero del tamaño de parche ( $D_{eff} = kP$ ), los límites de la cuadrícula caen exactamente entre los parches.
La Consecuencia: Debido a que el interior de cada celda de la cuadrícula es de un color constante, los parches que caen enteramente dentro de una celda no contienen información de bordes. El proceso de tokenización suprime las pistas de los bordes, causando que el modelo se vuelva "ciego" a la estructura de la cuadrícula.
La Señal: A medida que se recorre (sweep) el tamaño de celda de la cuadrícula $D$ , la precisión del modelo en una tarea de conteo de cuadrícula exhibe caídas periódicas (valles) cada vez que $D_{eff}$ se alinea con un múltiplo de $P$ .

2. El Ataque de Caja Negra de Tres Etapas

Los autores proponen un procedimiento sistemático para recuperar parámetros ocultos bajo condiciones desconocidas de redimensionamiento y relleno:

Etapa 1: Recorrido sin Relleno (Resolución Dinámica vs. Fija)
El atacante consulta al modelo con imágenes de cuadrícula de varios tamaños de celda $D$ sin relleno.
- Si el modelo utiliza resolución dinámica, las caídas de precisión periódicas aparecen directamente, lo que permite la inferencia directa del tamaño de parche $P$ a partir del periodo de las caídas.
- Si el modelo utiliza resolución fija (redimensionando las entradas a un objetivo $S$ ), la periodicidad se ve oscurecida porque $D$ se escala de forma no lineal.
Etapa 2: Restauración de la Periodicidad mediante Relleno con Ceros
Para modelos que se sospecha utilizan resolución fija, el atacante incrusta la imagen de la cuadrícula en un lienzo más grande $L \times L$ utilizando relleno con ceros (anclando el contenido en la parte superior izquierda).
- Esto introduce un factor de escala controlable. Si el modelo redimensiona $L \times L$ a un objetivo fijo $S$ , el tamaño de celda efectivo se convierte en $D_{eff} = (S/L)D$ .
- Al recorrer $D$ para diferentes tamaños de lienzo $L$ , el atacante observa que el periodo de las caídas de precisión $T(L)$ escala linealmente con $L$ .
- Esto permite la recuperación de la relación de escala $S/P$ mediante la relación $S/P = L/T(L)$ .
Etapa 3: Verificación de Consistencia para la Resolución Objetivo
La Etapa 2 genera un conjunto de candidatos para $(S, P)$ . Para identificar la verdadera resolución objetivo $S$ :
- El atacante realiza una prueba de hipótesis comparando la consistencia de la salida del modelo.
- La lógica es que si el objetivo interno del modelo es $S$ , el pre-redimensionamiento de una imagen a $S$ antes de la consulta debería producir respuestas más consistentes con la consulta original que el pre-redimensionamiento a un candidato incorrecto $S'$ .
- Un torneo estadístico selecciona el $S$ único que maximiza consistentemente la consistencia de la respuesta.

3. Validación Estadística

Para evitar interpretaciones subjetivas de las caídas de precisión, los autores emplean una prueba de permutación no paramétrica (estilo Welch) para determinar la significancia estadística de la periodicidad observada, asegurando que los periodos identificados no sean artefactos del ruido.

Resultados Clave

El ataque fue evaluado en modelos de código abierto (variantes de Qwen-VL, InternVL) y modelos propietarios (GPT-4.1-mini, GPT-4o, Claude 3.7, Claude 4.5).

Recuperación de Parámetros: El método recuperó con éxito los tamaños de parche y los comportamientos de preprocesamiento.
- Qwen3-VL 30B: Identificó resolución dinámica con $P=16$ .
- Claude 3.7: Identificó resolución dinámica con $P=14$ .
- GPT-4.1-mini: Identificó resolución dinámica con $P=16$ .
- GPT-4o: Identificó preprocesamiento de resolución fija. A través del proceso de tres etapas, los autores infirieron una resolución objetivo de $S=512$ y un tamaño de parche de $P=16$ .
Robustez: El ataque siguió siendo efectivo incluso cuando los modelos empleaban estrategias desconocidas de redimensionamiento, relleno o resolución dinámica.
Costo: El ataque requiere aproximadamente $4.8 \times 10^4$ consultas (aproximadamente $10^7$ tokens), lo que cuesta alrededor de $\$ 10\text{--}$50$ bajo los precios típicos de las API.

Significado e Implicaciones

El artículo afirma que recuperar estos "detalles de implementación" no es meramente un ejercicio académico, sino un prerrequisito para ataques de seguridad avanzados.

Ataques de Transferencia Conscientes del Preprocesamiento: Conocer la tubería (pipeline) exacta de preprocesamiento permite a los atacantes diseñar perturbaciones adversarias que eviten la distorsión (aliasing) causada por el redimensionamiento y el relleno, mejorando significamente la transferibilidad.
Manipulación Adversaria Dirigida al Modelo: Los autores demuestran que los parámetros filtrados permiten la creación de ejemplos adversarios que manipulan selectivamente un modelo específico mientras permanecen benignos para otros con diferentes tuberías.
- Prueba Experimental: En un experimento de ataque dirigido al conjunto de datos NIPS 2017, un ataque diseñado específicamente para GPT-4o (usando su $S=512, P=16$ recuperados) logró una tasa de éxito del 86.5% en GPT-4o, mientras que redujo la tasa de éxito en Claude 3.7 al 4.5%. Por el contrario, un ataque dirigido a Claude 3.7 tuvo éxito contra este (18.5%) mientras falló contra GPT-4o.

Conclusión

Los autores concliden que la partición en parches tipo ViT crea una firma detectable en el comportamiento de caja negra, filtrando configuraciones privadas de despliegue. Argumentan que los "detalles de implementación" en el front-end de visión son secretos relevantes para la seguridad. El artículo sugiere que mitigaciones tales como el preprocesamiento estocástico/aleatorio, la tokenización que preserva bordes o controles de consulta son necesarias para prevenir tal filtración de parámetros y la subsiguiente manipulación dirigida al modelo.