🤖 machine learning

Accelerating Vision Transformers with Adaptive Patch Sizes

El artículo presenta los Transformadores de Parches Adaptativos (APT), un método que acelera drásticamente la inferencia y el entrenamiento de los Vision Transformers al asignar dinámicamente tamaños de parche variables según la complejidad de la imagen, logrando mejoras de rendimiento del 40-50% sin sacrificar la precisión en tareas visuales de alta resolución.

Autores originales: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

Publicado 2026-04-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás intentando describir un paisaje increíblemente detallado a un amigo que nunca lo ha visto.

El Problema: El "Método del Mosaico Rígido"

Hasta ahora, las Inteligencias Artificiales que ven imágenes (llamadas Vision Transformers o ViT) funcionaban como si fueran un artista que pinta un mural usando cuadrados de mosaico de exactamente el mismo tamaño.

Si pintas un cielo azul y despejado, usas un cuadrado grande.
Si pintas el rostro de una persona con muchas arrugas y detalles, también usas un cuadrado del mismo tamaño.

El problema: Para capturar los detalles del rostro, necesitas miles de esos pequeños cuadrados. Pero para el cielo, esos miles de cuadrados son un desperdicio de tiempo y energía; podrías haber usado uno solo. La computadora gasta la misma energía analizando el cielo aburrido que analizando la cara compleja, lo que hace que todo el proceso sea lento y costoso.

La Solución: APT (El "Mosaico Inteligente")

Los autores de este paper presentan APT (Transformador de Parches Adaptativos). Imagina que APT es un arquitecto muy inteligente que decide el tamaño de los ladrillos antes de empezar a construir, dependiendo de qué tan complicado sea cada rincón de la casa.

Aquí tienes cómo funciona con analogías sencillas:

1. La Regla de Oro: "Menos es más donde no importa"

Zonas Aburridas (Cielos, paredes blancas, agua tranquila): APT dice: "¡Aquí todo es igual! No necesito miles de ladrillos pequeños. Usaré gigantes". Esto reduce drásticamente la cantidad de información que la computadora tiene que procesar.
Zonas Interesantes (Ojos, texto, bordes de objetos): APT dice: "¡Aquí hay mucho detalle! Necesito ladrillos diminutos para no perder nada".

La analogía del mapa:
Imagina que tienes un mapa de Google.

Cuando estás en medio del océano (zona simple), el mapa te muestra una vista lejana con pocos detalles (un gran parche).
Cuando te acercas a una ciudad concurrida (zona compleja), el mapa hace zoom y muestra cada calle y edificio (muchos parches pequeños).
APT hace esto automáticamente en una sola imagen, sin que tú tengas que decirle dónde hacer zoom.

2. El Truco Mágico: "El Pegamento de Cero"

Una vez que APT decide usar ladrillos gigantes en algunas zonas y pequeños en otras, tiene un problema: la computadora espera que todos los ladrillos sean del mismo tamaño para poder "leerlos" juntos.

La solución: APT usa un truco llamado MLP inicializado en cero.
La analogía: Imagina que tienes una receta de pastel. Añades un ingrediente nuevo (los detalles de los ladrillos gigantes) pero lo haces con una cuchara que pesa cero al principio.
- Al principio, la receta sabe exactamente igual que la original (porque el ingrediente nuevo no pesa nada).
- A medida que cocinas (entrenas la IA), la cuchara va ganando peso poco a poco, permitiendo que la IA aprenda a usar esos ladrillos gigantes sin arruinar el sabor del pastel.
- Resultado: La IA se adapta en solo 1 día de entrenamiento (o incluso menos), en lugar de semanas.

¿Por qué es tan importante? (Los Resultados)

Este método es como encontrar un atajo en un viaje en coche:

Velocidad: Las imágenes se procesan un 40% a 50% más rápido. Es como si tu computadora tuviera un motor V8 en lugar de un motor de 4 cilindros, pero sin gastar más gasolina.
Calidad: No se pierde nada. La IA sigue reconociendo caras, objetos y textos con la misma precisión que antes.
Versatilidad: Funciona no solo para clasificar fotos, sino también para tareas difíciles como:
- Detectar objetos: Encontrar un coche en una multitud.
- Segmentación: Pintar cada pixel de una imagen (como en Photoshop).
- Preguntas y respuestas: Ver una foto y responder "¿De qué color es el cielo?".

En Resumen

El APT es como cambiar de un sistema de mensajería que envía 1000 cartas pequeñas para decir "el cielo es azul" (desperdicio), a un sistema que envía una sola carta gigante para el cielo, pero miles de cartas pequeñas para describir un rostro.

Al hacerlo, la computadora descansa más, trabaja más rápido y sigue siendo igual de inteligente. ¡Es la diferencia entre intentar leer un libro letra por letra y poder saltar párrafos enteros cuando el contenido es obvio!

1. El Problema

Los Vision Transformers (ViT) han establecido un nuevo paradigma en la visión por computadora, pero su escalabilidad está limitada por el costo cuadrático de la atención auto-asistida (self-attention) en relación con la longitud de la secuencia de entrada.

Ineficiencia en la partición: Los ViT tradicionales dividen las imágenes en parches de tamaño fijo (ej. 16x16), independientemente del contenido. Esto genera secuencias de tokens excesivamente largas para imágenes de alta resolución.
Redundancia vs. Complejidad: Las imágenes contienen regiones altamente redundantes (fondos uniformes, cielos) y regiones complejas (rostros, texturas). Los ViT actuales gastan la misma cantidad de recursos computacionales en ambas, lo que es ineficiente.
Limitaciones de trabajos previos: Métodos anteriores de reducción de tokens (poda o fusión) suelen utilizar ratios fijos o requieren aprendizaje adicional durante el paso forward, lo que a menudo introduce relleno (padding), formas irregulares y anula las ganancias de velocidad en la práctica. Además, muchos métodos no son compatibles con kernels de atención eficientes como FlashAttention.

2. Metodología: Adaptive Patch Transformer (APT)

La propuesta central es APT, un marco que adapta el tamaño de los parches dentro de una misma imagen basándose en su contenido, imitando la granularidad variable de los tokenizadores en modelos de lenguaje (como BPE).

A. Asignación Adaptativa de Parches (Sección 3.1)

Métrica de Entropía: APT calcula la entropía de Shannon en múltiples escalas para medir la compresibilidad de una región. La entropía cuantifica la impredecibilidad y el contenido de información; una baja entropía indica alta redundancia.
Estrategia Jerárquica (Cuádruple): Se define un conjunto de escalas de parches ( $2^i \times p$ $2^{i} \times p$ ). El algoritmo divide la imagen jerárquicamente:
1. Comienza con la escala más grande.
2. Calcula la entropía de cada parche.
3. Si la entropía está por debajo de un umbral ajustable ( $\tau$ ), el parche se mantiene grande. Si no, se subdivide en parches más pequeños.
4. Este proceso se repite hasta llegar al tamaño mínimo base ( $p \times p$ ).
Resultado: Las regiones homogéneas se representan con pocos tokens grandes, mientras que las regiones complejas reciben muchos tokens pequeños.

B. Agregación de Parches y Embebido (Sección 3.2)

Para integrar parches de diferentes tamaños en el espacio de embebido del Transformer ( $d_{embed}$ ):

Estrategia Híbrida:
1. Se redimensionan los parches grandes a un tamaño uniforme ( $p \times p$ ) para obtener un embebido base.
2. Se dividen los parches grandes en sus sub-parches originales, se embeben individualmente y se agregan mediante una capa convolucional.
3. MLP Inicializado en Cero: Se combina la información de los sub-parches con la del parche redimensionado utilizando una capa lineal (MLP) inicializada con ceros (inspirada en ControlNet).
Beneficio: La inicialización en cero permite que el modelo converja rápidamente sin degradar el rendimiento inicial, ya que el modelo "aprende" gradualmente a incorporar los detalles de alta resolución sin perturbar los pesos preentrenados.

C. Manejo de Entradas Dinámicas (Sección 3.3)

Empaquetado de Secuencias (Sequence Packing): Dado que cada imagen tiene un número diferente de tokens, APT utiliza empaquetado de secuencias. Se concatenan los tokens de un lote en una sola secuencia larga y se utiliza una máscara de bloques diagonales para asegurar que la atención solo ocurra entre tokens de la misma imagen.
Compatibilidad: Este enfoque es nativo en backends como FlashAttention y xFormers, permitiendo aceleraciones reales sin sobrecarga de memoria.
Codificación Posicional: Se utiliza interpolación de codificaciones posicionales (estilo NaViT) para manejar las diferentes escalas de parches manteniendo la consistencia espacial.

3. Contribuciones Clave

APT (Adaptive Patch Transformer): Un método que acelera la inferencia y el entrenamiento de ViT mediante tamaños de parche conscientes del contenido, logrando reducciones significativas en tokens de entrada.
Convergencia Rápida: APT puede aplicarse a ViT preentrenados (incluso ajustados) y recuperar el rendimiento original en tan solo 1 época de ajuste fino gracias al mecanismo de inicialización en cero.
Compatibilidad General: A diferencia de otros métodos de reducción de tokens, APT es compatible con FlashAttention y funciona eficazmente en tareas densas (detección, segmentación) y visión-lingüística (VQA), no solo en clasificación de imágenes.
Eficiencia en Alta Resolución: Muestra mejoras de velocidad desproporcionadamente grandes a medida que aumenta la resolución de la imagen y el tamaño del modelo.

4. Resultados Experimentales

Los experimentos se realizaron en ImageNet, VQA (LLaVA), Detección de Objetos (COCO) y Segmentación Semántica (ADE20K).

Clasificación de Imágenes (ImageNet):
- Aceleración: Aumenta el throughput (imágenes por segundo) en un 40% en ViT-L y un 50% en ViT-H.
- Precisión: Mantiene o supera la precisión de los modelos base sin degradación significativa.
- Tiempo de Entrenamiento: Reduce el tiempo de entrenamiento en un 30% en tareas de alta resolución.
Ajuste Fino Corto: Al aplicar APT a un checkpoint ya ajustado, se recupera el rendimiento original en 1 época, mientras que métodos competidores (como MS-ViT) requieren 50+ épocas.
Tareas Densas y VQA:
- En VQA (LLaVA-1.5), se logra un aumento del 22-23% en el throughput manteniendo o mejorando la precisión en múltiples benchmarks.
- En Detección de Objetos y Segmentación, APT reduce los tokens de entrada en un 28-32% sin sacrificar la precisión en mAP o IoU, demostrando que la reducción de tokens no afecta la precisión a nivel de píxel.
Comparativa: APT supera consistentemente a métodos de fusión de tokens a nivel de capa (como ToMe, EViT) y a métodos de entrada (redimensionado, poda aleatoria), especialmente cuando se compara con versiones optimizadas de los baselines que usan FlashAttention.

5. Significado e Impacto

Reducción de Costos Computacionales: APT reduce significativamente el presupuesto de cómputo necesario para entrenar y ejecutar modelos de visión de última generación, haciéndolos más accesibles y sostenibles.
Paradigma de Tokenización: Introduce la idea de que la tokenización en visión debe ser dinámica y basada en el contenido, alineándose mejor con la naturaleza de las imágenes que los enfoques de parches fijos.
Adoptabilidad: La capacidad de aplicar APT a modelos preexistentes con un ajuste mínimo (1 época) facilita su adopción inmediata en la industria y la investigación sin necesidad de entrenar modelos desde cero.
Limitaciones y Futuro: Actualmente depende de umbrales de entropía heurísticos (aunque robustos) y no soporta aún la generación de imágenes, un área donde la alta resolución es crítica y donde APT podría tener un gran potencial futuro.

En resumen, APT representa un avance significativo en la eficiencia de los Vision Transformers, logrando aceleraciones masivas (hasta un 50%) sin comprometer la precisión, mediante una estrategia inteligente de compresión de entrada basada en la complejidad visual local.