🤖 AI

Accelerating Vision Transformers on Brain Processing Unit

Este artículo propone un método novedoso para acelerar los Vision Transformers en Unidades de Procesamiento Cerebral (BPUs) optimizadas para CNN, mediante la reestructuración del modelo para reemplazar las capas lineales con operadores convolucionales, permitiendo la herencia de pesos sin necesidad de reentrenamiento y logrando aumentos significativos en la velocidad de inferencia con una pérdida mínima de precisión.

Autores originales: Jinchi Tang, Yan Guo

Publicado 2026-02-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jinchi Tang, Yan Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un trabajador de fábrica especializado y súper eficiente llamado BPU (Unidad de Procesamiento Cerebral). Este trabajador es un maestro en ensamblar ladrillos de Lego 4D (que representan los datos de imagen estándar: altura, anchura, canales de color y lotes). En el mundo de la inteligencia artificial, este es el experto de confianza para construir CNNs (Redes Neuronales Convolucionales), que son los tradicionales "colocadores de ladrillos" de la visión computacional.

Sin embargo, ha llegado un nuevo tipo de arquitecto revolucionario: el Vision Transformer (ViT). En lugar de construir con ladrillos de Lego 4D, el ViT trabaja con pilas de papel 3D (secuencias de datos). Es increíblemente inteligente y suele producir mejores resultados, pero habla un lenguaje diferente. Cuando intentas contratar al trabajador de la fábrica BPU para construir un ViT, este se confunde. El trabajador está diseñado para apilar ladrillos, no para clasificar pilas de papel. Como resultado, el ViT tiene que ser construido por un trabajador mucho más lento y de propósito general (la CPU), dejando a la superrápida BPU sentada sin hacer nada.

La solución del Papel: El truco de "Cambio de Forma"

Los autores de este artículo, Jinichi Tang y Yan Guo, idearon un ingenioso método de evasión. No intentaron enseñar a la BPU a leer pilas de papel (lo cual sería difícil y requeriría reentrenar todo el sistema). En su lugar, reorganizaron las pilas de papel para que parecieran ladrillos de Lego.

Así es como lo hicieron, utilizando analogías sencillas:

El problema de la Capa Lineal: En un ViT estándar, el cerebro utiliza "Capas Lineales" para procesar información. Piensa en estas como un traductor que lee una lista de palabras y genera una nueva lista. La BPU no sabe leer listas; solo entiende cuadrículas 4D.
- La Solución: Los autores tomaron al "traductor" y remodelaron sus instrucciones para que parezcan un ladrillo de Lego de 1x1. Matemáticamente, hace exactamente el mismo trabajo, pero ahora encaja perfectamente en la fábrica de la BPU. Es como tomar un mapa plano y enrollarlo en un cilindro solo para que quepa en un tubo específico, sin cambiar el contenido del mapa.
El problema de la Normalización de Capa: El ViT también utiliza un paso llamado "Normalización de Capa" para mantener sus datos equilibrados (como un termostato que mantiene una habitación a la temperatura adecuada). La BPU no tiene un termostato integrado.
- La Solución: Los autores construyeron un "termostato" utilizando los ladrillos de Lego existentes de la BPU. Crearon una cadena especial de diminutos ladrillos (convoluciones de 1x1) que calcula el promedio y la varianza, imitando eficazmente el termostato utilizando solo las herramientas que la BPU ya posee.

La magia de "Sin Reentrenamiento"

Normalmente, si cambias el plano de un edificio, tienes que demolerlo y reconstruirlo desde cero. Pero debido a que los autores fueron muy cuidadosos en hacer que sus "ladrillos de Lego" fueran matemáticamente idénticos a las "pilas de papel" originales, los planos originales (pesos) todavía funcionan perfectamente.

No necesitaron reentrenar el modelo ni enseñarle cosas nuevas. Simplemente tomaron el modelo "DeiT" preentrenado (una versión popular y eficiente del ViT), aplicaron su truque de cambio de forma y se lo entregaron a la BPU. La BPU reconoció inmediatamente el nuevo formato y comenzó a trabajar a toda velocidad.

Los Resultados: Velocidad vs. Precisión

El equipo probó esto en dos tareas diferentes: reconocer miles de objetos (ImageNet) y clasificar flores.

El Intercambio: Cuando conviertes un modelo para que se ejecute en este hardware especializado, normalmente pierdes un poco de precisión (como pasar de una foto de alta definición a un JPEG ligeramente comprimido).
- En la gran prueba de ImageNet, el modelo DeiT-Base perdió solo un 1.4% de precisión (del 81.8% al 80.4%).
- En la prueba de las flores, la caída fue aún menor, de solo un 0.5%.
La Recompensa: A cambio de esa pequeña caída en la precisión, el modelo se volvió mucho más rápido.
- El modelo más grande (DeiT-Base) corrió 3.8 veces más rápido en la BPU que en la CPU estándar.
- Los modelos más pequeños también vieron aceleraciones, que oscilaron entre 1.3x y 2.1x.

Un Descubrimiento Divertido

Durante sus pruebas, los autores notaron algo interesante. A veces, las etiquetas oficiales en las imágenes de prueba eran incorrectas (por ejemplo, una foto de un "león" estaba etiquetada como un "mono"). El modelo DeiT original identificó correctamente al león, pero el sistema lo marcó como un error debido a la etiqueta errónea. El nuevo modelo rápido de los autores también identificó correctamente al león. Esto sugiere que el modelo es incluso más inteligente de lo que sugieren las puntuaciones oficiales, porque puede ver a través de los "errores tipográficos" en los datos de prueba.

En Resumen

Este artículo es la primera vez que alguien logra tomar un Vision Transformer (el arquitecto de "pilas de papel") y hacer que se ejecute en una unidad de procesamiento cerebral especializada (la fábrica de "Lego") sin necesidad de reconstruir al arquitecto desde cero. Al remodelar hábilmente las matemáticas para que encajaran con el hardware, lograron una aceleración de 3.8x con casi ninguna pérdida de inteligencia, demostando que estos modelos de IA avanzados finalmente pueden ejecutarse de manera eficiente en chips especializados integrados.

Resumen Técnico: Aceleración de Vision Transformers en la Unidad de Procesamiento Cerebral (BPU)

Planteamiento del Problema
El artículo aborda un desajuste arquitectónico crítico entre el hardware especializado de procesamiento neuronal y los modelos modernos de Vision Transformer (ViT). Específicamente, la Unidad de Procesamiento Cerebral (BPU) de Horizon está optimizada para operaciones de convolución tetradimensionales (cuantizadas a INT8) típicas de las Redes Neuronales Convolucionales (CNN). Sin embargo, los modelos ViT, como el Data-efficient Image Transformer (DeiT), dependen fuertemente de capas lineales y de la Normalización de Capa (LayerNorm) que operan sobre flujos de datos tridimensionales. Esta discrepancia impide que la BPU acelere las computaciones centrales de los ViT, forzando a dichos modelos a ejecutarse en CPUs de propósito general y perdiendo así las capacidades de aceleración del hardware.

Metodología
Para resolver esta incompatibilidad sin requerir el reentrenamiento del modelo, los autores proponen una reformación estructural de la arquitectura DeiT. La metodología central consiste en reemplazar los operadores no convolucionales por operadores convolucionales matemáticamente equivalentes que la Bcción BPU pueda acelerar:

Transformación de la Capa Lineal: Las capas lineales, que típicamente procesan datos 3D $(B, N, C)$ , se transforman en convoluciones de punto (point-wise convolutions). Esto se logra transformando la matriz de pesos $W \in \mathbb{R}^{O \times I}$ en un tensor 4D $W' \in \mathbb{R}^{O \times I \times 1 \times 1}$ mediante operaciones unsqueeze. El tensor de entrada es similarmente transpuesto de $(B, N, C)$ a $(B, C, 1, N)$ para alinearse con los requisitos del flujo de datos 4D de la BPU.
Reformulación de la Normalización de Capa (LayerNorm): La operación de Normalización de Capa se descompone en una secuencia de operaciones de convolución de $1 \times 1$ . La media se calcula mediante una convolución con pesos establecidos en $1/H$ (donde $H$ es la dimensión oculta), y la varianza se calcula restando la media, elevando al cuadrado el resultado y aplicando una segunda convolución. Los parámetros aprendibles $\gamma$ y $\beta$ se remodelan para coincidir con las dimensiones de entrada.
Herencia de Pesos: Un aspecto crucial de este enfoque es que el modelo reestructurado no requiere reentrenamiento ni ajuste fino (fine-tuning). Los pesos preentrenados originales de los checkpoints estándar de DeiT son heredados directamente por las capas convolucionales reestructuradas.
Cuantización: Los modelos modificados se procesan a través de la herramienta de cadena de herramientas (toolchain) del algoritmo Horizon BPU, utilizando la Cuantización Post-Entrenamiento (PTQ) con una estrategia de mínimo-máximo y un conjunto de datos de calibración para convertir los modelos a precisión INT8.

Contribuciones Clave

Primer Despliegue Exitoso: Los autores afirman que este es el primer despliegue exitoso de Vision Transformers en la plataforma BPU que aprovecha plenamente sus capacidades de aceleración de hardware.
Adaptación de la Arquitectura: Proponen un método novedoso para reestructurar DeiT reemplazando las capas lineales y de LayerNorm con operadores convolucionales equivalentes, permitiendo la aceleración INT8 sin pérdida arquitectónica.
Despliegue sin Reentrenamiento: El método permite la herencia directa de pesos preentrenados, eliminando el costo computacional y la complejidad de reentrenar o realizar el ajuste fino de todo el modelo para la nueva estructura de operadores.
Validación Extensa: El enfoque se valida en dos conjuntos de datos distintos: el conjunto de datos a gran escala ImageNet y un conjunto de datos más pequeño de clasificación de flores.

Resultados Experimentales
El artículo reporta experimentos extensos comparando los modelos DeiT originales con las versiones cuantizadas y optimizadas para BPU propuestas:

Rendimiento en ImageNet:
- Precisión: El modelo cuantizado DeiT-Base alcanza un 80.4% de precisión Top-1 en ImageNet, una caída de solo 1.4% respecto al 81.8% original. Las variantes destiladas muestran una resiliencia aún mayor, con el DeiT-Base Dist. manteniendo un 81.7% de precisión (una caída del 1.7%).
- Detección de Anomalías: Los autores observaron que tanto el modelo original como el cuantizado predijeron correctamente las etiquetas para varias imágenes en el conjunto de validación de ImageNet que eran conocidas por estar mal etiquetadas en las anotaciones oficiales, lo que sugiere que la precisión real de los modelos puede ser ligeramente superior a las métricas reportadas.
Rendimiento en Clasificación de Flores:
- En un conjunto de datos con 5 clases de flores, el modelo cuantizado DeiT-Small alcanzó un 97.4% de precisión, con una caída de solo 0.3% respecto a la versión de precisión completa.
Aceleración de la Inferencia:
- Los modelos cuantizados demostraron aceleraciones significativas de la inferencia en el hardware BPU en comparación con sus contrapartes de punto flotante.
- DeiT-Base: Logró una aceleración de 3.82×.
- DeiT-Small: Logró una aceleración de 2.16×.
- DeiT-Tiny: Logró una aceleración de 1.30×.
- Los resultados indican que los beneficios de la cuantización y la aceleración de hardware son más pronunciados en arquitecturas de modelos más grandes.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un paso fundamental para cerrar la brecha entre los modelos de visión computacional basados en Transformers y el hardware embebido especializado. Al demostrar que los ViT pueden desplegarse en BPUs con una degradación mínima de precisión y mejoras sustanciales de velocidad, los autores argumentan que su método proporciona una solución práctica para escenarios de despliegue en el borde (edge deployment) del mundo real. La capacidad de utilizar pesos preentrenados sin reentrenamiento se destaca como una ganancia de eficiencia mayor, haciendo que la transición hacia Transformers acelerados por hardware sea factible para entornos con recursos limitados. Los autores afirman modestamente que esto representa el primer intento exitoso de utilizar plenamente la aceleración de BPU para modelos DeiT.

Más como este