⚡ electrical engineering

No Attention, No Problem: DPU-Aware Attention Approximation in Modern YOLO on FPGA

Este artículo propone una arquitectura consciente de la DPU que adapta las variantes modernas de YOLO basadas en atención (YOLOv26 y YOLOv11) para su despliegue en FPGAs de AMD mediante la aproximación de los mecanismos de atención y la modificación de operaciones para la compatibilidad de hardware, logrando hasta un consumo de energía 3 veces menor y un alto rendimiento con solo un compromiso de precisión del 5% a través de seis conjuntos de datos de referencia.

Autores originales: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Publicado 2026-07-16

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a ver el mundo. Quieres que detecte un gato, un coche o una persona al instante, ya sea que estén de pie o inclinados en un ángulo extraño. Este es el trabajo de la "detección de objetos", un superpoder para las computadoras que les permite entender imágenes y videos. Pero aquí está el truco: no quieres conectar este robot a una granja de servidores gigante y hambrienta de energía. Quieres que funcione en un pequeño dispositivo alimentado por batería, como un dron o una cámara de seguridad, justo donde ocurre la acción. Esto se llama "computación en el borde" (edge computing). Para que esto funcione, los ingenieros utilizan chips especiales llamados FPGAs. Piensa en un FPGA no como un cerebro fijo, sino como un juego de Lego de puertas lógicas que puedes ensamblar en cualquier forma que necesites, lo que lo hace increíblemente rápido y eficiente en cuanto a energía. ¿El gran desafío? Los "cerebros" (modelos de IA) más inteligentes y modernos son a menudo demasiado complejos para estos pequeños cerebros personalizados de Lego. Utilizan trucos matemáticos sofisticados que el juego de Lego no sabe cómo realizar, obligando al robot a ralentizarse y pedir ayuda a una computadora más grande y lenta.

Este artículo trata sobre un truco ingenioso para hacer que los modelos de IA de detección de objetos más nuevos y más inteligentes funcionen sin problemas en estos pequeños chips personalizados de Lego sin perder su inteligencia. Los investigadores tomaron dos de los modelos de IA más recientes y avanzados, llamados YOLOv26 y YOLOv11, y les dieron un cambio de imagen "consciente de la DPU" (DPU-aware). Una DPU es un tipo específico de acelerador de hardware integrado en estos chips, y tiene un libro de reglas estricto: no puede realizar ciertas operaciones matemáticas sofisticadas, como "dividir" datos de formas extrañas o usar funciones de activación específicas. Los autores se dieron cuenta de que si intentaban ejecutar los modelos exactamente como son, el chip se quedaría trabado y el robot sería lento. Así que construyeron una capa de traducción. Reemplazaron los trucos matemáticos prohibidos con versiones más simples y aprobadas que al chip le encantan. Por ejemplo, cambiaron un complejo mecanismo de "atención espacial" —que ayuda a la IA a enfocarse en partes importantes de una imagen— por una aproximación más simple que utiliza bloques de construcción estándar. También reemplazaron las funciones de activación no compatibles por otras que el chip reconoce.

El equipo probó estos modelos modificados en un chip real llamado Xilinx ZCU104, utilizando una variedad de conjuntos de datos que iban desde escenas callejeras estándar hasta fotos aéreas donde los objetos están rotados. Midieron todo: qué tan rápido el robot podía detectar cosas (fotogramas por segundo), cuánta energía consumía y qué tan precisa seguía siendo la detección. Los resultados fueron prometedores. Al realizar estos ajustes arquitectónicos específicos, lograron que los modelos funcionaran a velocidades impresionantes: hasta 34.05 fotogramas por segundo para la detección estándar y 29.55 fotogramas por segundo para detectar objetos rotados. Esto es lo suficientemente rápido para aplicaciones en tiempo real como la conducción autónoma o la navegación de drones. Sin embargo, hubo un pequeño precio a pagar: la precisión cayó aproximadamente un 5% en comparación con la ejecución de los modelos en una computadora potente, un compromiso que los autores señalan como común cuando se intenta comprimir una IA compleja en un hardware diminuto. También descubrieron que, si bien el chip mismo se volvía más rápido a medida que utilizaban configuraciones más potentes, el paso final de limpieza de los resultados (llamado post-procesamiento) se convirtió en un cuello de botella, ralentizando la velocidad general. En última instancia, el artículo sugiere que, con las modificaciones personalizadas adecuadas, incluso los modelos de IA más modernos pueden implementarse de manera eficiente en dispositivos de borde, ofreciendo un punto ideal entre velocidad, potencia y precisión.

Resumen Técnico: Sin Atención, No Hay Problema: Aproximación de la Atención Consciente de la DPU en YOLO Moderno en FPGA

Planteamiento del Problema
La Inteligencia Artificial (IA) basada en el borde requiere un equilibrio delicado entre precisión, velocidad y eficiencia energética, particularmente para la detección de objetos en tiempo real. Si bien los Field-Programmable Gate Arrays (FPGA) ofrecen un alto rendimiento con bajo consumo de potencia mediante hardware reconfigurable, el despliegue de modelos de detección de objetos de última generación (SOTA) en System-on-Chips (SoC) de FPGA presenta desafíos significativos. Específicamente, las variantes modernas de YOLO (como YOLOv11 y YOLOv26) utilizan componentes complejos como mecanismos de atención espacial, funciones de activación específicas (por ejemplo, SiLU) y operaciones de división (split) que no son soportadas nativamente por las Unidades de Procesamiento de Deep Learning (DPU) comerciales como la AMD Xilinx DPUCZDX8G. Cuando se encuentran estos operadores no soportados, la ejecución recae en la CPU, creando cuellos de botella que niegan las ganancias de eficiencia de la aceleración por hardware. Además, la literatura existente se centra principalmente en versiones anteriores de YOLO o en cajas delimitadoras horizontales estándar, dejando las arquitecturas modernas basadas en atención y la detección de objetos orientados (OBB) poco exploradas en el contexto del despliegue en FPGA.

Metodología
Los autores proponen un marco sistemático para adaptar modelos YOLO modernos basados en atención para su despliegue en el SoC FPGA AMD Xilinx ZCU104 utilizando la herramienta de cadena Vitis AI. La metodología involucra cuatro etapas clave:

Preparación del Conjunto de Datos: El estudio utiliza seis conjuntos de datos de referencia que cubren tanto la detección de objetos estándar (horizontal) como la orientada: COCO, Pascal VOC y KITTI para tareas estándar; DOTA y DIOR-R para tareas orientadas; y un conjunto de datos personalizado de presencia humana.
Adaptación de la Arquitectura Consciente de la DPU: Para asegurar la ejecución completa en la DPU, los autores modifican las arquitecturas de los modelos (YOLOv8, YOLOv11 y YOLOv26, incluyendo variantes OBB) para reemplazar los componentes no soportados:
- Funciones de Activación: La función de unidad sigmoide lineal (SiLU) no soportada se reemplaza con la Unidad Lineal Rectificada (ReLU).
- Operaciones de División (Split): En los bloques de fusión de características (por ejemplo, C2f), las operaciones de división no soportadas se sustituyen por operaciones de convolución de $1 \times 1$ equivalentes. Los pesos se inicializan como matrices de selección binaria para replicar el comportamiento de división de canales.
- Aproximación del Mecanismo de Atención: Los complejos módulos de atención espacial (por ejemplo, C2PSA en YOLOv11), que dependen de operaciones no soportadas como reshape, transpose, multiplicación de matrices y Softmax, son aproximados. Los autores proponen una versión compatible con la DPU utilizando convoluciones paralelas de $1 \times 1$ para extraer las características de Consulta (Query), Clave (Key) y Valor (Value), aproximando los pesos de atención mediante productos elemento a elemento escalados, reemplazando el Softmax con Hard-Sigmoid, y proyectando los resultados de vuelta mediante convoluciones de $1 \times 1$ .
Entrenamiento y Cuantización: Los modelos se entrenan utilizando la librería Ultralytics con precisión mixta (FP16). Se aplica la Cuantización Post-Entrenamiento (PTQ) para convertir los modelos de punto flotante de 32 bits a una representación de enteros de 8 bits, un paso necesario para el despliegue en la DPU.
Compilación y Despliegue: Los modelos cuantizados se compilan utilizando el compilador Vitis AI dirigido a ocho diferentes configuraciones de núcleos de IP DPUCZDX8G (B512 a B4096). El diseño de hardware se reconstruye usando Vivado y Vitis para generar los bitstreams e imágenes de despliegue para el ZCU104.

Contribuciones Clave
El artículo realiza cuatro contribuciones primarias:

Arquitectura Personalizada: Presenta una arquitectura de aproximación de atención consciente de la DPU que permite el despliegue de variantes YOLO modernas basadas en atención (v11 y v26) en SoCs FPGA comerciales.
Benchmarking Exhaustivo: Proporciona una evaluación de rendimiento de extremo a extremo de estos modelos a través de tareas de detección de objetos tanto estándar como orientadas utilizando conjuntos de datos de última generación.
Análisis Arquitectónico: Ofrece un análisis detallado del rendimiento (latencia, FPS, potencia, utilización de recursos) a través de todas las ocho configuraciones de núcleos de IP DPUCZDX8G.
Línea Base Cuantitativa: El trabajo establece una línea base cuantitativa para el despliegue de modelos de detección de cajas delimitadoras estándar y orientadas en SoCs FPGA utilizando la herramienta de cadena Vitis AI.

Resultos
El estudio evalúa los modelos modificados a través de todos los conjuntos de datos y configuraciones de DPU:

Precisión: Las modificaciones arquitectónicas (reemplazo de SiLU, aproximación de la atención) resultaron en una reducción absoluta promedio de aproximadamente el 3% en mAP@0.5:0.95 en comparación con los modelos FP32 originales. El despliegue posterior en FPGA (que involucra la cuantización de 8 bits) condujo a una reducción adicional promedio de aproximadamente el 7% en comparación con la ejecución en CPU, lo que resulta en una caída de precisión total de aproximadamente el 5% para el sistema desplegado final.
Rendimiento: YOLOv26n y YOLOv26n-OBB lograron el mayor rendimiento de extremo a extremo. En la configuración de DPU más grande (B4096), alcanzaron 34.05 FPS para detección estándar y 29.55 FPS para detección orientada.
Latencia y Cuellos de Botella: Aunque los FPS específicos de la DPU aumentaron y la latencia disminuyó a medida que la arquitectura de la DPU escalaba de B512 a B4096, persistió una brecha significativa entre el rendimiento de la DPU y el rendimiento de extremo a extremo. Los autores identifican el post-procesamiento (específicamente la Supresión de No Máximos o NMS) como un cuello de botella crítico, ya que se ejecuta en un solo núcleo de CPU, limitando el rendimiento general independientemente de la capacidad de la DPU.
Eficiencia: La configuración B4096 consumió hasta 8.760 W, lo que representa un aumento del 83% sobre la configuración B512 (4.792 W). A pesar de esto, los autores afirman que la solución logra aproximadamente un consumo de potencia 3 veces menor en comparación con las alternativas de última generación.

Significancia
El artículo afirma que su trabajo aborda una brecha crítica en la literatura al permitir el despliegue de las últimas arquitecturas YOLO basadas en atención en FPGAs, una tarea previamente obstaculizada por incompatibilidades de hardware. Al adaptar sistemáticamente estos modelos y realizar comparativas en diversos conjuntos de datos y configuraciones de DPU, el estudio proporciona una hoja de ruta práctica para los desarrolladores de IA en el borde. Los resultados demuestran que, si bien es necesario un compromiso en la precisión (aprox. 5%) para la cuantización y la adaptación al hardware, el enfoque genera ganancias significativas en la eficiencia energética y el rendimiento en tiempo real, lo que lo hace viable para aplicaciones tales como la conducción autónoma, la navegación de drones y la vigilancia. Los autores señalan modestamente que el trabajo futuro se centrará en eliminar las dependencias de NMS para mitigar aún más el cuello de botella del post-procesamiento y mejorar el rendimiento de extremo a extremo.

Más como este