⚡ electrical engineering

No Attention, No Problem: DPU-Aware Attention Approximation in Modern YOLO on FPGA

Este artigo propõe uma arquitetura consciente de DPU que adapta variantes modernas do YOLO baseadas em atenção (YOLOv26 e YOLOv11) para implantação em FPGAs da AMD ao aproximar mecanismos de atenção e modificar operações para compatibilidade de hardware, alcançando até 3x menos consumo de energia e alto rendimento com apenas 5% de perda de precisão em seis conjuntos de dados de referência.

Autores originais: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Publicado 2026-07-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a enxergar o mundo. Você quer que ele identifique um gato, um carro ou uma pessoa instantaneamente, esteja eles de pé ou inclinados em um ângulo estranho. Este é o trabalho da "detecção de objetos", um superpoder para computadores que permite que eles entendam imagens e vídeos. Mas aqui está o problema: você não quer conectar este robô a uma enorme e faminta fazenda de servidores. Você quer que ele funcione em um pequeno dispositivo alimentado por bateria, como um drone ou uma câmera de segurança, bem onde a ação acontece. Isso é chamado de "computação de borda" (edge computing). Para fazer isso funcionar, os engenheiros usam chips especiais chamados FPGAs. Pense em um FPGA não como um cérebro fixo, mas como um conjunto de Lego de portas lógicas que você pode encaixar em qualquer formato que precisar, tornando-o incrivelmente rápido e eficiente em termos de energia. O grande desafio? Os "cérebros" mais inteligentes e modernos (modelos de IA) são frequentemente complexos demais para esses pequenos cérebros de Lego construídos sob medida. Eles usam truques matemáticos sofisticados que o conjunto de Lego não sabe como fazer, forçando o robô a desacelerar e pedir ajuda a um computador maior e mais lento.

Este artigo trata de um truque inteligente para fazer com que os modelos de IA de detecção de objetos mais novos e inteligentes funcionem suavemente nesses pequenos chips de Lego personalizados sem perder sua inteligência. Os pesquisadores pegaram dois dos modelos de IA mais recentes e avançados, chamados YOLOv26 e YOLOv11, e deram a eles uma transformação "consciente de DPU" (DPU-aware). Um DPU é um tipo específico de acelerador de hardware integrado nesses chips, e ele possui um livro de regras rigoroso: ele não pode realizar certas operações matemáticas sofisticadas, como "dividir" dados de maneiras estranhas ou usar funções de ativação específicas. Os autores perceberam que, se tentassem executar os modelos exatamente como são, o chip ficaria travado e o robô seria lento. Então, eles construíram uma camada de tradução. Eles substituíram os truques matemáticos proibidos por versões simplificadas e aprovadas que o chip adora. Por exemplo, eles trocaram um mecanismo complexo de "atenção espacial" — que ajuda a IA a focar em partes importantes de uma imagem — por uma aproximação mais simples que utiliza blocos de construção padrão. Eles também substituíram funções de ativação não suportadas por outras que o chip reconhece.

A equipe testou esses modelos modificados em um chip real chamado Xilinx ZCU104, usando uma variedade de conjuntos de dados, desde cenas de rua padrão até fotos aéreas onde os objetos estão rotacionados. Eles mediram tudo: a rapidez com que o robô detecta coisas (quadros por segundo), quanta energia ele consumiu e qual precisão ele manteve. Os resultados foram promissores. Ao fazer essas modificações arquiteturais específicas, eles conseguiram fazer com que os modelos rodassem em velocidades impressionantes — até 34,05 quadros por segundo para detecção padrão e 29,55 quadros por segundo para detectar objetos rotacionados. Isso é rápido o suficiente para aplicações em tempo real, como direção autônoma ou navegação de drones. No entanto, houve um pequeno preço a pagar: a precisão caiu cerca de 5% em comparação com a execução dos modelos em um computador potente, um compromisso que os autores observam ser comum ao espremer IAs complexas em hardware minúsculo. Eles também descobriram que, embora o chip em si ficasse mais rápido à medida que utilizavam configurações mais potentes, a etapa final de limpeza dos resultados (chamada de pós-processamento) tornou-se um gargalo, diminuindo a velocidade geral. Em última análise, o artigo sugere que, com as modificações personalizadas adequadas, mesmo os modelos de IA mais modernos podem ser implantados de forma eficiente em dispositivos de borda, oferecendo um ponto ideal entre velocidade, potência e precisão.

Resumo Técnico: Sem Atenção, Sem Problema: Aproximação de Atenção Consciente de DPU em YOLO Moderno em FPGA

Definição do Problema
A Inteligência Artificial (IA) baseada em borda (edge) requer um equilíbrio delicado entre precisão, velocidade e eficiência energética, particularmente para detecção de objetos em tempo real. Embora os Field-Programmable Gate Arrays (FPGAs) ofereçam alto desempenho com baixo consumo de energia por meio de hardware reconfigurável, implantar modelos de detecção de objetos de última geração (SOTA) em System-on-Chips (SoCs) baseados em FPGA apresenta desafios significativos. Especificamente, variantes modernas do YOLO (como YOLOv11 e YOLOv26) utilizam componentes complexos como mecanismos de atenção espacial, funções de ativação específicas (ex: SiLU) e operações de divisão (split) que não são suportadas nativamente por Unidades de Processamento de Aprendizado Profundo (DPUs) comerciais como o AMD Xilinx DPUCZDX8G. Quando esses operadores não suportados são encontrados, a execução recai sobre a CPU, criando gargalos que anulam os ganhos de eficiência da aceleração de hardware. Além disso, a literatura existente foca amplamente em versões anteriores do YOLO ou em caixas delimitadoras horizontais padrão, deixando arquiteturas modernas baseadas em atenção e detecção de objetos orientados (OBB) subexploradas no contexto de implantação em FPGA.

Metodologia
Os autores propõem uma estrutura sistemática para adaptar modelos YOLO modernos, baseados em atenção, para implantação no SoC AMD Xilinx ZCU104 FPGA usando a ferramenta Vitis AI. A metodologia envolve quatro estágios principais:

Preparação do Conjunto de Dados: O estudo utiliza seis conjuntos de dados de referência cobrindo tanto a detecção de objetos padrão (horizontal) quanto a orientada: COCO, Pascal VOC e KITTI para tarefas padrão; DOTA e DIOR-R para tarefas orientadas; e um conjunto de dados personalizado de presença humana.
Adaptação de Arquitetura Consciente de DPU: Para garantir a execução total no DPU, os autores modificam as arquiteturas dos modelos (YOLOv8, YOLOv11 e YOLOv26, incluindo variantes OBB) para substituir componentes não suportados:
- Funções de Ativação: A unidade de ativação Sigmoid Linear Unit (SiLU), não suportada, é substituída pela Rectified Linear Unit (ReLU).
- Operações de Divisão (Split): Em blocos de fusão de características (ex: C2f), operações de divisão não suportadas são substituídas por operações equivalentes de convolução $1 \times 1$ . Os pesos são inicializados como matrizes de seleção binária para replicar o comportamento de divisão de canais.
- Aproximação do Mecanismo de Atenção: Os complexos módulos de atenção espacial (ex: C2PSA em YOLOv11), que dependem de operações não suportadas como reshape, transpose, multiplicação de matrizes e Softmax, são aproximados. Os autores propõem uma versão compatível com DPU usando convoluções paralelas $1 \times 1$ para extrair características de Query, Key e Value, aproximando os pesos de atenção via produtos elemento a elemento escalonados, substituindo o Softmax por Hard-Sigmoid, e projetando os resultados de volta via convoluções $1 \times 1$ .
Treinamento e Quantização: Os modelos são treinados usando a biblioteca Ultralytics com precisão mista (FP16). A Quantização Pós-Treinamento (PTQ) é aplicada para converter os modelos de ponto flutuante de 32 bits para representação de inteiro de 8 bits, um passo necessário para a implantação no DPU.
Compilação e Implantação: Os modelos quantizados são compilados usando o compilador Vitis AI visando oito diferentes configurações de núcleo de IP DPUCZDX8G (B512 a B4096). O design de hardware é reconstruído usando Vivado e Vitis para gerar bitstreams e imagens de implantação para o ZCU104.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

Arquitetura Customizada: Apresenta uma arquitetura de aproximação de atenção consciente de DPU que permite a implantação de variantes YOLO modernas, baseadas em atenção (v11 e v26), em SoCs FPGA comerciais.
Benchmarking Abrangente: Fornece uma avaliação de desempenho de ponta a ponta desses modelos em tarefas de detecção de objetos padrão e orientados usando conjuntos de dados de última geração.
Análise Arquitetural: Oferece uma análise detalhada de desempenho (latência, FPS, potência, utilização de recursos) em todas as oito configurações de núcleo de IP DPUCZDX8G.
Linha de Base Quantitativa: O trabalho estabelece uma linha de base quantitativa para a implantação de modelos de detecção de caixa delimitadora padrão e orientada em SoCs FPGA usando a ferramenta Vitis AI.

Resultos
O estudo avalia os modelos modificados através de todos os conjuntos de dados e configurações de DPU:

Precisão: As modificações arquiteturais (substituição de SiLU, aproximação de atenção) resultaram em uma redução absoluta média de aproximadamente 3% no mAP@0.5:0.95 em comparação com os modelos originais em FP32. A subsequente implantação em FPGA (envolvendo quantização de 8 bits) levou a uma redução adicional média de cerca de 7% em relação à execução em CPU, resultando em uma queda de precisão total de aproximadamente 5% para o sistema final implantado.
Desempenho: O YOLOv26n e o YOLOv26n-OBB alcançaram o maior throughput de ponta a ponta. Na maior configuração de DPU (B4096), eles atingiram 34,05 FPS para detecção padrão e 29,55 FPS para detecção orientada.
Latência e Gargalos: Embora o FPS específico do DPU tenha aumentado e a latência tenha diminuído conforme a arquitetura do DPU escalava de B512 para B4096, um hiato significativo permaneceu entre o desempenho do DPU e o desempenho de ponta a ponta. Os autores identificam o pós-processamento (especificamente o Non-Maximum Suppression ou NMS) como um gargalo crítico, pois ele é executado em um único núcleo de CPU, limitando o throughput geral independentemente da capacidade do DPU.
Eficiência: A configuração B4096 consumiu até 8,760 W, representando um aumento de 83% sobre a configuração B512 (4,792 W). Apesar disso, os autores afirmam que a solução atinge aproximadamente 3× menos consumo de energia em comparação com alternativas de última geração.

Significância
O artigo afirma que seu trabalho aborda uma lacuna crítica na literatura ao permitir a implantação das arquiteturas YOLO mais recentes, baseadas em atenção, em FPGAs, uma tarefa anteriormente dificultada por incompatibilidades de hardware. Ao adaptar sistematicamente esses modelos e realizar o benchmarking em diversos conjuntos de dados e configurações de DPU, o estudo fornece um roteiro prático para desenvolvedores de IA de borda. Os resultados demonstram que, embora uma troca em precisão (aprox. 5%) seja necessária para quantização e adaptação de hardware, a abordagem gera ganhos significativos em eficiência energética e throughput em tempo real, tornando-a viável para aplicações como condução autônoma, navegação de drones e vigilância. Os autores observam modestamente que o trabalho futuro focará em remover as dependências de NMS para aliviar ainda mais o gargalo de pós-processamento e melhorar o desempenho de ponta a ponta.

Mais como este