Resumo Técnico: FrequencyFormer

1. Definição do Problema

A implantação de Vision Transformers (ViTs) em sistemas de borda de sensores é fundamentalmente limitada não pela computação no dispositivo, mas pelos custos de energia e largura de banda associados à transmissão de dados de imagem brutos de alta dimensão do sensor para o processador. Em arquiteturas típicas de visão de borda, o quadro de resolução total deve percorrer uma interface off-chip (ex: MIPI) antes que qualquer inferência comece. À medida que os modelos de backbone são otimizados para implantação em borda (ex: via quantização e poda), a energia de computação diminui, fazendo com que a energia de comunicação domine o orçamento energético total do sistema.

Paradigmas existentes de computação in-sensor e near-sensor tentam mitigar isso realizando a extração de características precoce no sensor. No entanto, as abordagens atuais alcançam apenas reduções modestas de compressão (tipicamente até 10×), o que muitas vezes não justifica a complexidade e o custo de silício adicionais. Os autores argumentam que uma redução mais dramática no volume de dados é necessária para alterar fundamentalmente o equilíbrio de energia do sistema.

2. Metodologia

O artigo propõe o FrequencyFormer, um pipeline co-projetado de sensor-para-processador que utiliza o domínio da frequência para alcançar uma tokenização de alta compressão. O pipeline consiste em três componentes fortemente integrados:

2.1 Tokenizador de Domínio de Frequência Multiescala

O primeiro componente transforma uma imagem bruta de 224×224 (convertida para YCbCr) em uma sequência compacta de tokens de frequência. Isso é alcançado através de três ramos paralelos:

• Ramo 1 (Local, blocos de 8×8): Aplica DCT (Transformada Discreta de Cosseno) por blocos para capturar texturas e arestas finas.
• Ramo 2 (Escala média, blocos de 32×32): Aplica DCT por blocos para capturar padrões estruturais e contornos de objetos.
• Ramo 3 (Global, imagem completa): Aplica DCT global para capturar o layout da cena e a iluminação.

Técnicas Principais:

• Poda de DCT Consciente de Seleção: Em vez de reter todos os coeficientes, o sistema seleciona um subconjunto de coeficientes (ex: 14 para blocos de 8×8) com base na ordem de varredura zigzag JPEG (baixa-para-alta frequência). Isso permite podar a matriz de base DCT $C$, reduzindo a complexidade computacional de $O(N^3)$ para $O((R+S) \cdot N^2)$.
• Quantização Consciente de Harmônicos (HAQ): Reconhecendo que harmônicos de alta frequência contêm menos energia semântica, o sistema atribui larguras de bits menores (ex: INT4) para linhas de alta frequência e larguras de bits maiores (ex: INT8) para linhas de baixa frequência. Isso é implementado via truncamento de bits sem sobrecarga adicional de armazenamento.
• Fusão de Múltiplos Ramos: Um mecanismo de atenção cruzada em cascata funde os tokens dos três ramos, permitindo que detalhes locais atendam ao contexto global antes de serem projetados para a dimensão de embedding do backbone.
• Compatibilidade: O tokenizador atua como um substituto direto (drop-in replacement) para camadas padrão de patch embedding, preservando a compatabilidade com backbones de ViT pré-treinados (ViT-Tiny, ViT-Base, Swin-Tiny, EfficientFormer-L1).

2.2 Realização de Hardware Baseada em LUT

Para implementar o tokenizador em um chip de lógica near-sensor, os autores exploram a natureza de coeficientes fixos da DCT.

• Aceleração por Tabela de Consulta (LUT): Como os coeficientes de DCT são constantes, as operações de multiplicação são substituídas por buscas em memória pré-computadas armazenadas em LUTs apoiadas por ROM. Isso elimina a necessidade de multiplicadores e sobrecarga de SRAM.
• Estratégia de Dividir e Conquistar (D&C): Para gerenciar o crescimento exponencial de armazenamento das LUTs com a largura de bits, o sistema usa uma abordagem D&C, decompondo multiplicações de alta precisão em sub-LUTs de baixa precisão combinadas via shift-and-add.
• Precisão Mista: O hardware aproveita o esquema HAQ, usando LUTs menores para componentes de alta frequência (INT4) e LUTs maiores para componentes de baixa frequência (INT8), reduzindo significativamente a área e a potência.

2.3 Interface de Comunicação de Baixo Consumo

O pipeline utiliza uma arquitetura MIPI modificada projetada para complexidade assimétrica.

• Receptor Integrador (IR): O receptor (Rx) é aprimorado com um integrador dinâmico precedendo o comparador. Esta integração temporal melhora a Relação Sinal-Ruído (SNR), permitindo que o transmissor (Tx) opere com uma oscilação de voltagem significativamente menor, mantendo uma baixa Taxa de Erro de Bit (BER).
• Economia de Energia: Este design desloca a complexidade para o receptor (que pode ser implementado em um FPGA ou backend customizado) para reduzir drasticamente a energia por bit no lado do transmissor do sensor.

3. Contribuições Principais

1. Tokenização no Domínio da Frequência: Um tokenizador inovador que comprime imagens de 224×224 em tokens de frequência compactos com uma redução de até 128× no volume de dados off-chip, mantendo uma precisão competitiva.
2. Acelerador Near-Sensor Baseado em LUT: Uma realização de hardware que elimina multiplicadores ao fixar os coeficientes de DCT em ROM, alcançando alta eficiência energética (28.8 TOPS/W) e permitindo operação de precisão mista sem análise de sensibilidade livre de treinamento.
3. Comunicação Co-projetada: Uma interface MIPI assimétrica que reduz a energia de comunicação por bit em 1.8× através de tecnologia de receptor integrador, complementando a redução de largura de banda.
4. Validação em Nível de Sistema: Uma avaliação abrangente demonstrando que o pipeline completo reduz a energia total do lado do sensor em 2.22× e a energia de comunicação em ≈230× em comparação com arquiteturas convencionais, em tarefas de classificação, detecção e segmentação.

4. Resultados Experimentais

Os autores avaliaram o FrequencyFormer no CIFAR-10, Tiny-ImageNet, Visual Wake Words (VWW) e COCO (detecção/segmentação).

• Precisão: O sistema mantém uma precisão próxima à do baseline. Por exemplo, no CIFAR-10 com um backbone ViT-Tiny e configuração de 24 canais INT8-HAQ, ele atinge 92.89% de precisão, comparado a 93.77% para o baseline padrão FP16 (uma queda de <1%).
• Eficiência Energética: A realização baseada em LUT alcança 28.8 TOPS/W, que é 2.5× superior a trabalhos anteriores de in-/near-sensor (ex: DPCE com 11.49 TOPS/W).
• Redução de Comunicação: A combinação da compressão no domínio da frequência (redução de dados de 128×) e a interface de baixo consumo resulta em uma redução de 230× na energia de comunicação por quadro.
• Sobrecarga de Hardware: A implementação LUT reduz a sobrecarga de área em aproximadamente 29.5× em comparação com arrays LUT tradicionais e 1.24× em comparação com multiplicadores de array para precisão uniforme. Com HAQ, as economias de área e energia são ainda mais potencializadas (até 45.9% de redução de área).

5. Significância e Alegações

O artigo afirma que o FrequencyFormer estabelece a tokenização no domínio da frequência como uma base viável para a implantação escalável de ViT in-sensor. Sua principal significância reside em abordar o "gargalo de comunicação" que foi negligenciado em favor da otimização de computação.

Os autores enfatizam que, ao explorar a compactação natural do domínio da frequência (via DCT) e co-projetar a lógica do sensor, a interface de comunicação e o pipeline do processador, eles alcançam um sistema onde a energia de comunicação torna-se insignificante (<1% do total), em vez de dominante. Eles afirmam que esta abordagem permite a implantação de backbones ViT de estado da arte em resolução total (224×224) em dispositivos de borda com degradação mínima de precisão e economia substancial de energia, sem exigir mudanças arquiteturais nos backbones pré-treinados. O trabalho é apresentado como um "substituto direto" que preenche a lacuna entre a captura pelo sensor e a inferência do transformer.