⚡ electrical engineering

FrequencyFormer: A Co-Designed Sensor-to-Processor Pipeline for Frequency-Domain Vision Transformer Inference

FrequencyFormer es una canalización de sensor a procesador codiseñada que aprovecha un tokenizador DCT multiescala y hardware cercano al sensor para comprimir datos visuales en el dominio de la frecuencia, logrando reducciones significativas en el volumen de datos fuera del chip y en el consumo de energía, al tiempo que permite la inferencia eficiente de Vision Transformers en sistemas de borde.

Autores originales: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Publicado 2026-06-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una cámara de seguridad de alta tecnología (el sensor) y un cerebro súper inteligente (el procesador) que necesita mirar las fotos para identificar qué está pasando. Normalmente, estos dos están en chips separados.

El problema es que enviar una foto completa de alta definición desde la cámara al cerebro es como intentar enviar por correo una enciclopedia gigante y pesada solo para mostrarle a alguien una única foto de un gato. Requiere mucha energía y ancho de banda, y ralentiza todo el proceso. Incluso si el cerebro llega a ser muy bueno pensando rápido, todavía pasa la mayor parte de su tiempo y energía esperando a que llegue esa "enciclopedia" pesada.

FrequencyFormer es un nuevo sistema diseñado para solucionar este cuello de botella. En lugar de enviar la enciclopedia completa, resume la foto en una "postal" diminuta y eficiente directamente en la cámara antes de enviarla.

Así es como funciona, dividido en tres sencillos pasos:

1. El creador de "Postales" (El Tokenizador)

En lugar de enviar cada uno de los píxeles de la imagen, la cámara utiliza un truco matemático llamado DCT (Transformada de Coseno Discreta).

La analogía: Piensa en una canción. Una canción tiene una línea de bajo profunda (frecuencia baja) y chirridos agudos (frecuencia alta). Si quisieras describirle la canción a un amigo, la mayoría de las veces te importarían la melodía principal y el bajo; los diminutos chirridos agudos a menudo no cambian cómo reconoces la canción.
Qué hace: FrequencyFormer observa la imagen y separa las partes "importantes" (las formas y colores principales) de los "detalles diminutos" (el ruido de alta frecuencia). Elimina los detalles diminutos y conserva solo la "melodía" esencial de la imagen.
El resultado: Reduce el tamaño de los datos 128 veces. En lugar de enviar un archivo masivo, envía una lista de números comprimida y diminuta que sigue diciéndole al cerebro exactamente qué es la imagen.

2. La "Calculadora Especializada" (El Hardware LUT)

Normalmente, las computadoras hacen matemáticas multiplicando números, lo cual es como usar un martillo pesado y que consume mucha energía para romper una nuez.

La analogía: Imagina que tienes que resolver el mismo problema matemático una y otra vez. En lugar de hacer la matemática cada vez, escribes las respuestas en un cuaderno gigante (una Tabla de Búsqueda o LUT) de antemano. Cuando necesitas una respuesta, simplemente pasas la página y la lees.
Qué hace: Debido a que el "Creador de Postales" utiliza reglas matemáticas fijas e invariables, los investigadores construyeron un chip especial que no realiza multiplicaciones en absoluto. Simplemente busca respuestas precalculadas en un pequeño y eficiente cuaderno de memoria.
El resultado: Esto hace que el chip de la cámara sea increíblemente rápido y consuma muy poca batería, porque no necesita maquinaria pesada para realizar el trabajo.

3. El "Cable que Susurra" (La Interfaz de Bajo Consumo)

Incluso con una postal diminuta, enviar la información a través de un cable suele requerir mucha "exclamación" eléctrica para asegurar que el mensaje pase sin errores.

La analogía: Imagina que le susurras un secreto a un amigo. Si solo susurras, es posible que no te escuche. Pero si pones una taza cerca de tu oído para captar mejor el sonido, puedes susurrar mucho más suave y él aún podrá escucharte con claridad.
Qué hace: Los investigadores cambiaron el receptor (el oído) en el lado del procesador. Añadieron un "captador de sonido" (un integrador) que recoge la señal a lo largo del tiempo. Esto permite que la cámara envíe los datos con una señal eléctrica mucho más débil y silenciosa.
El resultado: El cable utiliza significente menos energía para transmitir los datos.

El panorama general

Cuando combinas estas tres partes:

Comprimir la imagen en una pequeña postal (128 veces más pequeña).
Calcular esa postal con un sistema de cuaderno supereficiente.
Susurrar los datos a través del cable en lugar de gritar.

El sistema ahorra una cantidad masiva de energía. El artículo afirma que, en comparación con los sistemas estándar, este nuevo flujo de trabajo reduce la energía necesaria para enviar datos aproximadamente 230 veces y la energía total utilizada por el lado de la cámara 2.2 veces.

¿Por qué es esto importante?
Permite que una IA potente (como los Vision Transformers) se ejecute en dispositivos pequeños que funcionan con batería (como cámaras de seguridad o drones) sin agotar la batería o necesitar una computadora gigante cerca. Lo mejor de todo es que funciona como una pieza de "conectar y usar". Puedes integrarlo en sistemas de IA existentes sin tener que reconstruir todo el cerebro, y aun así reconoce objetos, personas y escenas con casi la misma precisión que el sistema pesado original.

Resumen Técnico: FrequencyFormer

1. Declaración del Problema

El despliegue de Vision Transformers (ViTs) en sistemas de borde con sensores (sensor-edge) está fundamentalmente limitado no por la computación en el dispositivo, sino por los costos de energía y ancho de banda asociados con la transmisión de datos de imágenes crudas de alta dimensión desde el sensor al procesador. En las arquitecturas típicas de visión en el borde, el cuadro de resolución completa debe atravesar una interfaz fuera del chip (por ejemplo, MIPI) antes de que comience cualquier inferencia. A medida que los modelos de backbone se optimizan para el despliegue en el borde (por ejemplo, mediante cuantización y poda), la energía de cómputo disminuye, lo que provoca que la energía de comunicación domine el presupuesto energético total del sistema.

Los paradigmas actuales de computación dentro del sensor o cerca del sensor intentan mitigar esto realizando una extracción de características temprana en el sensor. Sin embargo, los enfoques actuales logran relaciones de compresión modestas (típicamente hasta 10×), lo que a menudo no justifica la complejidad y el costo adicionales del silicio. Los autores argumentan que se requiere una reducción más drástica en el volumen de datos para alterar fundamentalmente el equilibrio energético del sistema.

2. Metodología

El artículo propone FrequencyFormer, un pipeline co-diseñado de sensor a procesador que aprovecha el dominio de la frecuencia para lograr una tokenización de alta compresión. El pipeline consta de tres componentes estrechamente integrados:

2.1 Tokenizador de Dominio de Frecuencia Multiescala

El primer componente transforma una imagen de entrada cruda de 224×224 (convertida a YCbCr) en una secuencia compacta de tokens de frecuencia. Esto se logra a través de tres ramas paralelas:

Rama 1 (Local, bloques de 8×8): Aplica la Transformada Discreta de Coseno (DCT) por bloques para capturar texturas y bordes de grano fino.
Rama 2 (Escala media, bloques de 32×32): Aplica DCT por bloques para capturar patrones estructurales y contornos de objetos.
Rama 3 (Global, imagen completa): Aplica DCT global para capturar la disposición de la escena e iluminación.

Técnicas Clave:

Poda de DCT sensible a la selección: En lugar de retener todos los coeficientes, el sistema selecciona un subconjunto de coeficientes (por ejemplo, 14 para bloques de 8×8) basándose en el orden de escaneo zigzag de JPEG (frecuencia baja a alta). Esto permite podar la matriz de la base DCT $C$ , reduciendo la complejidad computacional de $O(N^3)$ a $O((R+S) \cdot N^2)$ .
Cuantización Consciente de Armónicos (HAQ): Reconociendo que los armónicos de alta frecuencia contienen menos energía semántica, el sistema asigna anchos de bits menores (por ejemplo, INT4) a las filas de alta frecuencia y anchos de bits mayores (por ejemplo, INT8) a las filas de baja frecuencia. Esto se implementa mediante la truncación de bits sin sobrecarga de almacenamiento adicional.
Fusión de múltiples ramas: Un mecanismo de atención cruzada en cascada fusiona los tokens de las tres ramas, permitiendo que los detalles locales atiendan al contexto global antes de ser proyectados a la dimensión de incrustación (embedding) del backbone.
Compatibilidad: El tokenizador actúa como un reemplazo directo para las capas de incrustación de parches estándar, preservando la compatibilidad con backbones de ViT preentrenados (ViT-Tiny, ViT-Base, Swin-Tiny, EfficientFormer-L1).

2.2 Realización de Hardware Basada en LUT

Para implementar el tokenizador en un chip de lógica cerca del sensor, los autores explotan la naturaleza de coeficientes fijos de la DCT.

Aceleración basada en tablas de búsqueda (LUT): Dado que los coeficientes de la DCT son constantes, las operaciones de multiplicación se reemplazan por búsquedas en memoria precomputadas almacenadas en LUTs respaldadas por ROM. Esto elimina la necesidad de multiplicadores y la sobrecarga de SRAM.
Estrategia de Divide y Vencerás (D&C): Para gestionar el crecimiento exponencial del almacenamiento de las LUT con el ancho de bits, el sistema utiliza un enfoque D&C, descomponiendo las multiplicaciones de alta precisión en sub-LUTs de baja precisión combinadas mediante desplazamiento y suma (shift-and-add).
Precisión Mixta: El hardware aprovecha el esquema HAQ, utilizando LUTs más pequeñas para los componentes de alta frecuencia (INT4) y LUTs más grandes para los de baja frecuencia (INT8), reduciendo significativamente el área y la potencia.

2.3 Interfaz de Comunicación de Bajo Consumo

El pipeline utiliza una arquitectura de Interfaz de Procesador de la Industria Móvil (MIPI) modificada, diseñada para una complejidad asimétrica.

Receptor Integrador (IR): El receptor (Rx) se mejora con un integrador dinámico que precede al comparador. Esta integración temporal mejora la Relación Señal-Ruido (SNR), permitiendo que el transmisor (Tx) opere a un voltaje de oscilación significativamente menor manteniendo una baja Tasa de Error de Bit (BER).
Ahorro de Energía: Este diseño desplaza la complejidad hacia el receptor (que puede implementarse en un FPGA o un backend personalizado) para reducir drásticamente la energía por bit en el transmisor del lado del sensor.

3. Contribuciones Clave

Tokenización en el Dominio de la Frecuencia: Un tokenizador novedoso que comprime imágenes de 224×224 en tokens de frecuencia compactos con una reducción de hasta 128× en el volumen de datos fuera del chip, manteniendo una precisión competitiva.
Acelerador Cerca del Sensor basado en LUT: Una realización de hardware que elimina los multiplicadores al cablear los coeficientes de la DCT en ROM, logiendo una alta eficiencia energética (28.8 TOPS/W) y permitiendo la operación de precisión mixta sin análisis de sensibilidad libre de entrenamiento.
Comunicación Co-diseñada: Una interfaz MIPI asimétrica que reduce la energía de comunicación por bit en 1.8× mediante la tecnología de receptor integrador, complementando la reducción de ancho de banda.
Validación a Nivel de Sistema: Una evaluación exhaustiva que demuestra que el pipeline completo reduce la energía total del lado del sensor en 2.22× y la energía de comunicación en ≈230× en comparación con las arquitecturas convencionales, a través de tareas de clasificación, detección y segmentación.

4. Resultados Experimentales

Los autores evaluaron FrequencyFormer en CIFAR-10, Tiny-ImageNet, Visual Wake Words (VWW) y COCO (detección/segmentación).

Precisión: El sistema mantiene una precisión cercana a la del baseline. Por ejemplo, en CIFAR-10 con un backbone ViT-Tiny y una configuración HAQ de 24 canales INT8, logra un 92.89% de precisión, comparado con el 93.77% del baseline estándar en FP16 (una caída de <1%).
Eficiencia Energética: La realización basada en LUT logra 28.8 TOPS/W, lo cual es 2.5× mayor que los trabajos previos de computación en/cerca del sensor (por ejemplo, DPCE a 11.49 TOPS/W).
Reducción de Comunicación: La combinación de la compresión en el dominio de la frecuencia (reducción de datos de 128×) y la interfaz de bajo consumo resulta en una reducción de la energía de comunicación de 230× por cuadro.
Sobrecarga de Hardware: La implementación de LUT reduce la sobrecarga de área aproximadamente en 29.5× en comparación con las matrices LUT tradicionales y 1.24× en comparación con los multiplicadores de matriz para precisión uniforme. Con HAQ, los ahorros de área y energía se ven potenciados (hasta un 45.9% de reducción de área).

5. Significado y Reivindicaciones

El artículo afirma que FrequencyFormer establece la tokenización en el dominio de la frecuencia como una base viable para el despliegue escalable de ViT en el sensor. Su principal importancia radica en abordar el "cuello de botella de la comunicación" que ha sido pasado por alto en favor de la optimización del cómputo.

Los autores enfatizan que, al explotar la compacidad natural del dominio de la frecuencia (vía DCT) y co-diseñar el sensor, la interfaz de comunicación y el pipeline del procesador, logran un sistema donde la energía de comunicación se vuelve insignificante (<1%) en lugar de dominante. Afirman que este enfoque permite el despliegue de backbones de ViT de última generación a resolución completa (224×224) en dispositivos de borde con una degradación de precisión mínima y ahorros de energía sustanciales, sin requerir cambios arquitectónicos en los backbones preentrenados. El trabajo se presenta como un "reemplazo directo" que cierra la brecha entre la captura del sensor y la inferencia del transformer.