💻 computer science

Hardware-aware Graph Neural Networks prunning for embedded event-based vision

Este artículo propone una estrategia de poda y cuantización sensible al hardware para Redes Neuronales Convolucionales de Grafos que optimiza la arquitectura del modelo para plataformas FPGA embebidas, logrando reducciones significativas de memoria BRAM con una pérdida mínima de precisión en diversos conjuntos de datos de visión basados en eventos.

Autores originales: Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Publicado 2026-07-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Piotr Wzorek, Kamil Jeziorek, Tomasz Kryjak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Hacer que las "cámaras de eventos" quepan en una mochila

Imagina que estás intentando meter una biblioteca gigante y de alta tecnología (un cerebro de IA complejo) en una mochila diminuta (una computadora embebida en un dron o un robot). Los libros son pesados y la mochila tiene un límite de peso estricto. Si intentas meter toda la biblioteca, la mochila se rompe o el robot no puede moverse.

Este artículo resuelve ese problema para un tipo específico de cámara llamada Cámara de Eventos.

La Cámara: A diferencia de las cámaras normales que toman una foto completa cada segundo (como una cámara de video), una cámara de eventos es como una habitación llena de personas que solo hablan cuando algo cambia. Si un pájaro vuela por la habitación, gritan "¡Pájaro!". Si una luz parpadea, gritan "¡Luz!". Si nada se mueve, permanecen en silencio. Esto crea un flujo de datos "disperso": mucho silencio, pero muy rápido y eficiente cuando algo sucede.
El Problema: Para entender este flujo de gritos, usamos un tipo especial de IA llamado Red Neuronal de Grafos (GCNN). Piensa en esta red como una enorme telaraña de conexiones. Sin embargo, la "telaraña" requiere mucha capacidad de almacenamiento interno (memoria) para mantener el registro de las conexiones. En robots pequeños, alimentados por batería, este almacenamiento es el mayor cuello de botella. Es como intentar llevar toda la biblioteca en tu mochila cuando solo tienes espacio para unos pocos folletos.

La Solución: Una estrategia de empaquetado inteligente

Los autores (Piotr, Kamil y Tomasz) desarrollaron una nueva forma de encoger este cerebro de IA para que quepa en la mochila sin perder su capacidad de reconocer objetos. Ellos lo llaman "Poda y Cuantización Conscientes del Hardware".

Así es como lo hicieron, dividido en tres pasos simples:

1. La "Poda" (Cortar la grasa)

Imagina que la red de IA es un árbol con miles de ramas. Algunas ramas son gruesas y transportan mucha información importante; otras son ramitas diminutas que apenas hacen nada.

Lo que hicieron: No cortaron las ramas al azar. Observaron el "mochila" específica (el chip FPGA) para la que estaban empacando. Se dieron cuenta de que la mochila tiene estantes de tamaños específicos (bloques de memoria).
El truco: Cortaron las ramas siguiendo un patrón muy específico para que el árbol restante encaje perfectamente en los estantes, sin dejar espacios vacíos desperdiciados. Esto se llama Poda Estructurada.

2. La "Cuantización" (Cambiar a cajas más pequeñas)

Normalmente, la IA almacena la información utilizando cajas muy grandes y pesadas (números de alta precisión).

Lo que hicieron: Decidieron cambiar a cajas más pequeñas y ligeras (números de menor precisión, como de 6 u 8 bits en lugar de 32 bits).
El resultado: Puedes meter mucha más información en el mismo espacio, pero las cajas son ligeramente menos precisas. Es como cambiar el almacenamiento de artículos en pesadas cajas de madera a cajas de cartón ligeras. Ahorras espacio, pero tienes que tener cuidado de no dejarlas caer.

3. La "Búsqueda" (Encontrar el ajuste perfecto)

La parte más difícil es decidir qué ramas cortar y qué tan pequeñas deben ser las cajas. Hay millones de combinaciones posibles.

La estrategia: Utilizaron dos métodos de búsqueda ingeniosos:
- Búsqueda de Rejilla Fina (FG): Como mirar un mapa y revisar cada intersección principal para encontrar la mejor ruta inicial.
- Profundización Iterativa Voraz por Capas (GLID): Como un excursionista que da un paso por un sendero, comprueba si la vista sigue siendo buena y, si lo es, da otro paso. Si la vista se vuelve demasiado mala, se detiene. Esto les permite encontrar el "punto ideal" donde la mochila es lo más ligera posible, pero la IA sigue siendo lo suficientemente inteligente para hacer su trabajo.

Los Resultados: Mochila más ligera, pero aún inteligente

Probaron este método en tres "bibliotecas" diferentes de datos (datasets):

MNIST-DVS: Reconocimiento de dígitos escritos a mano.
CIFAR-10: Reconocimiento de objetos cotidianos como coches y aviones.
N-Caltech101: Reconocimiento de objetos más complejos.

El Resultado:

Ahorro de Memoria: Lograron reducir el uso de memoria (específicamente la "BRAM" o Block RAM, que es el almacenamiento interno del chip) en un 26.5% a 31.4%.
Costo de Precisión: La IA se volvió un poco más "tonta", pero solo un poco. La precisión cayó entre un 1.65% y un 5.18%.
Prueba en el Mundo Real: De hecho, construyeron una versión física de esto en un chip real (la plataforma ZCU104). Funcionó perfectamente, corriendo a alta velocidad y sin errores, demostando que la estrategia de la "mochila más ligera" funciona en la vida real.

La Conclusión

Piensa en este artículo como un maestro empaquetador que descubrió cómo meter una biblioteca masiva en una mochila pequeña mediante:

Eliminando libros innecesarios (Poda).
Reemplazando libros de tapa dura por ediciones de bolsillo (Cuantización).
Usando un mapa inteligente para encontrar la combinación exacta que encaja perfectamente en los estantes (Los Métodos de Búsqueda).

El resultado es un cerebro robótico mucho más ligero y rápido, perfecto para drones y robots móviles, sin perder la capacidad de ver y comprender el mundo que lo rodea.

Resumen Técnico: Poda de Redes Neuronales de Grafos Sensibles al Hardware para Visión Basada en Eventos Embebida

Declaración del Problema

La robótica móvil y los sistemas autónomos requieren sensores de visión capaces de operar con un alto rendimiento en entornos dinámicos, cumpliendo al mismo tiempo con restricciones estrictas de latencia, rendimiento (throughput) y consumo de energía. Las cámaras basadas en eventos (sensores de visión dinámica o DVS) abordan estas necesidades capturando cambios en la escena de forma asíncrona con resolución de microsegundos, baja latencia y un alto rango dinámico. Sin embargo, procesar los datos resultantes, que son dispersos y de series temporales, de manera eficiente en plataformas embebidas sigue siendo un desafío significativo.

Mientras que las Redes Neuronales de Impulsos (SNN) preservan la dispersión temporal, a menudo sufren de una menor precisión y plantean desafíos para la aceleración por hardware en plataformas no neuromórficas debido a patrones de acceso a memoria no deterministas. Por el contrario, las Redes Convolucionales de Grafos (GCNN), que tratan los eventos como nodos de un grafo, ofrecen una alta precisión y son muy adecuadas para la aceleración por hardware. No obstante, el despliegue de las GCNN en plataformas FPGA heterogéneas con recursos limitados se ve dificultado por la alta utilización de la memoria interna en chip (BlockRAM y UltraRAM), particularmente para el almacenamiento de mapas de características entre capas. Cuando la DRAM externa no es factible debido a restricciones de latencia o energía, la memoria interna en chip se convierte en el principal cuello de botella, limitando el despliegue de modelos más grandes y precisos.

Metodología

Los autores proponen una estrategia de optimización sensible al hardware diseñada específicamente para la arquitectura de Redes Convolucionales de Grafos acelerada por FPGA para eventos (EFGCN). El objetivo central es minimizar la utilización de los recursos de memoria interna de la FPGA (específicamente BlockRAM de 36kb y UltraRAM de 288kb de doble puerto) manteniendo una alta precisión de clasificación.

La metodología integra dos técnicas primarias:

Poda Estructurada: A diferencia de la poda no estructurada, este enfoque elimina canales enteros (mapas de características de salida) basados en su posición en la matriz de pesos. La selección de canales está restringida por las propiedades matemáticas de los bloques de memoria de la FPGA de destino. Los autores derivan familias específicas de conteos de canales ( $C$ ) válidos que aseguran la utilización total de los bloques BRAM y URAM dado un nivel de precisión de cuantización ( $q$ ) específico. Esto evita la fragmentación de la memoria y asegura un empaquetado eficiente de recursos.
Cuantización: El método reduce la precisión de los vectores de características y la información de las aristas almacenada en memoria. Al reducir el ancho de bits ( $q$ ), el ancho de memoria requerido por canal disminuye, lo que permite tanto una reducción en el uso total de memoria como un aumento en la capacidad de canales dentro de la misma huella de memoria.

Para navegar por el vasto espacio de diseño (que excede los $7.8 \times 10^6$ posibles de configuraciones), los autores emplean un procedimiento de búsqueda en dos etapas:

Búsqueda de Rejilla Fina (FG - Fine Grid Search): Partiendo de una configuración base (máximo de canales, cuantización de 8 bits), el algoritmo realiza una búsqueda descendente a través de las capas y los niveles de cuantización. Evalúa las configuraciones basándose en una frontera de Pareto, equilibrando la calidad de la clasificación frente a la utilización de recursos para identificar un subconjunto prometedor de soluciones.
Búsqueda de Profundización Iterativa por Capas Codiciosa (GLID - Greedy Layer-wise Iterative Deepening Search): Esta etapa refina aún más las configuraciones seleccionadas. Reduce iterativamente la utilización de recursos capa por capa, seleccionando la modificación (paso de poda o cuantización) que produzca el mejor puntaje de calidad con el menor costo de recursos. El proceso termina cuando la caída de precisión supera un umbral predefinido.

Tras la búsqueda, los modelos seleccionados se someten a una fase de ajuste fino (fine-tuning) con una tasa de aprendizaje baja para recuperar la precisión perdida durante la compresión.

Principales Contribuciones

El artículo afirma las siguientes contribuciones primarias:

Primera Estrategia Sensible al Hardware para Event GCNNs: Los autores presentan el primer método que combina la poda y la cuantización sensibles al hardware específicamente para la visión basada en eventos y Redes Convolucionales de Grafos.
Adaptación Flexible de la Arquitectura: El método propuesto permite la selección flexible de la configuración final del modelo basándose en las restricciones de recursos específicas y los requisitos de precisión de la plataforma embebida de destino.
Desempeño Validado: El enfoque fue evaluado a través de múltiples conjuntos de datos y configuraciones de red, demostrando reducciones significativas en el uso de BRAM (26.5%–31.4%) con una degradación de precisión controlada (1.65%–5.18%).
Prueba de Concepto de Hardware: Se desarrolló y verificó un módulo de hardware en una plataforma FPGA heterogénea ZCU104, confirmando la efectividad de la estrategia de poda en una implementación del mundo real.

Resultados Experimentales

El método fue evaluado utilizando tres conjuntos de datos neuromórficos: MNIST-DVS, CIFAR-10-DVS y N-Caltech101. Los experimentos utilizaron un modelo EFGCN base con cinco capas convolucionales.

Reducción de Memoria: La estrategia de optimización logró reducciones de BRAM del 28.8% para CIFAR-10 (con una caída de precisión del 1.65%), 31.4% para MNIST-DVS (3.55% de caída de precisión) y 26.5% para N-Caltech101 (5.18% de caída de precisión).
Implementación de Hardware: En la plataforma ZCU104, el modelo optimizado final para MNIST-DVS demostró una reducción del 30.6% en el uso total de BRAM en comparación con el modelo base. Además, la utilización de recursos lógicos (LUTs y Flip-Flops) disminuyó aproximadamente un 34% y un 29%, respectivamente. Notablemente, la utilización de DSP aumentó un 54% debido a que la herramienta de síntesis mapeó ciertas multiplicaciones de 6 bits a bloques DSP, aunque el ahorro de memoria general fue el objetivo principal.
Eficiencia de Búsqueda: La búsqueda de dos etapas (FG seguida de GLID) demostró ser efectiva para encontrar configuraciones de alta calidad sin el costo computacional de una búsqueda exhaustiva en todo el espacio de diseño o del uso de algoritmos evolutivos complejos (que los autores señalaron que fallaron en converger en sus pruebas preliminares).

Significancia y Reivindicaciones

El artículo posiciona este trabajo como un paso crítico hacia la habilitación de la robótica móvil autónoma eficiente. Al abordar el cuello de botella de memoria inherente a las implementaciones de GCNN en FPGA, los autores permiten el despliegue de modelos de visión basados en eventos complejos en sistemas embebidos sin depender de la memoria externa, lo que introduciría una latencia y un gasto energético inaceptables.

Los autores enmarcan modestamente su contribución como una "primera exploración" de esta intersección específica (poda sensible al hardware para redes GCNN basadas en eventos). Enfatizan que el método permite un compromiso (trade-off) entre la precisión y el uso de recursos, proporcionando una herramienta para que los diseñadores de sistemas adapten los modelos a restricciones de hardware específicas. El trabajo no pretende resolver todos los desafíos de la visión basada en eventos, sino que se dirige específicamente a la optimización de la arquitectura EFGCN para plataformas heterogéneas embebidas, ofreciendo una vía práctica para desplegar sistemas de visión de alto rendimiento y baja latencia en drones y otros robots móviles.