VeloxNet: Efficient Spatial Gating for Lightweight Embedded Image Classification

Resumen Técnico: VeloxNet

1. Planteamiento del Problema

La implementación de modelos de aprendizaje profundo en dispositivos embebidos (como drones para monitoreo de desastres o sistemas de inspección de infraestructura) enfrenta restricciones estrictas de tamaño de modelo, memoria y latencia de inferencia.

• El Dilema: Existe una compensación tradicional (trade-off) entre la precisión y la eficiencia. Reducir el tamaño del modelo suele degradar la precisión.
• Limitaciones Actuales: Arquitecturas ligeras existentes, como SqueezeNet, utilizan módulos "Fire" que dependen de convoluciones locales (receptores de campo pequeños, típicamente 3x3). Esto limita la capacidad del modelo para capturar dependencias espaciales globales, esenciales en imágenes aéreas donde el contexto espacial es crucial (ej. distinguir una inundación de un edificio colapsado).
• Brecha de Investigación: Aunque las redes MLP con puertas (Gated MLPs o gMLP) han demostrado ser efectivas en tareas a gran escala, no se ha explorado su integración en arquitecturas CNN ligeras para escenarios con recursos limitados ni en dominios específicos como la imagen aérea.

2. Metodología: VeloxNet

El artículo propone VeloxNet, una arquitectura CNN ligera que reemplaza los módulos Fire de SqueezeNet con bloques gMLP (Gated Multi-Layer Perceptron) optimizados para hardware embebido.

• Núcleo Innovador: Unidad de Puerta Espacial (SGU)

  • En lugar de convoluciones, cada bloque gMLP utiliza una SGU que aplica proyecciones espaciales aprendidas y un enmascaramiento multiplicativo.
  • Mecanismo: Divide las características en dos canales ($Z_1, Z_2$). Aplica una proyección espacial lineal (con pesos $W_g$) a una mitad y la multiplica elemento a elemento con la otra mitad: $SGU(Z) = Z_1 \odot (W_g \cdot \text{LayerNorm}(Z_2) + b_g)$.
  • Ventaja: Esto permite que cada posición espacial interactúe con todas las demás en una sola capa, proporcionando un campo receptivo global sin el costo cuadrático de la atención auto-organizada (Self-Attention).

• Diseño Arquitectónico

  • Topología: Mantiene la estructura general de SqueezeNet (convolución inicial, tres etapas de agrupación, clasificador final) pero sustituye los 8 módulos Fire por 8 bloques gMLP idénticos.
  • Optimizaciones para Embebido:
    • Dimensiones Fijas: Utiliza un canal fijo de 156 canales en todos los bloques, evitando el cuello de botella de compresión/expansión variable de los módulos Fire.
    • Normalización Simplificada: Aplica una sola capa de normalización por bloque.
    • Proyecciones Compactas: Las proyecciones espaciales se ajustan al tamaño del mapa de características, reduciendo parámetros cuando el espacio es pequeño.

3. Contribuciones Clave

1. Integración Arquitectónica: Demuestra que los bloques gMLP pueden reemplazar directamente a los módulos Fire en SqueezeNet, mejorando la precisión y reduciendo parámetros simultáneamente.
2. Eficiencia de Diseño: Propone configuraciones específicas para hardware embebido (canales fijos, proyecciones compactas) que hacen viable el uso de gMLP en dispositivos con recursos limitados.
3. Evaluación en Dominio Específico: Validación exhaustiva en tres conjuntos de datos de imágenes aéreas para respuesta a desastres y defectos de infraestructura, un área no cubierta en trabajos previos de gMLP.
4. Análisis Comparativo: Proporciona una comparación detallada a nivel de parámetros y modelado espacial entre módulos Fire y bloques gMLP.

4. Resultados Experimentales

El modelo se evaluó en tres conjuntos de datos: AIDER (respuesta a emergencias), CDD (desastres integrales) y LDD (defectos de diques), comparándose contra 11 baselines (MobileNet, ShuffleNet, EfficientNet, Vision Transformers, etc.).

• Eficiencia de Parámetros:

  • VeloxNet tiene 399,366 parámetros, lo que representa una reducción del 46.1% en comparación con SqueezeNet (740,970).
  • Es significativamente más pequeño que MobileNetV1, V2 y V3.
  • Tamaño del modelo: 1.52 MB (el más pequeño de todos los probados).

• Rendimiento de Precisión (Puntuación F1 Ponderada):
  VeloxNet superó a todos los baselines en los tres conjuntos de datos:

  • AIDER: 81.57% (vs. 75.25% de SqueezeNet). Mejora de +6.32%.
  • CDD: 77.46% (vs. 46.63% de SqueezeNet). Mejora masiva de +30.83%, destacando la capacidad del modelo para manejar la diversidad visual de desastres.
  • LDD: 91.85% (vs. 89.34% de SqueezeNet). Mejora de +2.51%.

• Velocidad y Costo Computacional:

  • FLOPs: 461M (mayor que ShuffleNet pero menor que la mayoría de los baselines).
  • Velocidad de inferencia: ~347-358 FPS, competitivo con SqueezeNet y más rápido que la mayoría de los modelos grandes.

• Estudio de Ablación:

  • La eliminación de las conexiones residuales causó la mayor caída de rendimiento (-7.38%), indicando su importancia para la estabilidad.
  • La eliminación de la SGU redujo la precisión en un 3.74%, confirmando que el modelado espacial global es el factor clave de mejora.
  • La profundidad de 8 bloques y 156 canales se identificaron como el punto óptimo entre precisión y tamaño.

5. Significado e Impacto

• Superación de la Frontera de Pareto: VeloxNet demuestra que es posible romper la compensación tradicional entre precisión y eficiencia. Al cambiar de convoluciones locales a puertas espaciales globales, se logra mayor precisión con menos parámetros.
• Aplicabilidad en Emergencias: La mejora significativa en el conjunto de datos CDD sugiere que el modelado espacial global es superior para tareas de visión por computadora en desastres, donde el contexto global (ej. la extensión de una inundación) es más importante que las texturas locales.
• Viabilidad en Dispositivos Embebidos: Al reducir el tamaño del modelo a menos de 1.5 MB y mantener una alta precisión, VeloxNet habilita el despliegue de IA avanzada en drones y sistemas de inspección con recursos limitados, sin depender de la nube.

En conclusión, el trabajo valida que sustituir módulos de convolución local por bloques de puerta espacial (gMLP) es una estrategia efectiva para la clasificación de imágenes en entornos embebidos, ofreciendo una arquitectura más eficiente y precisa para aplicaciones críticas como el monitoreo de desastres.