HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search

Este artículo presenta HERCULES, un nuevo marco y taxonomía para la Búsqueda de Arquitecturas Neuronales que unifica los objetivos críticos de eficiencia de hardware, robustez y aprendizaje continuo para guiar el desarrollo de sistemas de IA desplegable y de aprendizaje a lo largo de la vida.

Lo esencial

Imagina que eres un arquitecto encargado de construir una casa. Durante mucho tiempo, lo único que importaba era que la casa se viera bien (alta precisión). Pero a medida que comenzamos a trasladar estas "casas" (modelos de IA) de los planos al mundo real, nos dimos cuenta de que verse bien no era suficiente.

Este artículo, titulado HERCULES, argumenta que para construir una casa de IA verdaderamente exitosa, necesitas equilibrar tres objetivos difíciles al mismo tiempo:

1. Eficiencia: La casa debe ser lo suficientemente pequeña para caber en un dispositivo diminuto alimentado por batería (como un reloj inteligente o un sensor), utilizando muy poca energía.
2. Robustez: La casa debe ser lo suficientemente sólida para soportar tormentas, terremotos o incluso a alguien intentando entrar (ataques adversarios o ruido en el hardware).
3. Aprendizaje Continuo: La casa debe ser capaz de crecer y cambiar con el tiempo. Si un nuevo miembro de la familia se muda (una nueva tarea), la casa debe expandirse para acomodarlos sin derrumbar las habitaciones antiguas (olvidar conocimientos previos).

El Problema: El Enfoque de "Silos"

Los autores señalan que los investigadores actuales de IA suelen construir casas centrándose en solo una de estas cosas.

• Algunos construyen casas diminutas que son eficientes energéticamente pero se desmoronan en una tormenta.
• Otros construyen casas tipo fortaleza que son súper resistentes pero demasiado pesadas para mover.
• Algunos construyen casas que pueden añadir nuevas habitaciones fácilmente, pero son tan grandes que agotan la batería instantáneamente.

El artículo afirma que en el mundo real, necesitas una casa que haga las tres cosas simultáneamente.

La Solución: El Marco HERCULES

Los autores proponen un nuevo marco llamado HERCULES (Búsqueda de Aprendizaje Continuo, Robusto y Eficiente en Hardware). Lo nombran así en honor al héroe griego Hércules porque, como el héroe, la tarea es "desalentadora".

Piensa en HERCULES como un Arquitecto Maestro que no solo dibuja un plano estático. En cambio, este arquitecto diseña una casa "viva" con dos características especiales:

1. El "Interruptor Inteligente" (Adaptabilidad Dinámica):
   Imagina una casa con un sistema de iluminación inteligente. Si solo estás caminando por el pasillo, las luces están tenues (ahorrando energía). Pero si estás cocinando una comida compleja, las luces se encienden brillantes (usando más energía para mejores resultados).

   • En el artículo: Esto se llama una Red Neuronal Dinámica. La IA puede elegir hacer un "pronóstico rápido" para tareas fáciles (ahorrando energía) o una "inmersión profunda" para tareas difíciles (asegurando precisión). También puede reconfigurar su cableado interno si el hardware empieza a fallar.

2. La "Expansión Modular" (Aprendizaje Continuo):
   Imagina una casa con una fundación mágica. Cuando llega un nuevo miembro de la familia, la casa puede añadir suavemente un nuevo ala sin derribar la antigua.

   • En el artículo: Esto resuelve el "olvido catastrófico". La IA aprende nuevas tareas expandiendo ligeramente su estructura, en lugar de sobrescribir sus antiguos recuerdos.

Las "Doce Tareas" de HERCULES

Al igual que Hércules tuvo que completar doce tareas imposibles, los autores dicen que construir esta IA perfecta requiere superar 12 desafíos específicos (o "trabajos"). Aquí hay algunos de los más importantes, traducidos a términos cotidianos:

• Trabajo 1: La Prueba del Mundo Real (Co-diseño de Hardware y Software).
  No calcules solo cuántos ladrillos necesitas en el papel. Debes probar la casa en el terreno real donde se levantará. El diseño de la IA debe tener en cuenta las peculiaridades específicas del chip en el que se ejecutará.
• Trabajo 2: La Prueba de la Tormenta (Robustez Escalable).
  No puedes esperar a un huracán para probar si tu casa es segura. Necesitas una manera de simular tormentas rápidamente durante la fase de diseño para asegurar que la casa no se derrumbará.
• Trabajo 3: El Equilibrio (Plasticidad vs. Estabilidad).
  Esta es la parte más difícil. Quieres que la casa sea lo suficientemente flexible para añadir una nueva habitación (plasticidad) pero lo suficientemente estable para que la nueva habitación no agriete la fundación (estabilidad). El marco debe encontrar el equilibrio perfecto.
• Trabajo 12: La Perspectiva a Largo Plazo (Sostenibilidad del Ciclo de Vida).
  La mayoría de las IAs son "desplegar y olvidar". HERCULES pregunta: "¿Qué pasa en 5 años cuando el hardware envejece o los datos cambian?". El diseño debe ser sostenible a largo plazo, no solo para el primer día.

Por Qué Esto Importa

El artículo concluye que ya no podemos depender de herramientas separadas para la eficiencia, la fortaleza y el crecimiento. Necesitamos un enfoque unificado.

HERCULES es la hoja de ruta para construir una IA que sea:

• Ligera lo suficiente para ejecutarse en tu teléfono o un sensor.
• Resistente lo suficiente para manejar datos malos o fallos de hardware.
• Adaptable lo suficiente para aprender cosas nuevas para siempre sin olvidar lo antiguo.

Es un llamado a dejar de construir IA "estática" y comenzar a construir IA "viva" que pueda sobrevivir al mundo real, desordenado, cambiante y hambriento de recursos.

Resumen técnico

Resumen Técnico: HERCULES – Búsqueda de Arquitectura Neuronal Eficiente en Hardware, Robusta y de Aprendizaje Continuo

1. Enunciado del Problema

La Búsqueda de Arquitectura Neuronal (NAS) se ha centrado tradicionalmente en optimizar la compensación entre precisión y eficiencia en hardware (por ejemplo, latencia, memoria, energía). Sin embargo, a medida que los sistemas de IA transicionan de puntos de referencia estáticos a su implementación en el mundo real, este enfoque dual es insuficiente. Las aplicaciones modernas de IA enfrentan tres desafíos ortogonales pero interconectados:

1. Eficiencia: La necesidad de operar dentro de restricciones estrictas de recursos (energía, memoria, cómputo) en dispositivos de borde.
2. Robustez: El requisito de mantener la fiabilidad bajo variabilidades ambientales, incluidas perturbaciones adversarias, ruido inducido por hardware (por ejemplo, deriva de conductancia en memorias emergentes) y cambios de distribución.
3. Aprendizaje Continuo (CL): La capacidad de adaptarse a tareas secuenciales sin un olvido catastrófico, equilibrando la plasticidad (aprender nuevo conocimiento) y la estabilidad (retener el conocimiento antiguo).

La literatura actual de NAS trata estos objetivos en gran medida de forma aislada. Existen encuestas para NAS consciente del hardware, NAS robusta o NAS de aprendizaje continuo, pero ninguna ofrece una perspectiva unificada que considere los tres como igualmente fundamentales. Además, las soluciones existentes a menudo no tienen en cuenta la naturaleza dinámica de la implementación en el mundo real, donde los modelos deben adaptarse a flujos de datos cambiantes y a la degradación del hardware con el tiempo. La pregunta central de investigación abordada es: ¿Es posible automatizar el diseño de arquitecturas de redes neuronales que mantengan la fiabilidad del rendimiento bajo ruido de hardware y cambios de datos, respetando al mismo tiempo presupuestos estrictos de energía y requisitos de tareas en evolución?

2. Metodología y Taxonomía

El artículo propone una taxonomía exhaustiva de los enfoques de NAS a través de la "triple lente" de la eficiencia, la robustez y el aprendizaje continuo. Clasifica los métodos existentes en tres pilares principales y analiza sus intersecciones:

A. Eficiencia (NAS Consciente del Hardware)

La encuesta revisa métodos optimizados para entornos con restricciones de recursos, categorizados en:

• Compresión de Modelos: Integración de poda, cuantización y escalado de arquitecturas directamente en el bucle de búsqueda (por ejemplo, MSuNAS, CNAS, APQ).
• Redes Neuronales Dinámicas: Arquitecturas que adaptan el cómputo a la complejidad de la entrada, como Redes de Salida Temprana (EENNs), Mezcla de Expertos (MoE) y Redes Multirrama (por ejemplo, EExNAS, HADAS, InstaNAS).
• Cocodiseño Hardware-Software: Optimización conjunta de arquitecturas neuronales y parámetros de aceleradores (por ejemplo, configuraciones FPGA/ASIC, flujos de datos) para lograr soluciones óptimas de Pareto inalcanzables fijando cualquiera de los dos lados (por ejemplo, Codesign-NAS, DNA, NACIM).

B. Robustez

El artículo clasifica la NAS consciente de la robustez en cinco fuentes de perturbación:

• Optimización de Planicie: Búsqueda de mínimos planos en el paisaje de pérdida para mejorar la generalización y la estabilidad (por ejemplo, R-DARTS, GeNAS, A2M).
• Robustez Adversaria: Optimización contra perturbaciones intencionales utilizando técnicas como entrenamiento adversario y regularización Lipschitz (por ejemplo, ADVRUSH, RNAS, WsrNAS).
• Robustez ante Ruido de Hardware: Abordaje de las no idealidades en dispositivos de Computación en Memoria (IMC) como RRAM y PCM, incluida la deriva de conductancia y la conmutación estocástica (por ejemplo, CMQ, UAE, AnalogNAS).
• Robustez ante Cambios de Recursos: Adaptación a la disponibilidad dinámica de energía (por ejemplo, escenarios de cosecha de energía).
• Robustez Multimodal: Garantizar la estabilidad a través de diferentes modalidades y cambios de dominio (por ejemplo, NAS-OOD, MFAS, Harmonic-NAS).

C. Aprendizaje Continuo

La encuesta identifica que pocos trabajos de NAS optimizan el CL de forma aislada. La mayoría de los métodos de NAS centrados en CL se revisan en el contexto de la optimización conjunta con la eficiencia. Los enfoques clave incluyen:

• Basados en Expansión: Crecimiento dinámico del ancho o profundidad de la red a medida que llegan nuevas tareas (por ejemplo, Continual NAS, CLEAS, BNS).
• Basados en Regularización: Uso de penalizaciones para evitar que las actualizaciones de pesos interfieran con tareas anteriores (por ejemplo, REC).
• Basados en Destilación: Transferencia de conocimiento de modelos antiguos a nuevos.

D. La Brecha

El artículo destaca debilidades críticas en las soluciones actuales:

• Visión Estática: La mayoría de la NAS consciente del hardware asume un entorno estático y libre de ruido, fallando en anticipar la degradación del hardware o los cambios de distribución con el tiempo.
• Ceguera Temporal: La NAS centrada en la robustez a menudo ignora la necesidad de adaptabilidad, creando modelos que son robustos pero rígidos (incapaces de aprender nuevas tareas).
• Sobrecarga de Hardware: Las arquitecturas robustas a menudo incurren en una sobrecarga significativa de parámetros, lo que las hace inadecuadas para presupuestos de TinyML.
• Aislamiento: La eficiencia, la robustez y el CL rara vez se optimizan conjuntamente, lo que lleva a compensaciones subóptimas para la implementación en el mundo real.

3. Contribuciones Clave: El Marco HERCULES

Para abordar estas brechas, los autores proponen HERCULES (Búsqueda de Aprendizaje Continuo, Robusto y Eficiente en Hardware), un nuevo marco y taxonomía para la NAS de próxima generación.

Arquitectura del Marco

HERCULES extiende la NAS tradicional introduciendo un módulo Arch Adapter que mejora las arquitecturas base (del espacio de búsqueda $\Gamma_x$) con capacidades dinámicas (del espacio de configuración $\Gamma_\theta$), creando un espacio de búsqueda refinado $\Gamma_{\tilde{x}}$.

• Entradas: Conjuntos de datos, conjuntos arquitectónicos, hiperparámetros de comportamiento dinámico, parámetros de evaluación, información previa (por ejemplo, perfiles de ruido de hardware, patrones de cosecha de energía) y restricciones.
• Salida: Un conjunto de redes neuronales óptimas de Pareto que son estáticas o dinámicas (incorporando adaptabilidad en tiempo de ejecución).
• Objetivo de Optimización: Una función de múltiples objetivos con restricciones que minimiza una función de costo $G$ que equilibra:
  • $F_A(\tilde{x})$: Precisión (o Precisión Incremental Promedio $F_{AIA}$ para CL).
  • $F_C(\tilde{x})$: Costos de recursos (latencia, energía, memoria).
  • $F_R(\tilde{x}, \rho, \Delta)$: Robustez frente a diversas perturbaciones ambientales.

Los Doce Trabajos de HERCULES

El artículo define doce desafíos técnicos (deseiderata) necesarios para realizar sistemas de IA de aprendizaje a lo largo de la vida implementables:

1. Cocodiseño Hardware-Software: Integración de NAS con compiladores y tiempos de ejecución para un rendimiento real.
2. Estimación Escalable de Robustez: Estimación eficiente de métricas de robustez sin sobrecargas prohibitivas.
3. Equilibrio Plasticidad-Estabilidad: Optimización explícita de la compensación entre aprender nuevas tareas y retener el conocimiento antiguo.
4. Fidelidad de Implementación: Garantizar que las evaluaciones en tiempo de búsqueda aproximen fielmente las condiciones operativas del mundo real utilizando información previa.
5. Modelado de Objetivos: Tratar la eficiencia, la robustez y el CL como objetivos ortogonales de primera clase.
6. Adaptabilidad Dinámica: Optimización tanto de motivos estáticos como de políticas adaptativas en tiempo de ejecución.
7. Espacios de Búsqueda Expresivos: Inclusión de bloques arquitectónicos capaces de optimizar en los tres pilares.
8. Estrategias de Búsqueda Multiobjetivo: Desarrollo de algoritmos para navegar la frontera de Pareto no convexa de los tres objetivos.
9. Alineación Ambiental: Adaptación de espacios de búsqueda y estrategias a entornos de implementación específicos.
10. Reproducibilidad de Puntos de Referencia: Propuesta de un HERCULES-Bench unificado que combine aprendizaje incremental, robustez OOD y variabilidad de hardware.
11. Eficiencia de Búsqueda: Optimización del costo computacional del propio proceso de NAS.
12. Sostenibilidad del Ciclo de Vida: Contabilización de los costos de implementación a largo plazo, incluida la reentrenamiento y el mantenimiento bajo hardware envejecido.

4. Resultados y Evidencia

El artículo no presenta nuevos resultados experimentales de un algoritmo novedoso, sino que proporciona una encuesta y síntesis exhaustiva de la literatura existente.

• Tablas I–VIII: El artículo clasifica y resume sistemáticamente más de 50 métodos de NAS a través de los tres pilares. Detalla sus objetivos, costos de búsqueda, conjuntos de datos y métricas de rendimiento.
• Análisis de Brechas: La encuesta demuestra que, aunque los pilares individuales están bien estudiados, la optimización conjunta es rara. Por ejemplo, pocos trabajos optimizan el CL de forma aislada; la mayoría lo hacen conjuntamente con la eficiencia. De manera similar, la robustez a menudo conlleva un costo en eficiencia, y la adaptabilidad dinámica apenas comienza a integrarse con la robustez y la eficiencia.
• Síntesis: El análisis revela que el campo se está convergiendo hacia la necesidad de optimización conjunta, validando la necesidad del marco HERCULES.

5. Significado y Afirmaciones

El artículo afirma su importancia como una hoja de ruta para el campo de la Búsqueda de Arquitectura Neuronal.

• Perspectiva Unificada: Es la primera encuesta que trata explícitamente la eficiencia, la robustez y el aprendizaje continuo como objetivos igualmente fundamentales y ortogonales, superando la visión aislada de la investigación actual.
• Cambio de Paradigma: Aboga por un cambio de la NAS estática "implementar y olvidar" a una NAS dinámica de "aprendizaje a lo largo de la vida" que tenga en cuenta las dinámicas ambientales y temporales.
• Marco Fundacional: Al definir HERCULES y sus doce trabajos, el artículo proporciona un conjunto estructurado de desiderata para la investigación futura, guiando el desarrollo de sistemas de IA verdaderamente implementables.
• Direcciones Futuras: El artículo sugiere modestamente que, aunque HERCULES proporciona un marco para diseñar redes dinámicas, el trabajo futuro debe integrar la adaptabilidad en el propio proceso de búsqueda (NAS Dinámica) y cerrar el ciclo con retroalimentación de hardware real para lograr sistemas "auto-evolutivos".

En resumen, el artículo postula que el futuro de la implementación de IA depende de arquitecturas que no solo sean precisas, sino inherentemente resilientes, conscientes de los recursos y capaces de evolucionar junto con sus entornos operativos. HERCULES se propone como la base conceptual y técnica para lograr este objetivo.