SEAL: Searching Expandable Architectures for Incremental Learning

Resumen Técnico: SEAL (Searching Expandable Architectures for Incremental Learning)

Formulación del Problema
El Aprendizaje Incremental (IL) requiere que los modelos aprendan de un flujo secuencial de tareas mientras equilibran la plasticidad (la capacidad de aprender nueva información) y la estabilidad (la preservación del conocimiento pasado). Un desafío primordial en este dominio es el olvido catastrófico, donde el nuevo aprendizaje sobrescribe las representaciones previas. Si bien la Búsqueda de Arquitectura Neuronal (NAS) ha mostrado éxito en entornos estáticos, los enfoques actuales de NAS basados en IL suelen sufrir de altos costos computacionales al repetir el proceso de búsqueda para cada tarea y de un consumo de recursos poco práctico debido a la expansión ilimitada del modelo. Además, muchos métodos actuales dependen de buffers de replay o umbrales de expansión fijos que no se adaptan bien a los escenarios de incremento de datos, donde muestras de datos disjuntas llegan secuencialmente sin acceso futuro.

Metodología
Los autores proponen SEAL, un marco de trabajo de NAS diseñado específicamente para el aprendizaje incremental de datos. A diferencia de los métodos anteriores que tratan el diseño de la arquitectura y la política de expansión como procesos separados o secuenciales, SEAL optimiza conjuntamente tanto la arquitectura de la red neuronal como su política de expansión dentro de una única fase de búsqueda.

Los componentes clave del marco SEAL incluyen:

1. Espacio de Búsqueda Unificado: SEAL utiliza una superred OFA (Once-For-All) basada en MobileNetV3 para definir el espacio de búsqueda. Esto permite la evaluación rápida de arquitecturas candidatas mediante el ajuste fino (fine-tuning) de pesos pre-entrenados en lugar de entrenar desde cero. El espacio de búsqueda está restringido para asegurar que cualquier expansión resulte en una subred OFA válida.
2. Política de Expansión Dinámica: En lugar de expandir el modelo en cada tarea, SEAL emplea una métrica de estimación de capacidad para determinar cuándo es necesaria la expansión. El modelo se expande solo si la pérdida de entropía cruzada actual en los nuevos datos excede un umbral relativo en comparación con las iteraciones previas (Ec. 10). Esto evita el crecimiento innecesario y retiene la complejidad del modelo.
3. Optimización Multiobjetivo: El marco formula el problema como una tarea de optimización bi-objetivo resuelta mediante el algoritmo genético NSGA-II. Los dos objetivos son:
   • Precisión Incremental: Una función que equilibra la precisión promedio en el conjunto de tareas final frente al número de parámetros (Ec. 12).
   • Robustez (Planitud/Flatness): Una métrica de planitud invariante al reescalado que mide la estabilidad del paisaje de pérdida bajo perturbaciones de ruido multiplicativo (Ec. 14). Esto tiene como objetivo guiar la búsqueda hacia mínimos más planos, que son más robustos a los cambios de distribución.
4. Estrategia de Entrenamiento: Para mitigar el olvido catastrófico durante la expansión, SEAL emplea un entrenamiento de destilación cruzada. Después de un paso de expansión, el modelo se entrena utilizando una función de pérdida combinada que consiste en la pérdida estándar de entropía cruzada y una pérdida de divergencia de Kullback-Leibler (KL) contra los objetivos suaves (soft targets) del modelo previo a la expansión (Ec. 11).
5. Modelado Sustituto (Surrogate Modeling): Para acelerar la búsqueda, SEAL utiliza mecanismos de conmutación adaptativa (similares a MSuNAS) para seleccionar el modelo sustituto más preciso (entre Procesos Gaussianos o Funciones de Base Radial) para predecir las métricas de rendimiento, evitando la necesidad de un reentrenamiento completo de cada candidato.

Contribuciones Clave

• Optimización Conjunta: SEAL se presenta como el primer marco de NAS que busca conjuntamente la arquitectura óptima y su política de expansión en una sola fase, reduciendo significamente la sobrecarga computacional en comparación con los métodos de búsqueda tarea por tarea.
• Eficiencia de Recursos: Al integrar subredes OFA y expansión condicional, SEAL asigna capacidad adicional solo cuando es necesario, lo que lo hace adecuado para entornos con recursos limitados como IoT y TinyML.
• Integración de la Planitud: El trabajo integra una métrica de robustez basada en la planitud directamente en el objetivo de NAS para IL, demostando que optimizar para mínimos planos mejora la estabilidad y la generalización en escenarios de aprendizaje secuencial.
• Enfoque en Incremento de Datos: El marco se dirige específicamente al escenario de incremento de datos (datos disjuntos, mismo espacio de etiquetas) sin depender de un almacenamiento de datos explícito o buffers de replay.

Resultados Experimentales
SEAL fue evaluado en tres conjuntos de datos de referencia: CIFAR-10, CIFAR-100 e ImageNet16-120. Los experimentos compararon SEAL contra las líneas base estándar de IL (Naive, EWC, SI, LwF) y un límite superior de entrenamiento conjunto (Joint Training).

• Rendimiento: SEAL logró una precisión promedio (AA) competitiva o superior en comparación con las líneas base. Por ejemplo, en CIFAR-10, SEAL alcanzó una precisión del 95.35%, superando a EWC (93.87%) y SI (94.31%). En CIFAR-100, alcanzó el 83.94%, superando a LwF (83.21%).
• Olvido y Transferencia: El marco demostró un menor Olvido Promedio en comparación con varias líneas base (por ejemplo, 4.81% en CIFAR-100 frente al 5.50% de LwF). Sin embargo, en CIFAR-10, la Transferencia hacia Adelante (FWT) fue menor que en algunas líneas base, lo que los autores atribuyen a un posible sobreajuste en las tareas más recientes cuando las tareas son altamente similares.
• Multiobjetivo vs. Objetivo Único: Los resultados indicaron que el enfoque multiobjetivo (optimizando tanto la precisión como la planitud) produjo mejores compromisos que la optimización de objetivo único. Específicamente, los modelos optimizados para la planitud tendieron a tener menos parámetros manteniendo una alta precisión.
• Estudios de Ablación: Los experimentos confirmaron que inicializar los pesos expandidos desde la superred OFA (en lugar de pesos aleatorios) mejoró significamente la precisión y redujo el olvido. Del mismo modo, se demostró que el uso de la pérdida de destilación cruzada es crítico para mantener el rendimiento y reducir el olvido después de la expansión.
• Significancia Estadística: Las pruebas de Friedman confirmaron que las diferencias de rendimiento entre SEAL y las líneas base fueron estadísticamente significativas en todos los conjuntos de datos y métricas.

Significancia y Reclamaciones
El artículo afirma que SEAL ofrece una solución más práctica para el despliegue en el mundo real al alinearse con los desiderata clave para NAS en IL: eficiencia, escalabilidad y adaptabilidad. Al evitar el reentrenamiento redundante y el crecimiento descontrolado del modelo, SEAL aborda los problemas de los enfoques actuales de NAS-based IL. Los autores destacan que la integración de la planitud como un objetivo de diseño ayuda a crear modelos que son robustos a las perturbaciones introducidas por nuevas tareas. Aunque el estudio se centra en el aprendizaje incremental de datos, los autores sugieren que el marco podría extenderse a otros escenarios de IL, aunque señalan que las suposiciones sobre la generalización de la arquitectura a través de las divisiones de datos pueden necesitar ajustes para escenarios de incremento de dominio o de clase. El trabajo posiciona la combinación de NAS y la expansión selectiva como una dirección prometedora para el aprendizaje eficiente y adaptable.