Resumen Técnico: Estructuración de la Búsqueda de Arquitecturas Neuronales (NAS) de Cierre Abierto con Conocimiento de Diseño Semi-Automatizado

Declaración del Problema

Los métodos actuales de Búsqueda de Arquitecturas Neuronales (NAS) enfrentan un compromiso fundamental entre la flexibilidad del espacio de búsqueda y la eficiencia de exploración. Los enfoques tradicionales de NAS dependen de espacios de búsqueda cerrados y predefinidos (por ejemplo, combinaciones de operadores fijos como convoluciones 3x3), lo que restringe el descubrimiento de arquitecturas novedosas. Por el contrario, los métodos recientes de NAS asistidos por Modelos de Lenguaje Grandes (LLM) permiten una búsqueda "de cierre abierto" generando directamente el código fuente del modelo, lo que posibilita la creación de nuevos bloques y topologías. Sin embargo, estos enfoques de cierre abierto a menudo sufren de una exploración ineficiente. Frecuentemente dependen de pools de conocimiento no estructurados derivados de priores de LLM o de la minería cruda de artículos, lo que conduce a:

1. Ideas sesgadas y de baja calidad: El espacio de búsqueda puede contaminarse con conceptos de diseño excesivamente específicos de dominio, específicos de tarea o irrelevantes (por ejemplo, diseño de funciones de pérdida o procesamiento de nubes de puntos 3D) que no se aplican a los backbones visuales.
2. Muestreo ineficiente: Sin una organización estructurada, el muestreo de ideas de diseño carece de diversidad, a menudo pasando por alto modelos compactos pero de alto rendimiento o fallando al explorar regiones prometedoras de la frontera de Pareto.
3. Violación de restricciones de hardware: Las estrategias de mutación ingenuas a menudo generan modelos que exceden los presupuestos de hardware (FLOPs, conteo de parámetros), lo que lleva a su descarte inmediato y a una reducción en la diversidad de candidatos.

Metodología

Los autores proponen un enfoque de dos frentes para abordar estas ineficiencias: Estructuración Semi-Automatizada de Atributos de Diseño de Modelos y el marco FairNAD.

1. Estructuración Semi-Automatizada de Atributos de Diseño de Modelos

Para curar conocimiento de diseño de alta calidad y diverso, los autores introducen un Árbol de Atributos de Diseño de Modelos ($D_{attr}$) jerárquico.

• Estructura: El árbol se organiza en tres niveles: Granularidad (Operación, Bloque/Conectividad, Red), Categoría Principal (por ejemplo, Extracción de Características, Normalización) y Subcategoría (por ejemplo, Convolución Agrupada, Normalización por Capas).
• Construcción: Los dos niveles superiores están predefinidos por expertos para garantizar una cobertura amplia. Los subatributos se generan semi-automáticamente solicitando a un LLM códigos de modelos de última generación (SOTA) de referencia (por ejemplo, ResNet, ViT, EfficientNet) y una plantilla de atributos predefinida.
• Extracción de Conocimiento: Este árbol estructurado se utiliza para filtrar y extraer ideas de diseño de artículos académicos. Los artículos se filtran primero para asegurar que se alineen con el árbol de atributos. Luego, los artículos válidos se procesan para extraer ideas finas, las cuales se etiquetan con sus atributos correspondientes en $D_{attr}$. Este proceso filtra el conocimiento irrelevante o demasiado específico, resultando en una Base de Datos de Conocimiento de Diseño de Modelos ($D_{kn}$) curada.

2. El Marco FairNAD

FairNAD es un marco de búsqueda evolutiva que utiliza la base de datos de conocimiento estructurada para realizar un Diseño de Arquitectura Neuronal (NAD) de cierre abierto eficiente. Emplea una estrategia de mutación de múltiples tipos y un bucle de retroalimentación:

• Mutación con Muestreo Justo de Ideas: Para garantizar una exploración imparcial, las ideas se muestrean uniformemente desde $D_{kn}$ basándose en sus etiquetas de atributo (granularidad, categoría principal). Esto evita que la búsqueda esté dominada por tendencias populares pero potencialmente subóptimas (por ejemplo, mecanismos de atención excesivos). La etiqueta de granularidad también dicta el objetivo de la mutación (por ejemplo, modificar una operación vs. la estructura de la red).
• Mutación Consciente de Pareto: Para abordar el problema de pasar por alto modelos compactos, esta etapa muestrea modelos padres desde la frontera de Pareto (equilibrando precisión y restricciones de hardware). Emplea una estrategia dual:
  • Escala ascendente: Los modelos por debajo del umbral del presupuesto de hardware se escalan hacia arriba (aumentando ancho/profundidad).
  • Ajuste de hiperparámetros: Los modelos cerca o que exceden el umbral sufren ajuste de hiperparámetros (por ejemplo, tamaño de kernel, paso).
• Mutación Iterativa Impulsada por LLM: Para acelerar la convergencia, el marco realiza un refinamiento iterativo en modelos de alto rendimiento. El LLM analiza el historial de mutaciones exitosas y genera nuevas ideas dentro de categorías de atributos similares para optimizar aún más a los candidatos prometedores.
• Bucle de Retroalimentación: Un componente crítico para mantener la diversidad y validez. El código generado pasa por tres etapas de verificación:
  1. Verificación de Ejecución: Asegura que el código sea compilable y ejecutable; si ocurren errores, se solicita al LLM que depure.
  2. Verificación de Presupuesto: Comprueba los FLOPs y el tamaño de los parámetros. Si se violan las restricciones, el modelo se reduce automáticamente (por ejemplo, reduciendo profundidad o ancho) en lugar de descartarse.
  3. Verificación Estructural: Asegura que el modelo sea multicapa y estructuralmente distinto del padre.

Contribuciones Clave

1. Estructuración Semi-Automatizada del Conocimiento: El artículo introduce un método para organizar el conocimiento de diseño no estructurado de los artículos en un árbol de atributos jerárquico. Esto permite filtrar ideas ruidosas y específicas de dominio y crear una base de conocimiento diversa y de alta calidad para NAS.
2. Marco FairNAD: Un marco de búsqueda novedoso que integra mutaciones de múltiples tipos (Muestreo Justo de Ideas, Consciente de Pareto e Iterativa Impulsada por LLM) con un bucle de retroalimentación. Este enfoque equilibra la exploración (diversidad) y la explotación (rendimiento) mientras respeta las restricciones de hardware.
3. Rendimiento de Última Generación: El método demuestra mejoras significativas sobre los métodos existentes de NAS hechos a mano y basados en LLM en benchmarks estándar.

Resultados Experimentales

Los autores evaluaron FairNAD en el benchmark NAS-Bench-201 utilizando los conjuntos de datos CIFAR-10, CIFAR-100 e ImageNet16-120. La búsqueda se restringió a conteos específicos de parámetros (1.5M) y límites de FLOPs.

• Ganancias de Rendimiento: En comparación con el método actual de NAS de cierre abierto más avanzado (NADER), FairNAD logró mejoras en la precisión de prueba de:
  • 0.84% en CIFAR-10
  • 2.17% en CIFAR-100
  • 2.35% en ImageNet16-120
• Estudios de Ablación:
  • Conocimiento Estructurado: El uso de inspiración estructurada (vs. inspiración de artículos crudos o priores de LLM) mejoró la precisión de prueba en 0.37 puntos en CIFAR-100.
  • Muestreo Justo: La implementación del muestreo justo de ideas mejoró la precisión en 1.81 puntos, destacando la importancia de la exploración diversa de atributos.
  • Mutación de Múltiples Tipos: La combinación de mutaciones conscientes de Pareto e iterativas impulsadas por LLM arrojó los mejores resultados. Cabe destacar que la mutación impulsada únicamente por LLM fue perjudicial, confirmando la necesidad de la diversidad proporcionada por el muestreo de Pareto.
  • Bucle de Retroalimentación: Eliminar el verificador de presupuesto degradó significativamente el rendimiento y las tasas de aprobación, demostrando su papel en la preservación de candidatos diversos que de otro modo serían descartados.

Significado y Afirmaciones

El artículo afirma que FairNAD establece una base crucial para la investigación futura en NAS de cierre abierto al demostrar que estructurar el conocimiento de diseño es esencial para una exploración eficiente. Los autores argumentan que simplemente confiar en la capacidad "de cierre abierto" de los LLM es insuficiente; el proceso de búsqueda debe estar guiado por conocimiento curado y jerárquico y equilibrado por estrategias de mutación de múltiples etapas.

Las arquitecturas descubiertas exhiben características únicas no típicamente encontradas en NAS estándar, como:

• Mecanismos de atención personalizados (por ejemplo, DPCA utilizando tanto agrupación promedio como máxima).
• Mecanismos dinámicos de compartición de características (por ejemplo, FeaturePool).
• Tamaños de canal y profundidades de capa no estándar (por ejemplo, usar 51, 102, 204 canales en lugar de potencias de dos).
• Enfoques híbridos que combinan CNN con codificaciones posicionales o funciones de activación especializadas (por ejemplo, BandLimitedReLU).

Los autores posicionan este trabajo como un paso hacia la reducción de la dependencia del diseño manual de expertos y la habilitación del descubrimiento de arquitecturas neuronales más poderosas, eficientes y novedosas aprovechando el conocimiento externo de manera estructurada y sistemática. Reconocen el alto costo computacional de la búsqueda, pero lo enmarcan como una inversión necesaria para alcanzar niveles de rendimiento inalcanzables por métodos convencionales.