Resumen Técnico: De la Regresión a la Inferencia: Meta-Aprendizaje de Predictores para la Búsqueda de Arquitecturas Neuronales

Enunciado del Problema

La Búsqueda de Arquitecturas Neuronales (NAS) tiene como objetivo automatizar el diseño de arquitecturas de aprendizaje profundo, una tarea necesaria debido a la alta dependencia del rendimiento del modelo respecto a las elecciones arquitectónicas. Sin embargo, la vastedad de los espacios de búsqueda modernos hace que la evaluación exhaustiva sea computacionalmente prohibitiva. La NAS basada en predicción ha surgido como solución, utilizando predictores aprendidos para estimar el rendimiento de arquitecturas candidatas sin entrenamiento completo.

A pesar de su utilidad, los predictores existentes suelen depender de la regresión supervisada para aprender un mapeo fijo desde representaciones de arquitectura hasta métricas de rendimiento. Este enfoque enfrenta limitaciones críticas en el contexto de NAS:

1. Escasez de Datos: La NAS opera en un régimen donde solo se puede observar una fracción diminuta del espacio de búsqueda.
2. Sobreajuste y Generalización: Los mapeos fijos entrenados con muestras limitadas a menudo fallan al generalizar a arquitecturas no vistas, lo que conduce a un rendimiento deficiente fuera de la distribución.
3. Desalineación con el Despliegue: La regresión convencional no refleja explícitamente el escenario de despliegue, donde las predicciones deben condicionarse a observaciones parciales del espacio de búsqueda en lugar de una función global fija.

Metodología

Los autores proponen una reformulación fundamental de la predicción de rendimiento en NAS, desplazándose de la regresión determinista a la inferencia de funciones condicionales dentro de un marco de meta-aprendizaje.

Marco Central: Proceso Neuronal Convolucional (ConvNP)

En lugar de aprender una función estática $y = f(x)$, el predictor modela la distribución condicional de las salidas objetivo dados los pares observados de arquitectura-rendimiento (el conjunto de contexto). Los autores emplean un Proceso Neuronal Convolucional (ConvNP), que consta de:

• Codificador: Agrega información del conjunto de contexto en representaciones latentes.
• Decodificador: Predice las salidas objetivo condicionadas a estas representaciones latentes.
• Mecanismo: El modelo aprende una distribución sobre funciones, lo que le permite inferir salidas no vistas a partir de observaciones parciales mientras tiene en cuenta la incertidumbre. Esto aprovecha la equivalencia de traducción de las estructuras convolucionales para extrapolar más allá del soporte de las entradas observadas.

Construcción de Tareas Sintéticas

Para entrenar el ConvNP bajo un paradigma de meta-aprendizaje, los autores generan una distribución de tareas a partir de un único conjunto de datos disponible ($D$) mediante:

1. Remuestreo: Creación de tareas sintéticas mediante el remuestreo de los datos observados con reemplazo.
2. Barajado: Ordenamiento aleatorio de los puntos de datos para fomentar la invariancia a permutaciones.
3. División Contexto-Objetivo: Cada tarea sintética se divide exclusivamente en un conjunto de contexto ($C$) y un conjunto objetivo ($T$). Esto simula el escenario de inferencia de NAS donde el modelo debe predecir el rendimiento basándose en un subconjunto de arquitecturas observadas.

Extracción de Metacaracterísticas

Los autores diseñan un conjunto de metacaracterísticas simples pero efectivas para arquitecturas basadas en celdas, centrándose en tres aspectos:

• Información Estadística: Conteos de operaciones específicas (por ejemplo, $3\times3$ Conv, $1\times1$ Conv) y nodos.
• Complejidad Arquitectónica: Pesos basados en caminos asignados a las operaciones según su complejidad (por ejemplo, $3\times3$ Conv = 3, Max-pooling = 1), agregados en medidas como pesos de camino máximos/mínimos y parámetros totales.
• Información Estructural: Métricas derivadas de la matriz de adyacencia, incluidos conteos de aristas, relaciones arista-nodo y grados máximos de entrada/salida.
  Estas características se normalizan al rango $[0, 1]$.

Objetivo de Aprendizaje

Reconociendo que la NAS prioriza la identificación de arquitecturas de alto rendimiento sobre la predicción distribucional perfecta, los autores combinan dos objetivos:

1. Pérdida de Regresión ($L_{MSE}$): Fomenta la predicción precisa de la precisión de validación.
2. Pérdida de Clasificación ($L_{rank}$): Una pérdida basada en márgenes por pares que impone el orden relativo correcto de las arquitecturas candidatas en el conjunto objetivo.
   El objetivo total es $L_{total} = L_{MSE} + \lambda L_{rank}$. Los autores señalan que los objetivos basados en verosimilitud (estándar en los NPs) resultaron empíricamente menos efectivos y eficientes que la predicción directa de la media con supervisión de clasificación para la selección de arquitecturas.

Contribuciones Clave

1. Nueva Formulación: El artículo redefine la predicción en NAS como un problema de inferencia de funciones condicionales utilizando ConvNP, alejándose de los mapeos fijos hacia modelos condicionados a observaciones parciales.
2. Estrategia de Meta-Aprendizaje: Introduce una estrategia para generar tareas sintéticas mediante remuestreo y barajado, permitiendo que el predictor generalice bajo escasez extrema de datos.
3. Perspectiva de Evaluación: Los autores argumentan que las métricas globales de clasificación fuertes (por ejemplo, tau de Kendall) no se traducen necesariamente en una mejor selección de arquitecturas. Defienden métricas orientadas a la selección como el rendimiento Top-K.
4. Validación Empírica: Experimentos exhaustivos en NAS-Bench-101 y NAS-Bench-201 demuestran la eficacia del método.

Resultados Experimentales

El método se evaluó en NAS-Bench-101 (CIFAR-10) y NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) frente a diversas líneas base, incluidos modelos de regresión (LR, RF, MLP, XGB), predictores basados en Redes Neuronales de Grafos (NP, CAP, CARL) y algoritmos de búsqueda (RS, RE).

• Precisión Predictiva: ConvNP alcanzó precisiones de validación y prueba competitivas o superiores. En NAS-Bench-101, alcanzó una precisión de validación del 94.76% y una precisión de prueba del 94.09%, superando a la mayoría de las líneas base de regresión y algoritmos de búsqueda.
• Rendimiento Top-K: Aunque ConvNP no siempre alcanzó la mayor correlación de clasificación global (tau de Kendall) en comparación con métodos de clasificación especializados como CARL, demostró consistentemente un Recall@k superior. Identificó arquitecturas de alto rendimiento de manera más efectiva a medida que aumentaba $k$, particularmente en regímenes de bajos datos.
• Eficiencia de Datos: Los experimentos que variaban los tamaños del conjunto de entrenamiento (de 50 a 860 muestras) mostraron que ConvNP se beneficia significativamente del aumento de datos en regímenes de bajos datos, con ganancias de rendimiento que se saturan a medida que crece el volumen de datos.
• Estudios de Ablación: Eliminar la división contexto-objetivo o la generación de tareas sintéticas condujo a caídas significativas en el rendimiento, confirmando la necesidad de la formulación de meta-aprendizaje. La combinación de pérdidas de regresión y clasificación resultó superior al uso de cualquiera de ellas por separado.

Significado y Afirmaciones

El artículo afirma que su principal significado radica en alinear el procedimiento de entrenamiento de los predictores de NAS con el escenario real de despliegue. Al modelar la predicción como inferencia a partir de observaciones parciales, el método aborda la escasez inherente de datos de NAS de manera más efectiva que la regresión supervisada tradicional.

Una idea clave destacada es que las métricas de clasificación global no siempre están alineadas con el objetivo práctico de NAS. Los autores demuestran que optimizar para métricas orientadas a la selección (Top-K) produce una selección de arquitecturas más efectiva, incluso si la correlación de clasificación global es ligeramente inferior a la de los modelos de clasificación especializados. El trabajo sugiere que los futuros predictores de NAS deberían priorizar enfoques probabilísticos y de meta-aprendizaje que reflejen mejor la naturaleza condicional del proceso de búsqueda.

Los autores reconocen limitaciones, incluido un rendimiento de clasificación global ligeramente inferior en comparación con predictores de clasificación especializados, sensibilidad al diseño de tareas sintéticas y una sobrecarga computacional adicional en comparación con los regresores simples. También señalan que su evaluación se limita actualmente a espacios de búsqueda de referencia específicos.