Resumen Técnico: Más allá de la recuperación de modelos base: Tejiendo el conocimiento para dominar el diseño de redes neuronales de grano fino

1. Planteamiento del problema

Diseñar redes neuronales de alto rendimiento para nuevas tareas requiere equilibrar la calidad de la optimización con la eficiencia de la búsqueda. Las metodologías actuales enfrentan un compromiso fundamental:

• Búsqueda de Arquitectura Neuronal (NAS): Aunque es capaz de encontrar estructuras casi óptimas, la NAS tradicional depende de un ensayo y error exhaustivo, lo que la hace computacionalmente costosa e ineficiente ("reinventar la rueda").
• Recuperación de Modelos: Los enfoques recientes recuperan modelos preentrenados de extensos repositorios para evitar la búsqueda desde cero. Sin embargo, estos métodos suelen producir puntos de control estáticos subóptimos. Tienen dificultades para adaptarse a las ediciones arquitectónicas de grano fino (por ejemplo, cambiar los mecanismos de paso de mensajes en Redes Neuronales de Grafos) necesarias para ajustarse a las propiedades idiosincrásicas de los datos y a los cambios de distribución.

Los métodos de recuperación existentes suelen calcular la similitud de la tarea una sola vez y mantenerla estática. Esto falla durante el refinamiento secuencial, especialmente bajo cambios de Distribución Fuera de Distribución (OOD), donde la transferibilidad de la evidencia previa evoluciona a medida que la arquitectura cambia. Además, cuando la evidencia directa es inexistente o la nueva tarea es significamente OOD, la simple recuperación se vuelve poco fiable o engañosa.

2. Metodología: M-DESIGN

Los autores proponen M-DESIGN, un marco de recuperación aumentada que va más allá de la recuperación estática de modelos hacia el tejido de conocimiento adaptativo. La idea central es modelar las ganancias de rendimiento inducidas por modificaciones arquitectónicas de grano fino como "evidencia de efecto de edición" y tejer esta evidencia dinámicamente para descubrir trayectorias de modificación casi óptimas.

2.1 Grafo de Modificación de Arquitectura-Ganancia

En lugar de almacenar registros de rendimiento gruesos de modelos completos, M-DESIGN construye una Base de Conocimiento de Modelos (MKB) organizada como un Grafo de Modificación de Arquitectura-Ganancia ($G_\Delta$).

• Nodos: Representan configuraciones de arquitectura.
• Aristas: Representan modificaciones de 1 salto factibles.
• Pesos: Representan la ganancia de rendimiento histórica ($\Delta P$) de una modificación específica en una tarea de referencia específica.
  Esta estructura permite al sistema razonar sobre trayectorias de modificación y encadenar patrones de edición locales a través de diferentes tareas.

2.2 Tejido de Conocimiento Adaptativo

El proceso de refinamiento se enmarca como la búsqueda de una secuencia de modificaciones que maximice la ganancia esperada basada en la evidencia histórica.

• Tejido de Conocimiento de Grano Fino: El sistema aproxima la ganancia en una tarea no vista ($D_u$) agregando evidencia de ganancia de grano fino de tareas de referencia ($D_b$). Asume que las tareas con un comportamiento de modificación local consistente comparten paisajes de refinamiento similares.
• Similitud de Tarea Dinámica (Actualización Bayesiana): Una innovación crítica es el mecanismo de recuperación adaptativo. En lugar de usar una métrica de similitud estática, M-DESIGN mantiene una creencia bayesiana sobre la similitud de la tarea ($S_t(D_u, D_i)$).
  • A medida que el modelo se refina y se observan nuevas ganancias en la tarea no vista, el sistema actualiza la creencia de similitud en línea.
  • Si la nueva evidencia contradice la suposición inicial de que una tarea de referencia es similar, la creencia posterior reduce el peso de esa tarea, evitando el exceso de confianza y corrigiendo los cambios de distribución.
  • Esto se modela utilizando una verosimilitud gaussiana donde la ganancia en la tarea no vista está linealmente relacionada con la ganancia en la tarea de referencia, escalada por un factor de transferencia.

2.3 Adaptación OOD con Planificadores de Tareas Predictivos

Para manejar escenarios donde la recuperación de evidencia directa es poco fiable (debido a una cobertura histórica dispersa o cambios significativos de OOD), M-DESIGN emplea Planificadores de Tareas Predictivos.

• Estos son modelos de regresión (instanciados como GNN de regresión de aristas) entrenados en los grafos de modificación-ganancia de las tareas de referencia.
• Extrapolan las ganancias para las modificaciones que carecen de registros históricos directos (aristas faltantes) o cuando la creencia de similitud cae por debajo de un umbral.
• El sistema utiliza un búfer de repetición (replay buffer) de interacciones observadas para ajustar estos planificadores en línea, asegurando que la evidencia sintética se alinee con la distribución objetivo a lo largo del tiempo.

3. Contribuciones Clave

1. Reencuadre del Refinamiento de Modelos: Los autores proponen pasar de la recuperación estática de modelos al recuperación adaptativa, que descubre trayectorias de modificación casi óptimas utilizando los priors del repositorio mientras calibra dinámicamente la evidencia de transferencia para reducir la dependencia de la completitud del repositorio.
2. Similitud de Tarea Dinámica Bayesiana: Introducen un algoritmo iterativo de recuperación y refinamiento que actualiza las creencias de transferencia en línea utilizando las ganancias observadas. Esto incluye el entrenamiento de planificadores de tareas predictivos para extrapolar evidencia fiable bajo cambios de OOD.
3. Validación Empírica Exhaustiva: El trabajo demuestra un fuerte rendimiento a través de 33 pares de tarea-datos (cubriendo clasificación de nodos, predicción de enlaces y clasificación de grafos). Bajo un presupuesto estricto de 100 evaluaciones de modelos, M-DESIGN logra el mejor rendimiento del espacio de búsqueda en 26 de 33 casos.
4. Base de Conocimiento de Modelos Abierta: Los autores lanzan una MKB estructurada que contiene 67,760 Redes Neuronales de Grafos entrenadas a través de 22 conjuntos de datos y 3 tipos de tareas, registrando explícitamente los registros de efecto de edición.

4. Resultados Experimentales

• Efectividad: M-DESIGN supera consistentemente a los fuertes modelos de base, incluyendo métodos basados en búsqueda (Aleatorio, RL, EA, GraphNAS) y métodos basados en recuperación (GraphGym, NAS-Bench-Graph, AutoTransfer, DesiGNN). Alcanza el óptimo global en el espacio de diseño para la mayoría de los pares probados.
• Eficiencia: El método añade una sobrecarga insignificante (< 0.44 segundos por iteración) en comparación con el tiempo de evaluación del modelo. Alcanza niveles de alto rendimiento significativamente más rápido que los modelos de base, muchos de los cuales no logran alcanzar el rendimiento objetivo incluso tras 100 evaluaciones.
• Validación Mecanicista:
  • Linealidad y Normalidad: El análisis empírico confirma que las ganancias de modificación se transfieren aproximadamente de forma lineal entre tareas similares y siguen una distribución gaussiana, validando los supuestos de actualización bayesiana.
  • Dinámico vs. Estático: Los estudios de ablación muestran que eliminar la actualización de similitud dinámica causa una caída significativa en el rendimiento y en la alineación con la consistencia local real.
  • Adaptación OOD: Los planificadores de tareas predictivos son cruciales para los conjuntos de datos sensibles a OOD (ej. Cornell, Texas), mejorando la estabilidad del refinamiento donde la transferencia estática falla.
• Generalización: El marco también fue probado en los dominios tabular (HPOBench) e imagen (NATS-Bench), mostrando que, si bien el refinamiento es altamente valioso para tareas tabulares sensibles a los datos, la recuperación de un solo paso (one-shot) suele ser suficiente para tareas de imagen relativamente homogéneas.

5. Significado y Reivindicaciones

El artículo afirma que M-DESIGN resuelve el dilema entre el alto costo de la búsqueda exhaustiva y la suboptimidad de la recuperación estática. Al tratar el refinamiento del modelo como un proceso continuo de tejido de evidencia de modificación de grano fino, el método logra un mejor equilibrio entre eficiencia y efectividad.

Los autores enfatizan que su enfoque es particularmente significativo porque aborda la transferibilidad evolutiva del conocimiento. A diferencia de los métodos anteriores que asumen una similitud de tarea estática, M-DESIGN reconoce que a medida que una arquitectura evoluciona, la relevancia de las diferentes tareas de origen cambia. La integración de planificadores predictivos permite además que el sistema funcione de manera robusta incluso cuando el repositorio no cubre las modificaciones específicas necesarias para una nueva tarea, cerrando eficazmente la brecha entre la recuperación dentro de la distribución y la generalización fuera de la distribución.

El trabajo concluye que, si bien el método depende de la validez del modelado de ganancia local y la cobertura del repositorio, proporciona una alternativa sistemática y eficiente en muestras frente al ensayo y error ad-hoc, reduciendo los costos energéticos de la búsqueda exhaustiva. Los autores señalan las limitaciones respecto a tareas de OOD extremas o la ausencia total de evidencia, sugiriendo trabajos futuros para escalar a familias de modelos más grandes y la predicción de ganancias consciente de la incertidumbre.