Resumen Técnico: Búsqueda de Arquitectura Neural Basada en Deltas mediante Diferencias de Código

Enunciado del Problema

La Búsqueda de Arquitectura Neural (NAS) busca automatizar el diseño de redes neuronales profundas. Aunque los enfoques recientes que utilizan Modelos de Lenguaje Grande (LLM) para generar código PyTorch ejecutable han demostrado ser prometedores, adolecen de una limitación crítica: el paradigma de generación completa. Los métodos existentes requieren que el LLM sintetice implementaciones completas de modelos desde cero en cada iteración. Este enfoque es computacionalmente costoso, produce salidas extensas (típicamente más de 200 líneas de código) y no aprovecha el conocimiento estructural incrustado en arquitecturas existentes y funcionales. Además, el trabajo previo de NAS basado en LLM se ha visto mayormente restringido a evaluaciones de un solo conjunto de datos (por ejemplo, CIFAR-10) o ámbitos multiconjunto limitados, lo que limita la evaluación de las capacidades de generalización.

Metodología: Generación de Código Delta

Los autores proponen la Generación de Código Delta, un paradigma donde LLMs ajustados finamente generan diferencias unificadas compactas (deltas) para refinar arquitecturas base existentes en lugar de sintetizar modelos enteros. Este enfoque se inspira en prácticas de ingeniería de software donde el código se modifica mediante parches en lugar de reescribirse.

Pipeline Central

El marco opera mediante un protocolo iterativo de 22 ciclos:

1. Selección de Base: El sistema muestrea arquitecturas base del conjunto de datos LEMUR, una colección curada de redes neuronales con anotaciones de rendimiento en múltiples conjuntos de datos.
2. Generación de Delta: El LLM recibe el código fuente de la base y un descriptor del conjunto de datos. En lugar de emitir un archivo completo, genera una salida XML estructurada que contiene:
   • <delta>: Una diferencia unificada en formato de parche estándar (líneas de contexto, adiciones, eliminaciones).
   • <hp> y <tr>: Etiquetas estructuradas para hiperparámetros y transformaciones de datos (siguiendo las convenciones de NNGPT), aunque la evaluación utiliza los hiperparámetros originales de la base para aislar los cambios arquitectónicos.
3. Aplicación y Validación: La diferencia generada se aplica al código base utilizando utilidades de parche estándar. Los parches exitosos pasan por validación de sintaxis, comprobaciones de instanciación y entrenamiento de una sola época.
4. Filtrado: Para mantener la diversidad estructural y la calidad, las arquitecturas admitidas deben superar dos filtros:
   • Filtro de Precisión: El modelo debe alcanzar al menos 40% de precisión de validación top-1 después de una época.
   • Filtro de Novedad: Utilizando la similitud MinHash-Jaccard, el código generado debe exhibir al menos 90% de disimilitud estructural ($\tau_{nov} = 0.90$) con respecto al corpus existente para prevenir el colapso de modos.
5. Ajuste Fino: El LLM se ajusta finamente de forma iterativa mediante LoRA (Adaptación de Bajo Rango) sobre el corpus estático y curado de LEMUR. Crucialmente, los datos de entrenamiento para LoRA permanecen fijos; el grupo en expansión de arquitecturas generadas sirve únicamente como un conjunto diverso de bases para la generación de deltas futura, no como datos de entrenamiento para el propio LLM.

Configuración Experimental

El estudio evalúa tres LLMs de clase 7B en seis conjuntos de datos diversos de clasificación de imágenes (CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA):

• DeepSeek-Coder-7B-Instruct-v1.5 (Especializado en código)
• Qwen2.5-Coder-7B-Instruct (Especializado en código)
• Mistral-7B-Instruct-v0.3 (Instrucción general, no especializado en código)

Todos los modelos pasan por 22 ciclos de ajuste fino con 50 candidatos por ciclo (1.100 candidatos totales por LLM). El rendimiento se mide utilizando la precisión de validación de la primera época como proxy, consistente con la literatura previa de NAS basada en LLM.

Resultados Clave

1. Eficiencia y Longitud de Salida

El paradigma delta logra una reducción masiva en el consumo de tokens. En los tres LLMs, las longitudes de salida son uniformemente compactas:

• DeepSeek: 30.4 líneas (reducción del 85% vs. generación completa)
• Qwen: 31.4 líneas (reducción del 84%)
• Mistral: 49.5 líneas (reducción del 75%)
  Esto representa una reducción del 75–85% en comparación con las ~200+ líneas típicas de las bases de generación completa, traducido en un ahorro agregado de ~5.4x en tokens de salida.

2. Fiabilidad de Generación y Precisión

Bajo un protocolo de clúster compartido con un grupo base equilibrado de seis conjuntos de datos, los tres LLMs superan significativamente a la base de generación completa (Khalid et al. [24]) y al enfoque iterativo de LLM congelado (Gu et al. [13]):

• Tasa de Generación Válida: DeepSeek (75.3%), Qwen (72.1%), Mistral (66.6%) vs. Generación Completa (50.6%).
• Precisión Media de la Primera Época: DeepSeek (65.8%), Qwen (64.6%), Mistral (66.1%) vs. Generación Completa (42.3%).
• Mejor Precisión de la Primera Época (CIFAR-10): Mistral (85.5%), DeepSeek (85.2%), Qwen (80.6%) vs. Generación Completa (63.98%) y Gu et al. (71.5%).

3. Generalización Multiconjunto de Datos

A diferencia del trabajo anterior restringido a CIFAR-10 o tres conjuntos de datos, el enfoque delta generaliza con éxito en los seis conjuntos de datos, incluyendo clasificación de granos finos desafiante (CIFAR-100) y atributos faciales (CelebA). Los tres LLMs alcanzaron las mejores precisiones de primera época de 99.5% en MNIST y ~95% en SVHN.

4. Agnosticismo del Modelo

Las ganancias de rendimiento son impulsadas por el paradigma (generación delta) en lugar de la elección específica del LLM. A pesar de las diferencias en el preentrenamiento (especializado en código vs. instrucción general), los tres modelos se agrupan estrechamente en todas las métricas principales, con intervalos de confianza superpuestos. Incluso el Mistral-7B de propósito general, que genera diferencias ligeramente más largas, alcanza la mayor precisión en CIFAR-10 (85.5%).

Significado y Afirmaciones

El artículo posiciona la Búsqueda de Arquitectura Neural Basada en Deltas como una alternativa eficiente en tokens, multi-dominio y agnóstica al LLM a la síntesis de modelos completos. Los autores hacen tres afirmaciones principales sobre la importancia de su trabajo:

1. Paradigma sobre Modelo: El cambio de la generación de archivos completos a la generación basada en diferencias es el principal impulsor de las ganancias de rendimiento. Esto se evidencia por el hecho de que sustituir el formato de salida para el mismo LLM base (DeepSeek-Coder-7B) y el mismo protocolo iterativo mueve la tasa de generación válida fuera del intervalo de confianza de la base de generación completa.
2. Cobertura Multiconjunto de Datos como Dimensión de Diseño: Al operar sobre diferencias, el pipeline preserva la estructura específica del conjunto de datos funcional de las bases, permitiendo la generalización a seis conjuntos de datos diversos sin reentrenar el LLM por dominio. Esto contrasta con el trabajo anterior que evaluó casi exclusivamente en CIFAR-10.
3. Eficiencia Asintótica: La reducción del 75–85% en la longitud de salida se complica a través de las iteraciones, haciendo que el enfoque sea significativamente más viable para el despliegue local en GPUs de consumo donde la inferencia de LLM es el costo dominante.

Los autores señalan que todas las afirmaciones de precisión se basan en el proxy de validación de la primera época, el cual validan mediante un estudio de entrenamiento completo de 50 épocas en las 20 mejores arquitecturas. Este estudio confirma que el proxy de 1 época preserva de manera fiable las clasificaciones de rendimiento ($\rho$ de Spearman = 0.926 para Mistral), situando el método en el extremo superior de las correlaciones de proxy de NAS reportadas en la literatura.

El trabajo concluye que, aunque el formato de diferencia introduce un modo de fallo único de "desajuste de contexto", los beneficios generales en eficiencia, integridad estructural y generalización multi-dominio establecen la generación basada en deltas como un avance robusto en el NAS impulsado por LLM.