Resumen Técnico: Teoría de Convergencia para la Búsqueda de Arquitectura Neural Basada en LLM Iterativos

1. Declaración del Problema

La Búsqueda de Arquitectura Neural (NAS) ha cambiado recientemente de espacios de búsqueda predefinidos al uso de Modelos de Lenguaje Grande (LLM) como generadores abiertos de programas ejecutables torch.nn.Module. Si bien estudios empíricos (por ejemplo, Khalid et al., Adhikari et al.) demuestran que el ajuste fino iterativo de un LLM sobre sus propias generaciones exitosas mejora tanto la fiabilidad de la generación como la calidad de la arquitectura, no existe una teoría de convergencia formal para esta clase de algoritmos.

Las brechas teóricas clave abordadas incluyen:

• ¿Mejora el ajuste fino iterativo de LLM la calidad de la arquitectura de manera demostrable?
• ¿Bajo qué condiciones converge el proceso?
• ¿Por qué la "generación delta" (generación de diffs unificados) logra tasas de generación válida más altas que la generación de código completo?
• ¿Cuál es el papel teórico del filtrado de novedad en la prevención de soluciones degeneradas (colapso de modos)?
• ¿Cómo se puede cuantificar la fiabilidad de las clasificaciones basadas en proxies (usando épocas de entrenamiento cortas)?

2. Metodología y Marco Matemático

Los autores modelan la NAS-LLM iterativa como un método de Entropía Cruzada (CE) paramétrico sobre programas ejecutables. El marco establece un vínculo formal entre el proceso de ajuste fino del LLM y el algoritmo de optimización CE bien estudiado.

Definiciones Centrales

• Espacio de Arquitecturas ($\mathcal{A}$): El conjunto de programas Python válidos sintácticamente y ejecutables que definen un torch.nn.Module.
• Función de Calidad ($q$): Mapea una arquitectura a su precisión de validación en la primera época sobre un conjunto de datos fijo.
• Conjunto Élite ($E_\tau$): Arquitecturas donde $q(a) \geq \tau$.
• Proceso Iterativo:
  1. Generar: Muestrear $N$ candidatos de la distribución actual del LLM $p_{\theta_t}$.
  2. Evaluar y Filtrar: Seleccionar arquitecturas élite que superen un filtro de novedad MinHash–Jaccard.
  3. Actualizar: Ajustar finamente los parámetros del LLM $\theta$ utilizando la unión del conjunto élite y el corpus estático (minimizando la pérdida de entropía cruzada).

Supuestos Teóricos

Las pruebas se basan en supuestos específicos, notablemente:

• Regularidad: Calidad acotada, masa inicial positiva de arquitecturas élite y estimación consistente a medida que crece el tamaño de la muestra.
• Proyección Monótona de Calidad: La proyección CE sobre la familia paramétrica (LLM) preserva o mejora la calidad media de la distribución.
• Modelo de Error de Token: Un modelo de cadena de Markov de primer orden para errores de tokens (reemplazando la suposición de tokens independientes) para analizar la generación delta frente a la generación de código completo.
• Fiabilidad del Proxy: Asume una distribución Normal bivariada entre las precisiones del proxy (entrenamiento corto) y el entrenamiento completo.

3. Contribuciones Clave y Resultados Teóricos

El artículo demuestra seis resultados principales:

A. Equivalencia a CE Paramétrico (Teorema 1)

El ajuste fino iterativo de LLM sobre arquitecturas élite es matemáticamente equivalente a la actualización de Entropía Cruzada restringida a la familia paramétrica del LLM. El paso de ajuste fino minimiza la divergencia de Kullback–Leibler (KL) entre la distribución empírica de las muestras élite y la distribución de generación del LLM.

B. Mejora Monótona de la Calidad (Teorema 2)

Bajo los supuestos enunciados, la calidad esperada de la arquitectura ($Q_t$) es monótonamente no decreciente a través de los ciclos, hasta un término de error de estimación de muestra finita $\epsilon_t = O(N^{-1/2})$.

C. Convergencia a un Punto Fijo (Teorema 3 y Corolario 4)

• La probabilidad de generar una arquitectura élite ($C_t$) converge a un punto fijo $C^*$ a una tasa geométrica: $C_t \geq 1 - (1 - \rho_0)^t$.
• Restricción LoRA: Si el LLM se adapta mediante LoRA (Adaptación de Bajo Rango), la expresividad de la familia paramétrica se restringe. En consecuencia, el proceso converge a una meseta $C^* \leq 1$ en lugar de 1, explicando las observaciones empíricas de techos de rendimiento.

D. Ventaja de la Generación Delta (Teorema 5 y Corolario 6)

Utilizando un modelo de error de token de cadena de Markov de primer orden, los autores demuestran que la generación delta (generación de diffs) logra una tasa de generación válida estrictamente mayor que la generación de código completo.

• La relación de tasas válidas depende del factor de reducción de longitud de salida $\alpha$ (donde $L_\delta = \alpha L_{full}$).
• La teoría predice una relación $> 1$, con una predicción calibrada de $\approx 2.23$ bajo parámetros específicos, aunque los resultados empíricos mostraron una relación de $1.41$ (confirmando la dirección pero quedándose por debajo de la magnitud debido a correlaciones a largo plazo no modeladas).

E. Prevención del Colapso de Modos (Teorema 7)

La aplicación de un filtro de novedad MinHash–Jaccard asegura que el corpus permanezca "separado". Teóricamente, esto evita que el LLM colapse a una sola arquitectura (colapso de modos), manteniendo una entropía no nula en la distribución de generación.

F. Fiabilidad del Proxy de Forma Cerrada (Teorema 8)

El artículo deriva una relación de forma cerrada entre la Relación Señal-Ruido (SNR) de la tarea proxy y la correlación de rango de Spearman ($\rho_S$) entre las clasificaciones del proxy y las de entrenamiento completo:
$$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$$
donde $\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$.

• Diagnóstico: Una condición necesaria para clasificaciones basadas en proxies confiables es $\sigma^2_{arch} \gg \sigma^2_{noise}$ (alta varianza arquitectónica en relación con el ruido).
• Efecto Techo: La teoría explica por qué la fiabilidad del proxy se estabiliza cuando la SNR es baja (por ejemplo, en conjuntos de datos con baja diversidad arquitectónica).

4. Validación Empírica

Los autores probaron estas teorías contra un experimento de 22 ciclos que involucró tres LLMs (Mistral, Qwen, DeepSeek) y 3.300 arquitecturas generadas.

• Predicciones Cuantitativas Consistentes:
  • Calidad Monótona: La tendencia media suavizada de la calidad fue no decreciente para todos los modelos.
  • Novedad: Se admitieron arquitecturas novedosas en cada ciclo, previniendo el colapso de modos.
• Consistencia en la Dirección del Efecto:
  • Concentración Élite: La concentración $C_t$ se estabilizó en un 73–76%, consistente con el techo de expresividad de LoRA (convergencia a $C^* < 1$).
  • Fiabilidad del Proxy: El ordenamiento de las correlaciones de Spearman (Mistral > Qwen > DeepSeek) coincidió perfectamente con la clasificación SNR. DeepSeek mostró una correlación no significativa, consistente con las predicciones de baja SNR.
• Desviaciones:
  • Relación de Tasa Delta: La relación observada (1.41) fue menor que la predicción teórica calibrada (2.23), atribuida a diffs inválidos por formato y correlaciones más allá del modelo de Markov de primer orden.
  • Correlación Qwen: La correlación de Spearman observada (0.635) superó la predicción Normal bivariada (0.10) debido a la truncación del techo de precisión, una limitación señalada por los autores.

5. Significado y Afirmaciones

El artículo afirma proporcionar las primeras garantías formales de convergencia para la NAS basada en LLM iterativos. Su significado radica en:

1. Unificación Teórica: Identificar la NAS-LLM como un método CE paramétrico, permitiendo la aplicación de la teoría de convergencia de optimización establecida.
2. Explicación de Fenómenos Empíricos: Proporcionar justificación matemática de por qué la generación delta funciona mejor y por qué ocurren mesetas de rendimiento con LoRA.
3. Herramienta de Diagnóstico: Ofrecer una fórmula de forma cerrada para diagnosticar la fiabilidad de las clasificaciones de arquitecturas basadas en proxies según la SNR, explicando los "efectos techo" previamente observados pero no explicados.

Los autores mantienen modestia, señalando que su validación empírica depende de un único conjunto de datos existente y que los límites teóricos para modelos adaptados con LoRA (convergencia a $C^* < 1$) son condicionales a supuestos de expresividad difíciles de verificar analíticamente. Se identifica trabajo futuro como la extensión de las tasas de convergencia a restricciones de bajo rango y el manejo de soportes de precisión truncados.