Resumo Técnico: Teoria de Convergência para Busca de Arquitetura Neural Iterativa Baseada em LLM

1. Declaração do Problema

A Busca de Arquitetura Neural (NAS) mudou recentemente de espaços de busca pré-definidos para o uso de Modelos de Linguagem Grandes (LLMs) como geradores de programas executáveis torch.nn.Module de fim aberto. Embora estudos empíricos (por exemplo, Khalid et al., Adhikari et al.) demonstrem que o ajuste fino iterativo de um LLM em suas próprias gerações bem-sucedidas melhora tanto a confiabilidade da geração quanto a qualidade da arquitetura, não existe uma teoria de convergência formal para esta classe de algoritmos.

As lacunas teóricas chave abordadas incluem:

• O ajuste fino iterativo de LLM melhora comprovadamente a qualidade da arquitetura?
• Sob quais condições o processo converge?
• Por que a "geração de delta" (geração de diffs unificados) alcança taxas de geração válidas mais altas do que a geração de código completo?
• Qual é o papel teórico da filtragem de novidade na prevenção de soluções degeneradas (colapso de modo)?
• Como a confiabilidade de classificações baseadas em proxies (usando épocas de treinamento curtas) pode ser quantificada?

2. Metodologia e Estrutura Matemática

Os autores modelam a NAS iterativa baseada em LLM como um método de Entropia Cruzada (CE) paramétrico sobre programas executáveis. A estrutura estabelece um vínculo formal entre o processo de ajuste fino do LLM e o algoritmo de otimização CE bem estudado.

Definições Principais

• Espaço de Arquitetura ($\mathcal{A}$): O conjunto de programas Python sintaticamente válidos e executáveis que definem um torch.nn.Module.
• Função de Qualidade ($q$): Mapeia uma arquitetura para sua precisão de validação na primeira época em um conjunto de dados fixo.
• Conjunto de Elite ($E_\tau$): Arquiteturas onde $q(a) \geq \tau$.
• Processo Iterativo:
  1. Gerar: Amostra $N$ candidatos da distribuição atual do LLM $p_{\theta_t}$.
  2. Avaliar e Filtrar: Selecionar arquiteturas de elite que passam por um filtro de novidade MinHash–Jaccard.
  3. Atualizar: Ajustar finamente os parâmetros do LLM $\theta$ usando a união do conjunto de elite e o corpus estático (minimizando a perda de entropia cruzada).

Suposições Teóricas

As provas dependem de suposições específicas, notadamente:

• Regularidade: Qualidade limitada, massa inicial positiva de arquiteturas de elite e estimativa consistente à medida que o tamanho da amostra cresce.
• Projeção Monótona de Qualidade: A projeção CE sobre a família paramétrica (LLM) preserva ou melhora a qualidade média da distribuição.
• Modelo de Erro de Token: Um modelo de cadeia de Markov de primeira ordem para erros de token (substituindo a suposição de token independente) para analisar geração de delta versus geração de código completo.
• Confiabilidade do Proxy: Assume distribuição Normal bivariada entre precisões de proxy (treinamento curto) e treinamento completo.

3. Principais Contribuições e Resultados Teóricos

O artigo prova seis resultados principais:

A. Equivalência ao CE Paramétrico (Teorema 1)

O ajuste fino iterativo de LLM em arquiteturas de elite é matematicamente equivalente à atualização de Entropia Cruzada restrita à família paramétrica do LLM. A etapa de ajuste fino minimiza a divergência de Kullback–Leibler (KL) entre a distribuição empírica das amostras de elite e a distribuição de geração do LLM.

B. Melhoria Monótona da Qualidade (Teorema 2)

Sob as suposições declaradas, a qualidade esperada da arquitetura ($Q_t$) é monotonamente não decrescente ao longo dos ciclos, até um termo de erro de estimativa de amostra finita $\epsilon_t = O(N^{-1/2})$.

C. Convergência para um Ponto Fixo (Teorema 3 e Corolário 4)

• A probabilidade de gerar uma arquitetura de elite ($C_t$) converge para um ponto fixo $C^*$ a uma taxa geométrica: $C_t \geq 1 - (1 - \rho_0)^t$.
• Restrição LoRA: Se o LLM for adaptado via LoRA (Adaptação de Baixo Rango), a expressividade da família paramétrica é restrita. Consequentemente, o processo converge para um platô $C^* \leq 1$ em vez de 1, explicando observações empíricas de tetos de desempenho.

D. Vantagem da Geração de Delta (Teorema 5 e Corolário 6)

Usando um modelo de erro de token de cadeia de Markov de primeira ordem, os autores provam que a geração de delta (geração de diffs) alcança uma taxa de geração válida estritamente maior do que a geração de código completo.

• A razão das taxas válidas depende do fator de redução de comprimento de saída $\alpha$ (onde $L_\delta = \alpha L_{full}$).
• A teoria prevê uma razão $> 1$, com uma previsão calibrada de $\approx 2,23$ sob parâmetros específicos, embora os resultados empíricos mostraram uma razão de $1,41$ (confirmando a direção, mas ficando aquém da magnitude devido a correlações de longo alcance não modeladas).

E. Prevenção do Colapso de Modo (Teorema 7)

A aplicação de um filtro de novidade MinHash–Jaccard garante que o corpus permaneça "separado". Teoricamente, isso impede que o LLM colapse para uma única arquitetura (colapso de modo), mantendo uma entropia não nula na distribuição de geração.

F. Confiabilidade do Proxy em Forma Fechada (Teorema 8)

O artigo deriva uma relação em forma fechada entre a Razão Sinal-Ruído (SNR) da tarefa proxy e a correlação de posto de Spearman ($\rho_S$) entre classificações de proxy e treinamento completo:
$$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$$
onde $\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$.

• Diagnóstico: Uma condição necessária para classificações baseadas em proxy confiáveis é $\sigma^2_{arch} \gg \sigma^2_{noise}$ (alta variância arquitetônica em relação ao ruído).
• Efeito de Teto: A teoria explica por que a confiabilidade do proxy atinge um platô quando o SNR é baixo (por exemplo, em conjuntos de dados com baixa diversidade arquitetônica).

4. Validação Empírica

Os autores testaram essas teorias contra um experimento de 22 ciclos envolvendo três LLMs (Mistral, Qwen, DeepSeek) e 3.300 arquiteturas geradas.

• Previsões Quantitativas Consistentes:
  • Qualidade Monótona: A tendência média suavizada da qualidade foi não decrescente para todos os modelos.
  • Novidade: Arquiteturas novas foram admitidas em cada ciclo, prevenindo o colapso de modo.
• Consistência da Direção do Efeito:
  • Concentração de Elite: A concentração $C_t$ estabilizou em 73–76%, consistente com o teto de expressividade do LoRA (convergindo para $C^* < 1$).
  • Confiabilidade do Proxy: A ordenação das correlações de Spearman (Mistral > Qwen > DeepSeek) correspondeu perfeitamente à classificação de SNR. O DeepSeek mostrou correlação não significativa, consistente com previsões de SNR baixo.
• Desvios:
  • Razão de Taxa de Delta: A razão observada (1,41) foi menor do que a previsão teórica calibrada (2,23), atribuída a diffs inválidos de formato e correlações além do modelo de Markov de primeira ordem.
  • Correlação Qwen: A correlação de Spearman observada (0,635) excedeu a previsão Normal bivariada (0,10) devido ao truncamento do teto de precisão, uma limitação notada pelos autores.

5. Significado e Alegações

O artigo afirma fornecer as primeiras garantias formais de convergência para NAS iterativa baseada em LLM. Seu significado reside em:

1. Unificação Teórica: Identificar NAS baseada em LLM como um método CE paramétrico, permitindo a aplicação da teoria de convergência de otimização estabelecida.
2. Explicação de Fenômenos Empíricos: Fornecer justificativa matemática para por que a geração de delta funciona melhor e por que ocorrem platôs de desempenho com LoRA.
3. Ferramenta de Diagnóstico: Oferecer uma fórmula em forma fechada para diagnosticar a confiabilidade de classificações de arquitetura baseadas em proxy com base no SNR, explicando "efeitos de teto" previamente observados, mas não explicados.

Os autores permanecem modestos, observando que sua validação empírica depende de um único conjunto de dados existente e que os limites teóricos para modelos adaptados via LoRA (convergência para $C^* < 1$) são condicionais a suposições de expressividade que são difíceis de verificar analiticamente. Trabalhos futuros são identificados como a extensão das taxas de convergência para restrições de baixo rango e o tratamento de suportes de precisão truncados.