LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search

Resumo Técnico: LLMasTool

1. O Problema

A Busca de Arquitetura Neural (NAS) visa automatizar o design de redes neurais profundas (DNNs) de alto desempenho. No entanto, existem desafios significativos nas abordagens atuais:

• NAS Tradicional (Algorítmico): Depende de espaços de busca pré-definidos e "feitos à mão" (hand-crafted) para garantir a executabilidade do código. Isso restringe a exploração aberta e tende a enviesar os resultados para os preconceitos dos designers.
• NAS Baseado em Agentes LLM: Abordagens recentes utilizam Grandes Modelos de Linguagem (LLMs) como agentes autônomos para gerar arquiteturas via código natural. Embora reduzam o esforço manual, esses métodos sofrem de:
  • Falta de Confiabilidade: Dificuldade em gerar arquiteturas complexas e válidas (executáveis) consistentemente.
  • Viés de Treinamento: As propostas dos LLMs tendem a repetir padrões observados em seus dados de treinamento, limitando a verdadeira exploração aberta e inovadora.
  • Controle Limitado: A geração end-to-end de código é difícil de controlar e validar.

2. Metodologia (LLMasTool)

Os autores propõem o LLMasTool, um framework híbrido que não trata o LLM como um agente autônomo, mas sim como uma ferramenta auxiliar dentro de um processo evolutivo controlado por algoritmos. A metodologia baseia-se em três pilares principais:

A. Mineração de Módulos Baseada em Algoritmos (Module Mining)

• Em vez de depender da memória do LLM, o sistema analisa automaticamente código-fonte existente (ex: PyTorch, MMCV, timm) para extrair módulos reutilizáveis.
• Um algoritmo baseado em regras (não LLM) parseia o código para identificar classes que herdam de torch.nn.Module, criando um banco de dados de módulos com seus hiperparâmetros e metadados.
• Isso garante 100% de corretude na definição do espaço de busca e permite a reutilização direta de conhecimento de pesquisa existente.

B. Representação Hierárquica em Árvore (Tree Representation)

• Diferente das representações baseadas em grafos de fluxo de dados (comuns no NAS tradicional), o LLMasTool representa a arquitetura como uma árvore hierárquica.
• Estrutura: Nós superiores representam blocos conceituais (ex: Backbone, Neck), nós intermediários são módulos e nós folha são hiperparâmetros.
• Vantagem: Essa estrutura é "amigável para implantação" (deploy-friendly), facilitando a edição precisa e a reutilização de blocos de código complexos sem a necessidade de reescrever o fluxo de dados manualmente.

C. Evolução por Transformação de Árvore com Decisão "Grossa a Fina" (Coarse-to-Fine)
O processo evolutivo não gera código do zero, mas aplica transformações na árvore. A decisão de como transformar é feita em duas camadas:

1. Planejamento de Alto Nível (Grossa - Coarse): Realizado por um algoritmo diversificado guiado por Amostragem de Thompson Hierárquica (Bayesiana).
   • Decide qual operação realizar (ex: trocar módulo, inserir, deletar, mudar hiperparâmetro).
   • Decide qual categoria de prompt usar para o LLM (ex: "confiar no LLM", "explorar contra o conhecimento do LLM", "mínima dependência do LLM").
   • Isso garante diversidade e evita que o LLM fique preso em seus vieses de treinamento.
2. Refinamento de Baixo Nível (Fina - Fine): O LLM atua como uma ferramenta para resolver os graus de liberdade restantes.
   • Recebe instruções estruturadas (com placeholders preenchidos pelo algoritmo) para definir detalhes específicos (ex: quais hiperparâmetros ajustar para um módulo recém-inserido).
   • O LLM gera apenas a transformação necessária, não a arquitetura inteira.

3. Contribuições Chave

1. Framework Híbrido LLMasTool: Uma nova abordagem que integra a flexibilidade dos LLMs com a robustez de algoritmos de busca, representando arquiteturas como árvores hierárquicas.
2. Mineração de Código Automatizada: Um método para construir bancos de dados de módulos a partir de repositórios de código existentes, eliminando a necessidade de definir espaços de busca manualmente.
3. Estratégia de Decisão "Grossa a Fina": Um mecanismo que usa algoritmos para garantir a diversidade da busca (evitando o viés do LLM) e o LLM apenas para garantir a validade e a execução das transformações.
4. Amostragem de Thompson Hierárquica: Uma técnica eficiente para equilibrar exploração e exploração em espaços de busca abertos, acumulando histórico de sucesso em níveis abstratos da árvore de decisão.

4. Resultados

O método foi avaliado no benchmark NAS-Bench-201 e em conjuntos de dados mais desafiadores (ImageNet-100, ImageNet16-120).

• Desempenho Superior: O LLMasTool superou os métodos state-of-the-art (SOTA) existentes.
  • CIFAR-10: +0.69 pontos de acurácia.
  • CIFAR-100: +1.83 pontos de acurácia.
  • ImageNet16-120: +2.68 pontos de acurácia.
• Comparação com Agentes LLM: Superou significativamente métodos puramente baseados em LLM (como NADER, LLMatic) e métodos de espaço de busca manual, demonstrando que a abordagem de "ferramenta" é mais eficaz do que a de "agente autônomo" para NAS.
• Estudos de Ablação: Confirmaram que a combinação de mineração de módulos, representação em árvore e o planejamento "grossa a fina" são essenciais para o sucesso, sendo que a dependência excessiva do LLM (sem controle algorítmico) leva a estagnação no desempenho.

5. Significado e Impacto

Este trabalho representa uma mudança de paradigma na aplicação de LLMs para NAS:

• Superação do Viés: Ao usar o LLM apenas para refinar decisões dentro de um espaço controlado por algoritmos, o método consegue explorar direções que estão fora do "conhecimento prévio" do modelo de linguagem, descobrindo arquiteturas verdadeiramente inovadoras.
• Confiabilidade e Executabilidade: A abordagem baseada em transformações de árvore garante que as arquiteturas geradas sejam sempre executáveis e compatíveis com frameworks de deep learning, resolvendo um dos maiores gargalos do NAS baseado em geração de código.
• Reutilização de Conhecimento: A mineração automática de módulos permite que o sistema aproveite diretamente o conhecimento acumulado em bibliotecas de código open-source, acelerando a descoberta de arquiteturas eficientes.

Em suma, o LLMasTool demonstra que a sinergia entre algoritmos determinísticos (para estrutura e diversidade) e LLMs (para flexibilidade semântica e refinamento) é a chave para uma busca de arquitetura neural aberta, eficiente e de alto desempenho.