Resumo Técnico: LEMUR 2 – Desbloqueando a Diversidade de Redes Neurais para IA

Declaração do Problema

Os benchmarks de Busca de Arquitetura Neural (NAS) existentes, como o NAS-Bench e o NATS-Bench, são limitados por seu escopo estreito. Eles tipicamente cobrem apenas regiões específicas do espaço de design arquitetônico definidas por tarefas (ex: espaços de busca baseados em células fixas para classificação de imagens) e carecem de avaliação cross-domain ou consciente de implantação. Além disso, esses repositórios raramente oferecem um caminho de ponta a ponta da especificação arquitetônica até a implantação no nível do dispositivo, tornando difícil estudar as trocas entre precisão-latência ou reutilizar modelos em diferentes modalidades. O campo carece de coleções de modelos de redes neurais de grande escala e reutilizáveis que suportem a descoberta orientada a dados de regularidades estruturais e princípios de design generalizáveis além da intuição manual.

Metodologia

O LEMUR 2 estende o framework original LEMUR em um sistema modular e extensível que unifica pipelines generativos, avaliativos e de implantação. A metodologia é construída sobre um formato de relatório compartilhado que permite a integração de fontes de geração heterogêneas e a avaliação sistemática de mais de 14.000 arquiteturas distintas.

1. Estratégias Generativas

Para alcançar diversidade arquitetônica, o LEMUR 2 emprega seis metodologias de geração automatizada distintas, indo além de uma única família de backbone:

• Mutações Baseadas em AST: Um rastreador simbólico (construído sobre torch.fx) modifica o código-fonte de modelos existentes alterando as dimensões de canais de camadas convolucionais e lineares, preservando a compatibilidade de forma de tensores. Isso gera variantes estruturalmente consistentes.
• Aprendizado por Reforço (RL): Um pipeline de RL utiliza um LLM como política para completar esqueletos de modelos "mascarados". O LLM gera conclusões de código (ações) para instanciações de camadas ausentes. Os modelos são validados via compilação e passagens de forward, então treinados por um mini-época no CIFAR-10. Uma recompensa composta (baseada no sucesso de validação e melhoria de precisão) atualiza a política usando Otimização de Política Relativa de Grupo (GRPO).
• Algoritmos Genéticos: Um algoritmo genético evolui arquiteturas do tipo AlexNet no CIFAR-10. Ele explora dois espaços de busca: um restrito a hiperparâmetros (contagem de filtros, tamanhos de kernel) e outro incluindo escolhas estruturais de nível de bloco (pooling, ativação, batch normalization).
• Geração Inspirada em Fractais: Um gerador constrói redes multi-coluna auto-similares e recursivamente definidas (estilo FractalNet) governadas por profundidade fractal e largura de coluna, permitindo crescimento equilibrado em profundidade e largura.
• Geração Aumentada por Recuperação (NN-RAG): Este sistema minera bases de código públicas para extrair módulos PyTorch autossuficientes (subclasses de torch.nn.Module). Usando LibCST para parsing e um resolvedor de dependências sensível ao escopo, ele cria uma biblioteca de mais de 900 componentes reutilizáveis e validados (ex: de timm, torchvision, transformers).
• Prompting de Poucos Disparos (Few-Shot Prompting): LLMs são instruídos com um pequeno conjunto de arquiteturas de alto desempenho como exemplares para gerar novos modelos consistentes com a interface LEMUR. As arquiteturas geradas são normalizadas e deduplicadas via hashing MD5 antes do treinamento.

2. Extensões de Tarefa

O framework suporta tarefas multimodais além da classificação de imagens padrão:

• Legenda de Imagem (Image Captioning): Um pipeline automatizado (NN-Caption) gera arquiteturas encoder-decoder (acoplando CNNs com LMs, GRUs ou Transformers) treinadas no MS COCO.
• Texto-para-Imagem: Um framework unificado treina modelos de difusão (UNet-D), GANs e CVAE-GANs condicionadas a linguagem natural, avaliadas via similaridade texto-imagem baseada em CLIP.
• Texto-para-Texto: Modelos de linguagem recorrentes (RNNs e LSTMs) são treinados e avaliados no WikiText usando métricas de perplexidade e BLEU.
• Mistura de Especialistas (MoE): Arquiteturas MoE homogêneas e heterogêneas são construídas e avaliadas no CIFAR-10 para estudar composição de especialistas e estratégias de roteamento.

3. Implantação e Benchmarking

O LEMUR 2 preenche a lacuna entre métricas teóricas e desempenho prático através de dois pipelines automatizados:

• NN-Lite: Um pipeline automatizado para implantar modelos PyTorch em dispositivos Android. Ele converte modelos para TensorFlow Lite (lidando com disparidades de layout NCHW para NHWC), gerencia Dispositivos Virtuais Android (AVD), executa inferência e coleta métricas de latência e recursos.
• NN-VR: Um sistema para validar e implantar modelos em ambientes de realidade virtual baseados em Unity usando o motor de inferência Barracuda. Ele perfila a memória GPU, verifica a cobertura de operadores e mede a latência de inferência contra um orçamento de 90 Hz (11 ms/frame).

Principais Contribuições

1. Dataset de Grande Escala: O lançamento de um dataset contendo mais de 14.000 arquiteturas distintas e mais de 750.000 registros de treinamento estruturados. Esses registros documentam o desempenho do modelo, hiperparâmetros e resultados de tarefas em múltiplos datasets e tarefas.
2. Framework de Geração Diverso: A introdução de um framework unificado que combina edição programática, busca evolutiva, construção fractal e síntese impulsionada por LLM (incluindo NN-RAG) para produzir corpora de modelos heterogêneos.
3. Metadados Conscientes de Implantação: A provisão de metadados de desempenho em dispositivos reais (latência, uso de memória) via NN-Lite e NN-VR, cobrindo mais de 7.500 modelos em Android e 10.000+ em contextos de VR.
4. Análise Cross-Domain: Suporte para tarefas multimodais (legenda de imagem, texto-para-imagem, modelagem de linguagem) permitindo o estudo da transferibilidade arquitetônica entre domínios.
5. Pipelines de Transformação de Dados: A geração e avaliação sistemática de 6.000 pipelines de aumento de dados para guiar o pré-processamento ideal.

Resultados

Sob orçamentos de treinamento limitados, o artigo reporta os seguintes achados quantitativos:

• Desempenho Generativo: Geradores guiados por otimização (Algoritmos Genéticos, Redes Fractais) produziram os resultados de classificação de imagem mais consistentes e de maior desempenho. Por exemplo, Redes Fractais alcançaram a melhor precisão de 0.8018 no CIFAR-10, enquanto Algoritmos Genéticos atingiram 0.8004.
• Desempenho de LLM e RL: O prompting de poucos disparos baseado em LLM e o Aprendizado por Reforço mostraram maior variância. O melhor modelo de poucos disparos alcançou 0.3874 de precisão no CIFAR-10, enquanto a abordagem baseada em RL atingiu 0.6799.
• Sucesso de MoE: Um MoE homogêneo ajustado alcançou a maior precisão em sua categoria (93.9% no CIFAR-10), superando todos os backbones constituintes treinados individualmente.
• Resultados Específicos de Tarefa:
  • Legenda de Imagem: A variante gerada de melhor desempenho (ResNet-50 + Transformer) alcançou uma pontuação BLEU-4 de 0.317.
  • Texto-para-Imagem: Um CVAE-GAN com codificação CLIP alcançou um pico de pontuação CLIP de 0.2751.
  • Aumento de Dados: Uma busca combinatória de pipelines de aumento identificou uma configuração usando RandomPosterize que superou os pipelines gerados por LLM, atingindo 61.24% de precisão no CIFAR-10.
• Implantação: O pipeline NN-Lite processou com sucesso mais de 7.500 modelos, enquanto o NN-VR validou mais de 10.000 modelos, com uma taxa de sucesso de 95% em conformidade de tempo de quadro para aplicações de VR.

Significância e Alegações

O artigo posiciona o LEMUR 2 como um recurso fundamental para o design de IA reprodutível e orientado a dados. Sua principal significância reside em:

• Desbloquear a Diversidade: Ir além das coleções "metodologicamente homogêneas" dos benchmarks tradicionais de NAS para fornecer um corpus que abrange diversas origens arquitetônicas e modalidades.
• AutoML Impulsionado por LLM: Estabelecer uma base para acoplar diversas origens arquitetônicas com validação empírica em larga escala, apoiando o paradigma emergente de geração e generalização arquitetônica impulsionada por LLM.
• Relevância Prática: Ao ligar dados arquitetônicos com métricas de implantação em dispositivos reais, o framework permite o estudo de trocas entre precisão-latência e apoia o desenvolvimento de próximas gerações de arquiteturas adequadas para computação de borda e imersiva.
• Mineração de Arquitetura Neural: Formalizar a extração de primitivas neurais de dependência fechada de códigos-fonte díspares para um substrato executável padronizado para fluxos de trabalho de ML automatizados.

Os autores observam que, embora os geradores baseados em otimização atualmente produzam os resultados mais fortes, o valor do framework reside em sua capacidade de explorar sistematicamente o espaço de design arquitetônico e fornecer a infraestrutura de dados necessária para futuros avanços na descoberta automatizada de modelos.