Sintesi Tecnica: LEMUR 2 – Sbloccare la Diversità delle Reti Neurali per l'IA

Definizione del Problema

Gli esistenti benchmark per la Neural Architecture Search (NAS), come NAS-Bench e NATS-Bench, sono limitati dalla loro portata ristretta. Essi coprono tipicamente solo regioni specifiche dello spazio di progettazione architettonica (ad esempio, spazi di ricerca basati su celle fisse per la classificazione di immagini) e mancano di una valutazione cross-dominio o consapevole del deployment. Inoltre, questi repository raramente offrono un percorso end-to-end dalla specifica architettonica al deployment su dispositivo, rendendo difficile studiare i trade-off tra accuratezza e latenza o riutilizzare i modelli attraverso diverse modalità. Il campo manca di collezioni su larga scala e riutilizzabili di modelli di reti neurali che supportino la scoperta guidata dai dati di regolarità strutturali e principi di progettazione generalizzabili oltre l'intuizione manuale.

Metodologia

LEMUR 2 estende il framework originale LEMUR in un sistema modulare ed estensibile che unifica le pipeline generative, valutative e di deployment. La metodologia si basa su un formato di reporting condiviso che consente l'integrazione di sorgenti generative eterogenee e la valutazione sistematica di oltre 14.000 architetture distinte.

1. Strategie Generative

Per ottenere la diversità architettonica, LEMUR 2 impiega sei distinte metodologie di generazione automatizzata, andando oltre una singola famiglia di backbone:

• Mutazioni basate su AST: Un tracciatore simbolico (costruito su torch.fx) modifica il codice sorgente di modelli esistenti alterando le dimensioni dei canali di strati convoluzionali e lineari, preservando la compatibilità della forma dei tensori. Questo genera varianti strutturalmente coerenti.
• Apprendimento per Rinforzo (RL): Una pipeline di RL utilizza un LLM come policy per completare scheletri di modelli "mascherati". L'LLM genera completamenti di codice (azioni) per le istanze di strati mancanti. I modelli vengono validati tramite compilazione e passaggi forward, poi addestrati per un mini-epoch su CIFAR-10. Una reward composita (basata sul successo della validazione e sul miglioramento dell'accuratezza) aggiorna la policy utilizzando la Group Relative Policy Optimization (GRPO).
• Algoritmi Genetici: Un algoritmo genetico evolve architetture in stile AlexNet su CIFAR-10. Esplora due spazi di ricerca: uno limitato agli iperparametri (conteggio dei filtri, dimensioni dei kernel) e un altro che include scelte strutturali a livello di blocco (pooling, attivazione, batch normalization).
• Generazione ispirata ai Frattali: Un generatore costruisce reti multi-colonna autosimili e definite ricorsivamente (stile FractalNet) governate da profondità frattale e larghezza delle colonne, consentendo una crescita bilanciata in profondità e ampiezza.
• Generazione Aumentata dal Recupero (NN-RAG): Questo sistema scava nelle basi di codice pubbliche per estrarre moduli PyTorch auto-contenuti (sottoclassi di torch.nn.Module). Utilizzando LibCST per il parsing e un risolutore di dipendenze sensibile allo scope, crea una libreria di oltre 900 componenti riutilizzabili e validati (ad es. da timm, torchvision, transformers).
• Few-Shot Prompting: Gli LLM vengono istruiti con un piccolo set di architetture ad alte prestazioni come esempi per generare nuovi modelli coerenti con l'interfaccia LEMUR. Le architetture generate vengono normalizzate e deduplicate tramite hashing MD5 prima dell'addestramento.

2. Estensioni del Task

Il framework supporta task multimodali oltre la standard classificazione di immagini:

• Image Captioning: Una pipeline automatizzata (NN-Caption) genera architetture encoder-decoder (accoppiando CNN con LSTM, GRU o Transformer) addestrate su MS COCO.
• Text-to-Image: Un framework unificato addestra modelli di diffusione (UNet-D), GAN e CVAE-GAN condizionati sul linguaggio naturale, valutati tramite la similarità testo-immagine basata su CLIP.
• Text-to-Text: Modelli linguistici ricorrenti (RNN e LSTM) vengono addestrati e valutati su WikiText utilizzando metriche di perplexity e BLEU.
• Mixture-of-Experts (MoE): Architetture MoE sia omogenee che eterogenee vengono costruite e valutate su CIFAR-10 per studiare la composizione degli esperti e le strategie di routing.

3. Deployment e Benchmarking

LEMUR 2 colma il divario tra metriche teoriche e prestazioni pratiche attraverso due pipeline automatizzate:

• NN-Lite: Una pipeline automatizzata per il deployment di modelli PyTorch su dispositivi Android. Converte i modelli in TensorFlow Lite (gestendo le disparità di layout NCHW verso NHWC), gestisce Android Virtual Devices (AVD), esegue l'inferenza e raccoglie metriche di latenza e risorse.
• NN-VR: Un sistema per validare e distribuire modelli in ambienti di realtà virtuale basati su Unity utilizzando il motore di inferenza Barracuda. Profila la memoria GPU, controlla la copertura degli operatori e misura la latenza di inferenza rispetto a un budget di 90 Hz (11 ms/frame).

Contributi Chiave

1. Dataset su Larga Scala: Il rilascio di un dataset contenente oltre 14.000 architetture distinte e più di 750.000 record di addestramento strutturati. Questi record documentano le prestazioni del modello, gli iperparametri e gli esiti dei task attraverso molteplici dataset e task.
2. Framework di Generazione Diversificato: L'introduzione di un framework unificato che combina l'editing programmatico, la ricerca evolutiva, la costruzione frattale e la sintesi guidata da LLM (inclusa la NN-RAG) per produrre corpora di modelli eterogenei.
3. Metadati Consapevoli del Deployment: La fornitura di metadati sulle prestazioni su dispositivi reali (latenza, uso della memoria) tramite NN-Lite e NN-VR, coprendo oltre 7.500 modelli su Android e 10.000+ in contesti VR.
4. Analisi Cross-Domain: Supporto per task multimodali (image caption, text-to-image, language modeling) che consente lo studio della trasferibilità architettonica tra i domini.
5. Pipeline di Trasformazione dei Dati: La generazione e valutazione sistematica di 6.000 pipeline di data augmentation per guidare l'optimal preprocessing.

Risultati

Sotto budget di addestramento limitati, il paper riporta i seguenti risultati quantitativi:

• Performance Generativa: I generatori guidati dall'ottimizzazione (Algoritmi Genetici, Reti Frattali) hanno prodotto i risultati di classificazione delle immagini più consistenti e performanti. Ad esempio, le Reti Frattali hanno raggiunto un'accuratezza massima di 0.8018 su CIFAR-10, mentre gli Algoritmi Genetici hanno raggiunto 0.8004.
• Performance di LLM e RL: Il few-shot prompting basato su LLM e l'Apprendimento per Rinforzo (RL) hanno mostrato una varianza maggiore. Il miglior modello few-shot ha raggiunto un'accuratezza di 0.3874 su CIFAR-10, mentre l'approccio basato su RL ha raggiunto 0.6799.
• Successo MoE: Un MoE omogeneo ottimizzato ha ottenuto l'accuratezza più alta nella sua categoria (93.9% su CIFAR-10), superando tutti i backbone costituenti addestrati individualmente.
• Esiti Specifici per Task:
  • Image Captioning: La migliore variante generata (ResNet-50 + Transformer) ha raggiunto un punteggio BLEU-4 di 0.317.
  • Text-to-Image: Una CVAE-GAN con codifica CLIP ha raggiunto un picco di punteggio CLIP di 0.2751.
  • Data Augmentation: Una ricerca combinatoria di pipeline di augmentation ha identificato una configurazione utilizzando RandomPosterize che ha superato le pipeline generate da LLM, raggiungendo il 61.24% di accuratezza su CIFAR-10.
• Deployment: La pipeline NN-Lite ha elaborato con successo oltre 7.500 modelli, mentre NN-VR ha validato oltre 10.000 modelli, con un tasso di successo del 95% nella conformità del tempo di frame per applicazioni VR.

Significato e Rivendicazioni

Il paper posiziona LEMUR 2 come una risorsa fondamentale per un design dell'IA riproducibile e guidato dai dati. La sua importatica principale risiede nel:

• Sbloccare la Diversità: Andare oltre le collezioni "metodologicamente omogenee" dei tradizionali benchmark NAS per fornire un corpus che spazi tra diverse origini architettoniche e modalità.
• AutoML Guidato da LLM: Stabilire una base per accoppiare diverse origini architettoniche con una validazione empirica su larga scala, supportando il paradigma emergente della generazione e generalizzazione architettonica guidata da LLM.
• Rilevanza Pratica: Collegando i dati architettonici con le metriche di deployment su dispositivi reali, il framework consente lo studio dei trade-off tra accuratezza e latenza e supporta lo sviluppo di architetture di prossima generazione adatte all'edge e al computing immersivo.
• Mining dell'Architettura Neurale: Formalizzare l'estrazione di primitive neurali a chiusura di dipendenza da codice sorgente disparato in un substrato standardizzato ed eseguibile per workflow di machine learning automatizzati.

Gli autori osservano che, sebbene i generatori basati sull'ottimizzazione producano attualmente i risultati più forti, il valore del framework risiede nella sua capacità di esplorare sistematicamente lo spazio di progettazione architettonica e fornire l'infrastruttura dati necessaria per i futuri progressi nella scoperta automatizzata dei modelli.