🤖 machine learning

Towards Migrating Neural Network Implementations

Questo articolo propone e valida un approccio automatizzato per la migrazione del codice delle reti neurali tra framework di deep learning, come PyTorch e TensorFlow, sfruttando un modello pivot per creare un'astrazione che garantisca l'equivalenza funzionale superando al contempo le sfide della migrazione manuale.

Autori originali: Nadia Daoudi, Ivan Alfonso, Jordi Cabot

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nadia Daoudi, Ivan Alfonso, Jordi Cabot

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver costruito una macchina magnifica e complessa (una Rete Neurale) utilizzando un set specifico di progetti e strumenti provenienti da un determinato paese (diciamo, TensorFlow). Ora, la tua azienda decide di trasferirsi in un nuovo paese dove tutti utilizzano un set di strumenti diverso e parlano una lingua leggermente differente (PyTorch).

Il problema? Non puoi semplicemente prendere la tua macchina e spostarla. Gli ingranaggi non combaciano, le istruzioni sono nella lingua sbagliata e i pezzi hanno forme diverse. Di solito, dovresti smontare completamente la macchina e ricostruirla da zero a mano, un processo che richiede un'eternità ed è soggetto a errori.

Questo articolo presenta un traduttore robotico che esegue questa ricostruzione per te in modo automatico.

Ecco come funziona il loro "traduttore magico", scomposto in passaggi semplici:

1. Il "Traduttore Universale" (Il Modello Pivot)

Invece di tentare di tradurre direttamente dalla Lingua A alla Lingua B (il che è disordinato perché sono così diverse), gli autori hanno inventato una Lingua Universale (chiamata Metamodello BESSER-NN).

Pensa a questo come a un adattatore universale per le spine elettriche.

Passaggio 1: Prendono la tua macchina originale (codice TensorFlow) e la scompongono nei suoi componenti di base (strati, connessioni, impostazioni). Traducono questi componenti nella "Lingua Universale".
Passaggio 2: Prendono quella Lingua Universale e la traducono nella lingua del nuovo paese (codice PyTorch).

Ciò garantisce che, indipendentemente da dove si inizia o da dove si finisce, l'"anima" fondamentale della macchina rimanga invariata.

2. Il Processo in Tre Fasi

Gli autori descrivono il loro metodo come una catena di montaggio in tre stadi:

Stadio 1: La Radiografia (Estrazione AST): Utilizzano uno strumento per eseguire una "radiografia" del codice originale. Questo trasforma il codice testuale disordinato in un diagramma ad albero chiaro e organizzato (chiamato Albero Sintattico Astratto) che mostra esattamente come è costruita la macchina.
Stadio 2: La Traduzione (Trasformazione): Osservano quel diagramma ad albero e lo riscrivono nel progetto della loro "Lingua Universale". È qui che gestiscono le parti complicate, come assicurarsi che la nuova macchina sappia quanto siano grandi i dati di input, anche se il vecchio codice non lo specificava esplicitamente.
Stadio 3: La Costruzione (Generazione del Codice): Infine, utilizzano un sistema di modelli (come un modulo "compila gli spazi vuoti") per scrivere il nuovo codice nella lingua di destinazione (PyTorch o TensorFlow) basandosi su quel progetto universale.

3. Gli Ostacoli Difficili (Sfide)

L'articolo ammette che non è stato facile. Hanno dovuto risolvere tre enigmi specifici:

L'Enigma del "Pezzo Mancante": Nella vecchia lingua (TensorFlow), alcune parti della macchina determinano automaticamente le proprie dimensioni in base a ciò che viene loro fornito. Nella nuova lingua (PyTorch), devi scrivere esplicitamente le dimensioni. Il robot degli autori ha dovuto svolgere un lavoro investigativo per "indovinare" e colmare quelle dimensioni mancanti, in modo che la nuova macchina non si bloccasse.
L'Enigma dell'"Istruzione Nascosta": A volte, la funzione di attivazione (un interruttore che accende la macchina) è nascosta all'interno di un nome di variabile invece che scritta chiaramente. Il robot doveva essere abbastanza intelligente da trovare quel nome nascosto e sostituirlo con l'istruzione corretta ed esplicita per la nuova lingua.
L'Enigma del "Destro vs. Sinistro": Immagina che un paese impacchetti le scatole con l'impugnatura a sinistra e l'altro le impacchetti con l'impugnatura a destra. Se sposti semplicemente la scatola, non si adatterà allo scaffale. TensorFlow e PyTorch organizzano i dati in modo diverso (uno mette i "canali di colore" alla fine, l'altro all'inizio). Gli autori hanno aggiunto uno stadio di "riordinamento" per ribaltare i dati in modo che la nuova macchina possa leggerli correttamente senza modificare l'immagine effettiva.

4. Ha Funzionato? (I Risultati)

Gli autori hanno testato il loro robot su cinque famosi progetti di reti neurali (come AlexNet e VGG16). Hanno provato a spostarli avanti e indietro tra TensorFlow e PyTorch.

È stata costruita? Sì. Il nuovo codice è stato eseguito senza errori.
Ha pensato allo stesso modo? Sì. Hanno immesso le stesse identiche immagini e numeri sia nella macchina vecchia che in quella nuova. I risultati erano quasi identici (differendo per meno di un miliardesimo di percento).
Ha imparato allo stesso modo? Sì. Quando hanno addestrato entrambe le macchine su dati del mondo reale (come riconoscere gatti contro cani o recensioni di film), hanno ottenuto punteggi di accuratezza quasi identici.

La Conclusione

L'articolo afferma di aver costruito uno strumento in grado di tradurre automaticamente il codice delle reti neurali da un framework principale a un altro. Questo salva gli sviluppatori dalla necessità di riscrivere manualmente migliaia di righe di codice, garantendo che la nuova versione funzioni esattamente come la vecchia, parlando semplicemente una "lingua" diversa.

Menzionano inoltre che questo si inserisce in un sistema più ampio in cui il software è progettato utilizzando modelli, ma il loro focus principale è strettamente sulla traduzione del codice stesso, non su come l'IA viene utilizzata in ospedali o in altre applicazioni specifiche del mondo reale.

Riepilogo Tecnico: Verso la Migrazione delle Implementazioni di Reti Neurali

Enunciato del Problema

Il rapido avanzamento delle reti neurali (NN) ha portato a una proliferazione di framework di deep learning (DL) (ad esempio, PyTorch, TensorFlow). Sebbene le organizzazioni adottino questi framework per sfruttare funzionalità specifiche, caratteristiche prestazionali o supporto della comunità, spesso si trovano nella necessità di migrare implementazioni NN esistenti verso un framework diverso in una fase successiva del ciclo di vita. Questa migrazione è guidata da fattori quali il calo delle prestazioni, l'evoluzione dei requisiti o la deprecazione del supporto per framework specifici (ad esempio, la deprecazione da parte di Hugging Face del supporto per TensorFlow).

Attualmente, esiste una significativa carenza di approcci automatizzati specificamente mirati alla migrazione del codice delle NN. La letteratura esistente si concentra principalmente sulla conversione di modelli addestrati e pronti all'uso (artefatti) piuttosto che sul codice sorgente stesso. Di conseguenza, le organizzazioni sono costrette a riscrivere manualmente il codice delle NN da zero, un processo che richiede molto tempo, è soggetto a errori e ostacola la flessibilità necessaria per adottare nuove funzionalità pur riutilizzando la logica esistente.

Metodologia

Gli autori propongono un approccio di Ingegneria Guidata dai Modelli (MDE) per migrare automaticamente il codice delle NN tra framework di DL. Il nucleo del metodo si basa su un modello pivot per astrarre il codice sorgente prima di generare il codice target. Il processo consta di tre fasi principali:

1. Estrazione dell'AST

Il processo inizia analizzando il codice del framework sorgente (Python) per estrarre il suo Albero Sintattico Astratto (AST). Gli autori utilizzano la libreria ast di Python per rappresentare il codice come un albero di nodi, dove i nodi corrispondono a componenti delle NN come livelli, operazioni sui tensori e iperparametri. Questa fase supporta sia le architetture Sequenziali che quelle basate sulla Sottoclasse presenti in PyTorch e TensorFlow.

2. Trasformazione (Modello-a-Modello)

L'AST estratto viene trasformato in una rappresentazione indipendente dal framework utilizzando il metamodello BESSER-NN. Questo metamodello, parte della piattaforma low-code BESSER, funge da modello pivot.

Mappatura: I nodi dell'AST sorgente (ad esempio, un livello Dense di TensorFlow) vengono mappati sui loro equivalenti nel modello BESSER-NN (ad esempio, un livello Linear).
Attributi: Gli iperparametri, le configurazioni di addestramento e le definizioni dei dataset vengono anch'essi mappati sul modello pivot.
Gestione delle Differenze Architetturali: L'approccio impiega quattro moduli di trasformazione distinti per gestire le quattro combinazioni di architetture sorgente/target (PyTorch/TensorFlow $\times$ Sottoclasse/Sequenziale).
Tracciamento Simbolico: Aspetto critico di questa fase è il tracciamento simbolico del codice sorgente per inferire attributi non definiti esplicitamente nell'AST (ad esempio, le forme degli input in TensorFlow), garantendo che il modello pivot contenga tutte le informazioni necessarie per il framework target.

3. Generazione del Codice (Modello-a-Testo)

Una volta popolato il modello pivot BESSER-NN, i generatori di codice producono l'implementazione finale nel framework target.

Preprocessing: Script Python elaborano il modello BESSER-NN per risolvere riferimenti incrociati e dipendenze tra i livelli.
Motore di Template: Il motore di template Jinja viene utilizzato per mappare i concetti astratti nel modello pivot sulla sintassi specifica del framework target (PyTorch o TensorFlow).
Supporto Architetturale: Sono stati sviluppati quattro generatori di codice per supportare tutte le combinazioni di architetture, garantendo che design complessi (come la definizione di una rete all'interno di un'altra classe) siano preservati.

Contributi Chiave e Sfide Tecniche

Il documento affronta diverse sfide tecniche specifiche inerenti alla migrazione cross-framework:

Attributi Mancanti (Forme degli Input): In TensorFlow, le forme degli input sono spesso inferite automaticamente, mentre PyTorch richiede una definizione esplicita. Gli autori hanno risolto questo problema aggiungendo una fase di tracciamento simbolico durante la fase di trasformazione per inferire e popolare gli attributi mancanti delle forme degli input (ad esempio, in_features, in_channels) nel modello pivot prima di generare il codice PyTorch.
Funzioni di Attivazione Dinamiche: TensorFlow consente di assegnare dinamicamente funzioni di attivazione a variabili e di passarle ai livelli, mentre PyTorch si aspetta tipicamente definizioni di livelli esplicite. L'approccio di migrazione gestisce questo verificando il valore della funzione di attivazione; se si tratta di una stringa nota, viene generato un livello standard. Se è dinamica, il generatore crea una chiamata a funzione personalizzata che risolve l'attivazione a runtime, preservando la logica originale.
Convenzioni di Ordinamento dei Canali: TensorFlow utilizza un ordinamento "canale-ultimo", mentre PyTorch utilizza "canale-primo". Per mantenere l'equivalenza funzionale senza alterare il formato dei dati di input, l'approccio inserisce operazioni sui tensori permute. Queste operazioni riordinano le dimensioni dei tensori prima e dopo i livelli convoluzionali nel codice target per allinearsi alla convenzione nativa del framework, mantenendo il flusso dei dati coerente con la sorgente.
Integrazione di Sistema: Il documento dimostra come il metamodello BESSER-NN possa essere integrato con linguaggi di modellazione software generali come UML. Ciò consente di definire le NN come implementazioni di comportamento all'interno di modelli di sistema più ampi (ad esempio, come metodi in una macchina a stati), facilitando la migrazione delle NN come parte di una migrazione più ampia di un sistema intelligente.

Valutazione Sperimentale

Gli autori hanno valutato l'approccio utilizzando cinque reti neurali distinte tratte dalla letteratura: AlexNet, VGG16, LSTM, CNN-RNN e TF-Tutorial. Queste reti coprono 12 tipi di livelli distinti e un mix di architetture Sequenziali e basate sulla Sottoclasse.

La valutazione ha affrontato due Domande di Ricerca (RQ):

RQ1 (Successo della Migrazione): L'approccio ha migrato con successo tutte e cinque le reti in tutti gli scenari supportati (PyTorch $\leftrightarrow$ TensorFlow, Sequenziale $\leftrightarrow$ Sottoclasse). Il codice generato è stato eseguito senza errori strutturali quando alimentato con dati di input fittizi.
RQ2 (Preservazione Funzionale): Gli autori hanno verificato che le reti migrate producano output funzionalmente equivalenti agli originali.
- Input Casuali: Utilizzando pesi identici e input casuali, la Differenza Assoluta Massima (MAD) tra gli output sorgente e target è stata trascurabile (fino a $5.96 \times 10^{-8}$ ).
- Dataset di Benchmark: Le reti sono state addestrate su CIFAR-10, SVHN, IMDB e SST-2. L'accuratezza predittiva delle reti migrate è stata altamente coerente con quella delle reti sorgente, con la più grande differenza osservata pari a 0.022 (per VGG16 su CIFAR-10).

Significato e Affermazioni

Il documento afferma che il suo significato principale risiede nello spostare il focus dalla migrazione di modelli addestrati alla migrazione di codice sorgente. A differenza degli strumenti esistenti (ad esempio, ONNX, MMdnn, CoreML) che convertono artefatti statici e addestrati, questo approccio migra la definizione della rete stessa.

Questa distinzione è significativa perché:

Abilita sperimentazioni iterative, consentendo agli sviluppatori di ispezionare, modificare e riaddestrare il modello all'interno del nuovo framework.
Supporta pipeline guidate dai modelli, permettendo alle NN di essere trattate come cittadini di prima classe all'interno di flussi di lavoro più ampi di ingegneria del software.
Evita la natura "scatola nera" della conversione degli artefatti, preservando la capacità di sfruttare nuove funzionalità e le migliori pratiche del framework target.

Gli autori concludono che il loro approccio colma efficacemente il divario tra i framework di DL, riducendo lo sforzo manuale richiesto per la modernizzazione mantenendo al contempo l'equivalenza funzionale. Osservano che il lavoro futuro consisterà nell'estendere il metamodello per supportare concetti AI più avanzati (ad esempio, Transformer, Reti Neurali su Grafi) e nello sviluppare trasformazioni di refactoring per migliorare la struttura delle NN.