CASS: Nvidia to AMD Transpilation with Data, Models, and Benchmark

1. Il Problema: Lock-in Hardware e Portabilità GPU

Le GPU sono fondamentali per il machine learning e il calcolo scientifico, ma l'ecosistema software è frammentato. Il modello di programmazione dominante di Nvidia, CUDA, è strettamente legato all'hardware proprietario, creando un severo "vendor lock-in". Il codice CUDA non può essere eseguito nativamente su GPU AMD a causa delle differenze nelle architetture delle istruzioni (ISA) e nei pipeline di compilazione.

Sebbene AMD abbia introdotto HIP (Heterogeneous-computing Interface for Portability) come API C++ compatibile con CUDA all'interno dello stack ROCm, gli strumenti esistenti presentano limitazioni critiche:

• HIPIFY: Traduce solo a livello di sorgente (statico) e fallisce frequentemente su costrutti complessi o codice legacy ottimizzato a basso livello. Non può gestire binari precompilati.
• Traduzione a livello di Assembly: Esiste un vuoto totale nella traduzione diretta tra assembly proprietario di Nvidia (SASS) e quello di AMD (RDNA3). Gli strumenti attuali (come ZLUDA) operano a livello di IR (Intermediate Representation), perdendo le ottimizzazioni specifiche del backend hardware.
• Mancanza di Dati: Non esistevano dataset su larga scala che fornissero coppie di codice sorgente e assembly allineate semanticamente tra le due architetture, rendendo impossibile l'addestramento di modelli di intelligenza artificiale per questa specifica traduzione.

2. Metodologia: Il Pipeline CASS

Gli autori hanno sviluppato CASS (CUDA-AMD ASsembly and Source Mapping), un approccio end-to-end che include la raccolta dati, la generazione sintetica, la compilazione e l'allineamento.

A. Raccolta e Generazione dei Dati

Il dataset finale contiene 60.000 campioni verificati, suddivisi in tre fonti:

1. Codice Reale (Stack): Estrazione di 24k file CUDA da repository pubblici (The Stack v2), mantenendo la struttura delle directory per migliorare il successo della compilazione.
2. Codice Sintetico: Utilizzo di un LLM (Qwen2.5-Coder32B) con una strategia di "persona aumentata da variabili" per generare 85k campioni CUDA. Questo ha permesso di coprire domini e pattern di ottimizzazione (es. larghezza di banda memoria, uso dei registri) spesso assenti nel codice reale.
3. OpenCL: Un pipeline indipendente per tradurre snippet OpenCL in assembly sia per Nvidia che per AMD, aggiungendo diversità strutturale.

B. Pipeline di Traduzione e Compilazione

1. Traduzione Sorgente: I file CUDA sono stati convertiti in HIP utilizzando lo strumento HIPIFY.
2. Compilazione Separata:
   • Nvidia: Compilazione con nvcc per generare assembly SASS. È stato sviluppato un filtro basato su regex per separare l'assembly dell'host (CPU) da quello del dispositivo (GPU), poiché Nvidia non fornisce strumenti ufficiali per l'estrazione diretta.
   • AMD: Compilazione con hipcc per generare assembly RDNA3. Il processo è stato modificato per estrarre l'assembly del dispositivo prima dell'inserimento nel binario host, garantendo la separazione necessaria.
3. Validazione: Sono stati mantenuti solo i campioni che si sono compilati con successo su entrambi gli stack (Nvidia A100 e AMD RX 7900 XT) e che hanno prodotto output di esecuzione equivalenti.

C. CASS-Bench

È stato introdotto il primo benchmark specifico per la traduzione cross-architettura GPU, contenente 369 task su 18 domini (ML, grafica, HPC, ecc.). Ogni task include coppie sorgente e assembly verificate, permettendo una valutazione rigorosa sia della correttezza funzionale che delle prestazioni.

3. Modelli e Risultati

Gli autori hanno addestrato una famiglia di modelli LLM specializzati (CASS Models) basati su Qwen2.5-Coder (scale da 1.5B a 7B parametri) utilizzando il dataset CASS.

Performance di Traduzione

I risultati su CASS-Bench mostrano un miglioramento significativo rispetto agli stati dell'arte (SOTA), inclusi modelli proprietari avanzati e strumenti tradizionali:

• Traduzione Sorgente (CUDA → HIP): Il modello CASS-7B raggiunge un'accuratezza del 88.2%, superando di gran lunga HIPIFY (87.5%) e modelli come GPT-5.1 (84.9%).
• Traduzione Assembly (SASS → RDNA3): Il modello CASS-7B raggiunge un'accuratezza del 69.1%.
  • Confronto: GPT-5.1 ottiene solo il 22.2%, mentre modelli specializzati nel codice come Qwen2.5-Coder-32B raggiungono appena il 5.4%.
  • Analisi: I modelli generici falliscono perché non hanno mai visto assembly GPU durante il pre-addestramento e non comprendono le regole di codifica specifiche del vendor (es. allineamento dei registri, vincoli di istruzione).

Efficienza e Correttezza

• Prestazioni: Il 95% del codice assembly tradotto mantiene le prestazioni di runtime e l'uso della memoria quasi identici alla compilazione nativa (differenze < ±0.3 MB di memoria e < ±1.5s di runtime).
• Errori: Gli errori principali nei modelli falliti riguardano istruzioni non valide e violazioni dei vincoli degli operandi specifici di RDNA3, evidenziando la difficoltà di apprendere le regole di codifica hardware senza dati specifici.

Generalizzazione e Limiti

• Generalizzazione Hardware: Il modello addestrato su A100 (sm80) subisce un calo drastico di accuratezza (da 69% a 32.5%) quando testato su RTX 4090 (sm89), dimostrando che la traduzione assembly è sensibile anche alle micro-architetture dello stesso vendor.
• Lunghezza del Contesto: L'accuratezza diminuisce drasticamente all'aumentare della lunghezza del codice assembly (sotto lo 0% oltre le 750 righe), indicando la necessità di contesti più lunghi o tecniche di segmentazione.

4. Contributi Chiave

1. CASS Dataset: Il primo dataset su larga scala (60k campioni) con coppie allineate di sorgente (CUDA/HIP) e assembly (SASS/RDNA3) per GPU.
2. CASS-Bench: Il primo benchmark standardizzato per valutare la traduzione cross-architettura GPU a livello di sorgente e assembly.
3. CASS Models: Una suite di modelli LLM specializzati che dimostrano come l'addestramento su dominio specifico superi di gran lunga i modelli generici e gli strumenti statici per la traduzione di basso livello.
4. Open Source: Tutti i dati, i modelli e gli strumenti di valutazione sono rilasciati come open source per favorire lo sviluppo di tooling per i compilatori GPU e la compatibilità binaria.

5. Significato e Impatto

Il lavoro di CASS rappresenta un passo fondamentale verso la democratizzazione dell'hardware di calcolo. Dimostra che è possibile costruire sistemi di traduzione automatica affidabili a livello di assembly, superando il lock-in di vendor.

• Per l'Industria: Riduce i costi di migrazione per le organizzazioni che desiderano passare da Nvidia ad AMD senza riscrivere interi codici legacy.
• Per la Ricerca: Fornisce una base dati e un benchmark essenziali per studiare la portabilità hardware e l'ottimizzazione cross-architettura.
• Per l'IA: Evidenzia che per compiti di basso livello (come la traduzione assembly), i modelli specializzati su dati specifici sono superiori ai modelli generici "più grandi", sottolineando l'importanza della qualità e della pertinenza dei dati di addestramento rispetto alla sola scala del modello.

In sintesi, CASS colma un divario critico nell'ecosistema GPU, fornendo gli strumenti necessari per rendere il codice GPU portabile, efficiente e indipendente dal fornitore hardware.