Network Design for Wafer-Scale Systems with Wafer-on-Wafer Hybrid Bonding

Questo articolo propone quattro strategie di posizionamento dei reticoli su wafer per sistemi su scala wafer con bonding ibrido wafer-su-wafer, dimostrando che tali configurazioni possono migliorare le prestazioni di comunicazione rispetto a una topologia a mesh 2D, riducendo la latenza e il consumo energetico mentre aumentano notevolmente la larghezza di banda.

L'essenziale

Immagina di dover costruire il cervello più potente del mondo per far funzionare l'intelligenza artificiale (come i chatbot che usi ogni giorno). Il problema è che questi "cervelli" hanno bisogno di scambiare una quantità enorme di dati, e più sono grandi, più diventa difficile farli comunicare velocemente. È come se avessi una biblioteca gigantesca, ma i libri fossero sparsi in stanze separate e dovessi correre avanti e indietro per prenderli: perderesti troppo tempo.

Gli ingegneri hanno una soluzione: invece di usare piccoli chip, usano un'intera fetta di silicio (un "wafer") come un unico grande chip. È come passare da un piccolo appartamento a un intero palazzo. Ma c'è un ostacolo: come fai a collegare le diverse parti di questo "palazzo" senza creare ingorghi?

Ecco dove entra in gioco questo studio degli ingegneri dell'ETH Zurigo.

Il Problema: Il "Ponte" tra due Fette

Per rendere questi chip ancora più potenti, usano una tecnologia chiamata Hybrid Bonding (incollaggio ibrido). Immagina di prendere due grandi fette di pizza (i wafer) e incollarle perfettamente una sopra l'altra, faccia a faccia.

• La fetta di sotto contiene i "cuori" che calcolano (i processori).
• La fetta di sopra contiene i "nervi" che trasportano i dati (le connessioni).

Il trucco è che non puoi collegare direttamente due punti vicini sulla stessa fetta. Devi collegare un punto della fetta superiore con un punto della fetta inferiore che si trova esattamente sotto di esso. È come se dovessi costruire un ponte tra due piani di un edificio, ma solo se hai due finestre perfettamente allineate.

La Soluzione: Come Disporre le "Stanze"

Il problema principale è: come disponi le finestre (i reticoli) sui due piani per far passare il maggior numero di ponti possibile?

Se metti le finestre in modo casuale o troppo rigido (come in un vecchio edificio a griglia), i ponti sono pochi e i dati devono fare molti giri per arrivare a destinazione. È come se dovessi attraversare una città camminando solo su strade dritte, anche se il tuo amico vive proprio dietro l'angolo: dovresti fare un giro enorme.

Gli autori hanno inventato quattro nuovi modi per disporre queste "finestre" (chiamati Aligned, Interleaved, Rotated, Contoured), che possiamo immaginare come quattro diversi modi di arredare la casa:

1. Allineato (Aligned): Come mettere i mobili in modo che le finestre si sovrappongano meglio, creando più ponti diretti.
2. Intrecciato (Interleaved): Come un gioco di scacchi, dove le finestre di un piano si incastrano tra quelle dell'altro, creando più connessioni.
3. Ruotato (Rotated): Come girare leggermente i mobili per sfruttare gli angoli e creare ancora più ponti.
4. Modellato (Contoured): Per i casi più complessi, invece di finestre quadrate, si usano forme speciali (a "H" o a "più") che si incastrano perfettamente come un puzzle 3D.

I Risultati: Una Città Senza Traffico

Grazie a questi nuovi "arredamenti", i dati possono viaggiare molto più velocemente. Ecco cosa è successo nella loro simulazione:

• Velocità (Throughput): Il sistema è diventato fino a 2,5 volte più veloce. È come se il traffico in una città congestionata venisse risolto improvvisamente creando nuove corsie e scorciatoie.
• Ritardo (Latency): I messaggi arrivano fino al 36% più velocemente. È come se il postino non dovesse più bussare a tutte le porte, ma consegnasse il pacco direttamente alla porta giusta.
• Energia: Si spreca meno energia per inviare ogni byte di dati (fino al 38% in meno). È come passare da un'auto che consuma benzina a una elettrica: fai la stessa strada, ma con meno "costo".

Perché è Importante?

Oggi, l'intelligenza artificiale (come i modelli linguistici che scrivono testi o creano immagini) sta diventando così grande che si blocca perché i dati non riescono a spostarsi abbastanza velocemente tra i chip. Questo studio ci dice che cambiando solo il modo in cui posizioniamo fisicamente i pezzi del chip (senza cambiare la tecnologia di base), possiamo sbloccare prestazioni enormi.

In sintesi: gli ingegneri hanno scoperto che non serve costruire un motore nuovo per andare più veloci; basta riorganizzare il traffico in modo più intelligente. È un po' come scoprire che, invece di costruire nuove strade, basta cambiare il senso di marcia di alcune vie per far fluire il traffico in modo perfetto.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Network Design for Wafer-Scale Systems with Wafer-on-Wafer Hybrid Bonding" in italiano.

1. Il Problema

I moderni modelli di linguaggio di grandi dimensioni (LLM) basati su trasformatori sono sempre più limitati dal movimento dei dati, poiché la larghezza di banda di comunicazione crolla drasticamente oltre i confini del singolo chip. Le tecnologie di integrazione tradizionali (come il chiplet-based WSI o lo stitching dei reticoli) presentano limiti nella connettività diretta tra reticoli adiacenti sulla stessa wafer.

La integrazione su scala wafer (WSI) tramite bonding ibrido wafer-su-wafer (Wafer-on-Wafer, WoW) offre una soluzione fornendo una larghezza di banda ultra-elevata tra i reticoli sovrapposti su wafer diversi. Tuttavia, questo approccio introduce un nuovo spazio di progettazione: i reticoli su una wafer non possono comunicare direttamente tra loro; devono invece essere posizionati in modo che i reticoli sovrapposti su wafer opposte (top e bottom) formino una rete completamente connessa. La sfida principale è determinare il posizionamento fisico dei reticoli sulle due wafer per ottimizzare la topologia di rete risultante, minimizzando la latenza e massimizzando il throughput, vincolati dalla geometria del bonding ibrido.

2. Metodologia

Gli autori hanno esplorato lo spazio di progettazione ottimizzando il posizionamento dei reticoli su wafer da 200 mm e 300 mm, considerando due livelli di integrazione:

• Logic-on-Interconnect (LoI): Una wafer contiene solo reticoli di calcolo (GPU), l'altra funge da strato di interconnessione.
• Logic-on-Logic (LoL): Entrambe le wafer contengono reticoli di calcolo, integrando l'interconnessione direttamente nei reticoli di calcolo.

Hanno confrontato una topologia di base (simile a un mesh 2D con 4 vicini per reticolo) con quattro nuove strategie di posizionamento proposte:

1. Aligned (Allineato): I reticoli di interconnessione sono ruotati di 90° e allineati per connettere fino a 6 reticoli di calcolo.
2. Interleaved (Intrecciato): Una modifica dell'allineamento che crea una topologia di rete diversa tramite l'intreccio dei reticoli.
3. Rotated (Ruotato): I reticoli di interconnessione sono ridotti di dimensioni e ruotati di 45°, permettendo fino a 7 vicini per reticolo (massimizzando il radix della rete).
4. Contoured (Contornato): Specifico per LoL, utilizza reticoli con forme geometriche speciali (a "H" e a "più") per connettere fino a 5 vicini senza spazi vuoti, massimizzando la densità.

Simulazione:

• Utilizzo del simulatore di rete BookSim2 per simulazioni a livello di flit con routing wormhole e controllo di flusso basato su crediti.
• Carichi di lavoro: Pattern di traffico sintetici (uniforme, permutazione casuale, vicino, tornado) e tracce reali di training di Llama-7B raccolte tramite lo strumento ATLAHS.
• Metriche valutate: Latenza a carico nullo, throughput di saturazione, energia per byte trasmesso e area dei router.

3. Contributi Chiave

• Nuovo Spazio di Progettazione: Definizione e analisi sistematica dello spazio di progettazione per le reti su wafer basate su bonding ibrido, dove la topologia è determinata esclusivamente dal posizionamento fisico.
• Quattro Strategie di Posizionamento: Proposta di quattro schemi di posizionamento (Aligned, Interleaved, Rotated, Contoured) che superano i limiti delle topologie mesh tradizionali, aumentando il numero di vicini (radix) da 4 a fino a 7.
• Ottimizzazione della Topologia: Dimostrazione che massimizzare il numero di sovrapposizioni tra reticoli riduce la lunghezza media del percorso (average path length) e il diametro della rete, migliorando drasticamente le prestazioni.
• Valutazione Completa: Analisi dettagliata che copre diverse dimensioni di wafer (200mm/300mm), livelli di utilizzo (rettangolare vs massimizzato) e architetture (LoI/LoL).

4. Risultati

L'analisi sperimentale mostra miglioramenti significativi rispetto alla topologia di base (mesh-like):

• Throughput: Miglioramenti fino al 250% in scenari di utilizzo massimizzato, grazie alla maggiore larghezza di banda di bisezione e alla riduzione della congestione.
• Latenza: Riduzioni fino al 36% nella latenza media dei pacchetti. Nel caso di training di LLM (Llama-7B), la latenza è scesa al 37-60% rispetto alla baseline.
• Efficienza Energetica: Riduzione dell'energia per byte trasmesso fino al 38%, dovuta principalmente all'accorciamento dei percorsi di rete.
• Area: I nuovi posizionamenti introducono un sovraccarico di area trascurabile o nullo per i router, poiché l'area è dominata dai buffer di input e non dalla logica di routing.
• Robustezza: Le prestazioni migliori sono state osservate con il posizionamento Rotated (per LoI) e Contoured (per LoL), specialmente con traffico casuale e di permutazione.

5. Significato e Impatto

Questo lavoro è fondamentale per il futuro dell'hardware AI su larga scala. Dimostra che l'ottimizzazione del posizionamento fisico è un fattore critico, spesso trascurato, per sbloccare il potenziale delle tecnologie di bonding ibrido (come SoIC-WoW di TSMC).

• Scalabilità: Fornisce una roadmap per costruire sistemi di calcolo su scala wafer che non sono limitati dai colli di bottiglia di comunicazione tipici delle architetture multi-chip.
• Efficienza: Permette di ridurre il consumo energetico e la latenza, due metriche cruciali per il training di modelli LLM sempre più grandi.
• Fattibilità: Conferma che è possibile progettare reti ad alte prestazioni senza richiedere interconnessioni complesse tra reticoli adiacenti sulla stessa wafer, sfruttando invece la densità verticale offerta dal bonding ibrido.

In sintesi, il paper stabilisce che la progettazione intelligente del posizionamento dei reticoli può trasformare i sistemi wafer-scale da semplici aggregati di chip in reti di comunicazione ad altissima efficienza, essenziali per la prossima generazione di intelligenza artificiale.