Network Design for Wafer-Scale Systems with Wafer-on-Wafer Hybrid Bonding

Dit artikel onderzoekt hoe de fysieke plaatsing van retikels op wafer-geschaalde systemen met hybride bonding de netwerkprestaties beïnvloedt, en presenteert vier nieuwe plaatsingsstrategieën die de doorvoer tot 250% verhogen, de latentie tot 36% verlagen en het energieverbruik per byte tot 38% reduceren.

De kern

Stel je voor dat je een gigantisch brein bouwt, een kunstmatige intelligentie die zo slim is dat hij complexe vragen kan beantwoorden of verhalen kan schrijven. Om dit brein te laten werken, heb je duizenden kleine rekenchips nodig die razendsnel met elkaar moeten praten.

Het probleem is dat deze chips vaak te ver van elkaar verwijderd zijn. Het is alsof je een team van honderden mensen in een groot stadion hebt, maar ze moeten schreeuwen om elkaar te verstaan. De boodschappen komen te laat aan, en het hele systeem vertraagt.

Dit artikel van onderzoekers van de ETH Zürich lost dit op met een slimme truc: het "plakken" van twee hele siliconen wafers (ronde schijven) op elkaar.

Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. De Basis: Twee Wafers als een Sandwich

In plaats van één grote chip te maken (wat technisch heel moeilijk is), plakken ze twee wafers op elkaar, alsof je twee lagen van een sandwich maakt.

• De bovenste laag: Bevat de rekenkracht (de "hersenen").
• De onderste laag: Fungeert als het "snelweg-systeem" (de communicatie).

Tussen deze twee lagen zitten miljoenen microscopisch kleine contactpunten (zoals naalden die door elkaar prikken). Hierdoor kunnen de chips op de bovenste laag direct praten met de chips op de onderste laag. Dit is veel sneller dan via lange draden buiten de chip.

2. Het Probleem: De "Tegels" (Reticles)

De wafers zijn niet één groot stuk, maar bestaan uit kleine vierkante stukjes, noem ze tegels (in het Engels: reticles).

• De tegels op de bovenste laag kunnen niet direct met elkaar praten.
• Ze kunnen alleen praten met de tegels die er onder zitten.

Dit is als een dansvloer met twee lagen. Als je op de bovenste laag staat, kun je alleen met iemand praten die direct onder je staat. Als je met iemand aan de andere kant van de vloer wilt praten, moet je via een ketting van mensen onder je door gaan.

De onderzoekers vroegen zich af: "Hoe moeten we deze tegels op de twee lagen leggen zodat de boodschappen zo snel mogelijk aankomen?"

3. De Oplossing: Slimme Patroontjes

Stel je voor dat je tegels op de vloer legt.

• De oude manier (Baseline): Je legt de tegels op de bovenste laag precies boven de tegels op de onderste laag, maar dan net een beetje verschoven. Het lijkt op een rooster. Dit werkt, maar het is niet optimaal.

• De nieuwe manieren (De "Ours" methodes): De onderzoekers bedachten vier nieuwe manieren om de tegels te leggen, alsof je een puzzel oplost:

  1. De "Gepaste" manier (Aligned): Je draait de tegels op de onderste laag een kwartslag. Hierdoor raakt elke tegel op de bovenste laag meer buren op de onderste laag. Het is alsof je je armen uitstrekt naar meer mensen in de menigte.
  2. De "Verweven" manier (Interleaved): Je legt de tegels zo dat ze elkaar afwisselen, net als de tanden van twee ritsen die in elkaar grijpen.
  3. De "Gedraaide" manier (Rotated): Je draait de tegels op de onderste laag schuin (45 graden). Hierdoor raakt elke tegel nog meer buren (tot wel 7 buren in plaats van 4). Dit is als een sterrenpatroon leggen.
  4. De "Vormgegeven" manier (Contoured): Voor de meest geavanceerde versie (waar beide lagen rekenkracht hebben), snijden ze de tegels in een speciale vorm (zoals een H of een kruis) zodat ze perfect in elkaar passen, net als een legpuzzel.

4. Waarom is dit zo geweldig?

Door deze slimme patronen te gebruiken, verandert het hele systeem:

• Minder stappen: Een boodschap hoeft niet meer door 8 of 9 mensen te gaan om bij de bestemming te komen, maar vaak maar door 3 of 4.
• Sneller: De boodschappen komen veel sneller aan. De onderzoekers zeggen dat de snelheid tot wel 250% hoger kan zijn.
• Minder energie: Omdat de boodschappen kortere wegen hoeven te reizen, verbruikt het systeem minder stroom (tot 38% minder).
• Minder files: Er ontstaan minder files in het netwerk, omdat er meer "lanen" zijn om tegelijkertijd te rijden.

De Grootte van de Wafers

Ze testten dit op twee maten wafers:

• 200 mm: De oudere, kleinere maat.
• 300 mm: De huidige, grote standaardmaat (zoals een grote pizza).
  Op de grote wafers werkt het systeem het allerbeste, omdat er meer ruimte is voor deze slimme patronen.

Conclusie

Kortom: De onderzoekers hebben ontdekt dat je de "snelweg" tussen twee lagen chips kunt optimaliseren door simpelweg de "huizen" (de chips) op een andere manier neer te zetten. Het is alsof je een stad opnieuw ontwerpt zodat je nooit in de file komt, zonder dat je nieuwe wegen hoeft aan te leggen.

Dit maakt het mogelijk om nog veel slimmere en snellere AI-systemen te bouwen, die vandaag de dag nodig zijn voor de toekomst van technologie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Network Design for Wafer-Scale Systems with Wafer-on-Wafer Hybrid Bonding" in het Nederlands.

Probleemstelling

De prestaties van transformer-gebaseerde Large Language Models (LLMs) worden steeds meer beperkt door dataverkeer. De communicatiebandbreedte daalt drastisch naarmate men verder komt in de hiërarchie: van on-chip interconnects (meerdere TB/s) naar intra-node verbindingen (zoals NVLink, ~900 GB/s) en inter-node netwerken (zoals InfiniBand, ~100 GB/s). Traditionele schaalvergroting via Moore's Law en Dennard-schaalvergroting is afgenomen, waardoor de communicatieknelpunten niet meer vanzelf worden opgelost.

Wafer-scale integration (WSI) biedt een alternatief door de fysieke chipgrootte te vergroten. Een veelbelovende aanpak is wafer-on-wafer hybrid bonding (bijv. TSMC's SoIC-WoW), waarbij twee siliciumwafers face-to-face worden gebonden met een extreem kleine pitch (<10 µm). Dit creëert een nieuwe ontwerpruimte:

• In tegenstelling tot chiplet-gebaseerde systemen kunnen retikels (de kleine chips op een wafer) op dezelfde wafer niet direct met elkaar communiceren.
• Communicatie moet plaatsvinden via verticale verbindingen tussen overlappende retikels op de boven- en onderwafer.
• De fysieke plaatsing van deze retikels bepaalt direct de beschikbare netwerktopologie en daarmee de communicatieprestaties. Bestaande methoden (zoals een simpele 2D-mesh) zijn niet optimaal voor deze specifieke beperkingen.

Methodologie

De auteurs onderzoeken hoe de plaatsing van retikels op de twee wafers geoptimaliseerd kan worden om de netwerktopologie te verbeteren. Ze analyseren twee integratieniveaus:

1. Logic-on-Interconnect (LoI): De bovenwafer bevat rekenretikels (GPU's), de onderwafer fungeert puur als interconnectlaag.
2. Logic-on-Logic (LoL): Beide wafers bevatten rekenretikels, wat de integratiedichtheid maximaliseert maar thermisch complexer is.

Ze evalueren verschillende wafer-diameters (200 mm en 300 mm) en twee niveaus van wafer-gebruik: een standaard rechthoekig raster versus een gemaximaliseerd gebruik (dichtst mogelijk packen van retikels).

De Kern: Optimalisatie van Retikel-Plaatsering
In plaats van een standaard mesh te gebruiken, stellen de auteurs vier nieuwe plaatsingsstrategieën voor om het aantal buren (radix) per retikel te maximaliseren en het gemiddelde pad te verkorten:

• Baseline: Een benadering van een 2D-mesh waarbij interconnect-retikels verschoven zijn om 4 buren te hebben.
• Aligned: Interconnect-retikels worden 90 graden gedraaid en uitgelijnd om tot 6 buren te bereiken.
• Interleaved: Een variatie op 'Aligned' waarbij de retikels verweven zijn voor een andere topologie.
• Rotated: De interconnect-retikels worden kleiner gemaakt en 45 graden gedraaid. Dit maximaliseert de overlap en stelt retikels in staat tot 7 buren te hebben (een significant stijging ten opzichte van de standaard 4).
• Contoured (specifiek voor LoL): Omdat LoL geen ruimte tussen retikels toestaat, worden er gevormde (contoured) retikels gebruikt (H-vorm en kruisvorm) om 5 buren te bereiken zonder gaten in het raster.

Het netwerkmodel gebruikt wormhole-routing, credit-based flow control en Dijkstra's algoritme voor kortste paden. De simulaties worden uitgevoerd met BookSim2 en Orion3.0 voor area/power schattingen, getest op synthetisch verkeer en echte Llama-7B trainings traces.

Belangrijkste Bijdragen

1. Nieuwe Ontwerpruimte: Het paper definieert en verkent de unieke ontwerpruimte voor netwerken in wafer-on-wafer hybrid bonding systemen, waar de topologie strikt wordt bepaald door de fysieke overlap van retikels.
2. Vier Novel Plaatseringsstrategieën: De introductie van Aligned, Interleaved, Rotated en Contoured plaatsingen die de netwerk-radix verhogen van 4 naar 5, 6 of 7.
3. Uitgebreide Evaluatie: Een systematische analyse over verschillende schalen (200/300 mm), integratieniveaus (LoI/LoL) en werklasten (synthetisch en LLM-traces).
4. Prestatiebewijs: Het aantonen dat het optimaliseren van de fysieke plaatsing leidt tot aanzienlijke verbeteringen in doorvoer, latentie en energie-efficiëntie zonder extra hardwarekosten.

Resultaten

De evaluatie toont aan dat de voorgestelde plaatsingen de prestaties aanzienlijk verbeteren ten opzichte van de baseline 2D-mesh-achtige topologie:

• Doorvoer (Throughput): Tot 250% verbetering. De Rotated en Contoured strategieën presteren het best, vooral bij gemaximaliseerd wafer-gebruik.
• Latentie: Tot 36% reductie in de gemiddelde pakketlatentie. Dit komt door het verminderen van het gemiddelde aantal hops (padlengte) dankzij de hogere radix (meer directe verbindingen).
• Energie: Tot 38% reductie in energie per verzonden byte, voornamelijk door de kortere paden en minder routering.
• Impact van Werklasten: De verbeteringen zijn consistent over verschillende verkeerpatronen (uniform, random, neighbor, tornado) en ook zichtbaar bij echte LLM-trainingsworkloads (Llama-7B). Bij LLM-training daalde de latentie gemiddeld tot 60% van de baseline, en in de beste gevallen tot 37%.
• Area Overhead: De router-area overhead is verwaarloosbaar; de routers nemen slechts een klein deel van het retikel-oppervlak in beslag.

Betekenis en Conclusie

Dit paper toont aan dat bij wafer-scale systemen met hybrid bonding de fysieke plaatsing van chips een even belangrijke ontwerpparameter is als de routeringsalgoritmen zelf. Door slimme geometrische plaatsing van retikels kunnen de beperkingen van de hybride bonding (alleen verbindingen tussen overlappende retikels) worden omgezet in een krachtig, hoog-breedbandig netwerk.

De bevindingen zijn cruciaal voor de toekomst van AI-hardware, aangezien ze een pad bieden om de "data movement bottleneck" van LLM's op te lossen zonder de bandbreedte per link te hoeven vergroten, maar door het netwerk zelf efficiënter te maken. De technologie is commercieel haalbaar (TSMC SoIC-WoW) en biedt een schaalbaar alternatief voor traditionele chiplet-architecturen.