Network Design for Wafer-Scale Systems with Wafer-on-Wafer Hybrid Bonding

Este artigo investiga como o posicionamento físico de retículos em sistemas de escala de wafer com ligação híbrida wafer-on-wafer influencia a topologia de rede, propondo quatro configurações que melhoram significativamente o desempenho de comunicação em comparação com uma malha bidimensional.

O essencial

Imagine que você está tentando construir a cidade mais inteligente do mundo para processar informações. Essa cidade é um chip de computador gigante, projetado para treinar Inteligências Artificiais (como o ChatGPT).

O problema é que, hoje em dia, essas "cidades" são limitadas pelo tamanho de um único pedaço de silício (o chip). É como tentar fazer um trânsito de milhões de carros em apenas um quarteirão: tudo fica congestionado, lento e gasta muita energia.

Os cientistas da ETH Zurich propuseram uma solução brilhante: em vez de um quarteirão, vamos usar uma folha inteira de silício (uma "wafer"). Mas, para que essa folha gigante funcione, precisamos conectar duas folhas de silício uma em cima da outra, como se fossem dois andares de um prédio, usando uma cola super precisa chamada "ligação híbrida".

Aqui está o resumo do que eles descobriram, explicado de forma simples:

O Problema: A "Cola" e a Dança dos Retângulos

Quando você cola duas folhas de silício, você não pode simplesmente colar qualquer lugar. Você precisa alinhar pequenos retângulos (chamados retículos) de uma folha com os retículos da outra.

• A Regra de Ouro: Dois retículos só podem se comunicar se estiverem um em cima do outro, colados pela "cola" (ligação híbrida).
• O Desafio: Se você colocar os retículos de cima exatamente alinhados com os de baixo (como uma grade de quadrados perfeita), cada retículo só consegue conversar com seus 4 vizinhos imediatos (cima, baixo, esquerda, direita). É como um jogo de xadrez onde as peças só podem andar em linha reta. Isso cria um caminho longo e lento para a informação ir de um ponto A a um ponto B.

A Solução: Rearranjando a Mobília

A equipe do paper testou quatro maneiras diferentes de "mover a mobília" (posicionar os retículos) para ver quem conseguia criar mais conexões e caminhos mais curtos. Eles usaram analogias de como organizar uma festa ou um trânsito:

1. Alinhado (O Básico): É como colocar duas grades de quadrados exatamente uma em cima da outra. Funciona, mas é limitado.
2. Intercalado (O Xadrez): Eles movem a folha de cima meio quadrado para o lado. Agora, cada retículo de cima toca em mais retículos de baixo. É como se, em vez de andar apenas em linha reta, você pudesse andar em diagonal também.
3. Rotacionado (O Girassol): Eles giram os retículos em 45 graus. Isso cria uma sobreposição muito interessante, permitindo que cada retículo se conecte com 7 vizinhos ao invés de apenas 4. É como se cada casa na cidade tivesse 7 ruas saindo dela, em vez de apenas 4.
4. Contornado (O Quebra-Cabeça): Para uma configuração onde ambos os andares têm computadores (e não apenas um andar de "estradas"), eles cortaram os retículos em formas estranhas (como um "H" e um "+") para que eles se encaixem perfeitamente, como peças de um quebra-cabeça, maximizando as conexões.

Os Resultados: O Trânsito Flui!

Ao mudar a forma como esses retângulos são posicionados, os resultados foram impressionantes:

• Velocidade (Throughput): O sistema ficou até 2,5 vezes mais rápido (250% de melhoria). Imagine que antes você levava 1 hora para entregar uma encomenda em toda a cidade; agora, com o novo layout, você entrega em 24 minutos.
• Atraso (Latência): A informação chega até 36% mais rápido. É como se o trânsito não tivesse mais aqueles engarrafamentos longos nas esquinas.
• Energia: O sistema gastou até 38% menos energia por bit de informação enviado. É como trocar um carro antigo que bebe muito gasolina por um elétrico super eficiente.

Por que isso importa?

Hoje, as IAs estão ficando tão grandes que os chips atuais não conseguem acompanhar a velocidade de troca de dados. A comunicação entre os chips é o "gargalo".

Essa pesquisa mostra que, ao invés de tentar criar chips mais rápidos (o que está ficando difícil e caro), podemos apenas organizar melhor a "casa". Ao desenhar o layout dos chips de forma inteligente, usando a tecnologia de colar duas folhas de silício, conseguimos criar supercomputadores que são muito mais eficientes, rápidos e capazes de treinar as IAs do futuro.

Em resumo: Eles não inventaram um novo motor; eles apenas redesenharam o mapa da cidade para que o tráfego fluísse perfeitamente, transformando uma folha de silício comum em uma máquina de processamento de dados ultra-rápida.

Resumo técnico

Resumo Técnico: Design de Rede para Sistemas em Escala de Wafer com Ligação Híbrida Wafer-on-Wafer

1. O Problema

Os modelos de linguagem grandes (LLMs) baseados em Transformers estão cada vez mais limitados pelo movimento de dados, pois a largura de banda de comunicação cai drasticamente ao cruzar os limites do chip. Embora a integração em escala de wafer (WSI) ofereça uma solução ao escalar o tamanho físico do chip, a tecnologia de ligação híbrida wafer-on-wafer (WoW) introduz uma nova restrição de design:

• Em sistemas WoW (como o processo SoIC-WoW da TSMC), dois wafers de silício são ligados face-a-face.
• Restrição Crítica: Retículos (chips individuais) no mesmo wafer não podem se comunicar diretamente. A comunicação só é possível entre retículos que se sobrepõem fisicamente em wafers opostos, conectados por Hybrid Bonds (HBs).
• Isso cria um espaço de design inexplorado: a topologia da rede de interconexão não é definida apenas por roteamento lógico, mas estritamente pela posição física de colocação (placement) dos retículos nos wafers superior e inferior. O objetivo é maximizar a conectividade e minimizar a latência dentro dessas restrições geométricas.

2. Metodologia

Os autores propõem uma abordagem sistemática para otimizar a colocação de retículos em wafers de 200 mm e 300 mm, considerando dois níveis de integração:

1. Logic-on-Interconnect (LoI): Apenas o wafer superior contém retículos de computação (GPUs); o inferior é uma camada de interconexão pura.
2. Logic-on-Logic (LoL): Ambos os wafers contêm retículos de computação, exigindo que ambos sejam preenchidos densamente.

Estratégias de Colocação Propostas:
Partindo de uma topologia de malha 2D (baseline), os autores desenvolveram quatro novas configurações de colocação para maximizar o número de vizinhos (radix) de cada retículo, reduzindo o comprimento médio do caminho:

• Aligned (Alinhado): Rotaciona os retículos de interconexão em 90 graus e os alinha para conectar até 6 retículos de computação.
• Interleaved (Intercalado): Modifica o alinhamento para criar uma topologia de rede distinta, intercalando os retículos.
• Rotated (Rotacionado): Maximiza o radix para ambos os tipos de retículos. Os retículos de interconexão são reduzidos de tamanho e rotacionados em 45 graus, permitindo que cada um se conecte a até 7 retículos de computação.
• Contoured (Contornado): Específico para sistemas LoL. Utiliza retículos com formas geométricas especiais (em "H" e em "cruz") que se encaixam perfeitamente, permitindo até 5 conexões por retículo sem espaços vazios entre eles.

Simulação e Avaliação:

• Ferramentas: Utilizaram o simulador de rede BookSim2 (com roteamento wormhole e controle de fluxo baseado em créditos) e o modelo de área/energia Orion3.0 (escalado para 7nm).
• Cargas de Trabalho: Padrões de tráfego sintéticos (uniforme, permutação aleatória, vizinhos, tornado) e traços reais de treinamento do modelo Llama-7B.
• Métricas: Latência zero-carga, throughput de saturação, energia por byte transmitido e área do roteador.

3. Principais Contribuições

• Novo Espaço de Design: Mapeamento e exploração sistemática do espaço de design de topologias de rede para sistemas WoW, onde a geometria física dita a conectividade lógica.
• Quatro Esquemas de Colocação: Introdução de quatro métodos (Aligned, Interleaved, Rotated, Contoured) que superam a malha 2D tradicional, aumentando o radix (número de vizinhos) de 4 para até 7.
• Análise de Trade-offs: Avaliação detalhada das compensações entre complexidade de fabricação, densidade de integração e desempenho de rede para diferentes configurações de wafer (200mm/300mm) e níveis de integração (LoI/LoL).
• Validação em Cargas Reais: Demonstração de que as otimizações propostas são eficazes não apenas em tráfego sintético, mas também em cargas de trabalho de IA reais (treinamento de LLMs).

4. Resultados

A avaliação abrangente mostrou melhorias significativas em comparação com a topologia de malha 2D de referência:

• Throughput (Vazão): Aumento de até 250% em sistemas otimizados. A configuração "Rotated" (LoI) e "Contoured" (LoL) demonstraram os maiores ganhos, especialmente em wafers de 300mm com utilização maximizada.
• Latência: Redução de até 36% na latência média de pacotes. Em cenários de treinamento de LLM (Llama-7B), a latência caiu para 60% da linha de base, chegando a 37% no melhor caso.
• Eficiência Energética: Redução de até 38% na energia por byte transmitido, devido ao encurtamento dos caminhos de rede (menos saltos).
• Impacto da Topologia: A configuração "Rotated" (com radix 7) mostrou-se consistentemente superior em todas as arquiteturas e padrões de tráfego.
• Área e Energia: O overhead de área dos roteadores é mínimo (dominado pelos buffers de entrada). O consumo de energia da rede é significativo (até 25% do orçamento de energia do wafer em saturação), mas as otimizações melhoram a eficiência energética geral.

5. Significado e Impacto

Este trabalho é fundamental para o futuro da computação em escala de wafer, especialmente para o treinamento de grandes modelos de IA.

• Viabilidade da Tecnologia WoW: Demonstra que a ligação híbrida wafer-on-wafer não é apenas uma solução de empacotamento, mas uma plataforma viável para sistemas de computação de alto desempenho se a topologia de rede for otimizada corretamente.
• Superação de Gargalos de Comunicação: Ao aumentar drasticamente a largura de banda e reduzir a latência através de uma melhor colocação física, o trabalho mitiga o principal gargalo atual dos LLMs: o movimento de dados.
• Guia para Fabricação: Fornece diretrizes práticas para fabricantes e arquitetos de chips sobre como organizar retículos em wafers para maximizar o desempenho, validando que pequenas alterações geométricas (como rotação de 45 graus ou formas contornadas) podem gerar ganhos de desempenho massivos.

Em resumo, o artigo estabelece que a otimização da colocação física é tão crítica quanto o design do roteador lógico para desbloquear o potencial completo dos sistemas de computação em escala de wafer baseados em ligação híbrida.