Network Design for Wafer-Scale Systems with Wafer-on-Wafer Hybrid Bonding

이 논문은 웨이퍼 온 웨이퍼 하이브리드 본딩을 활용한 웨이퍼 스케일 시스템에서 레티클 배치 전략을 최적화함으로써 데이터 이동 병목 현상을 완화하고 네트워크 대역폭, 지연 시간, 에너지 효율을 획기적으로 개선하는 방안을 제시합니다.

핵심

이 논문은 **"거대한 AI 두뇌를 어떻게 더 빠르고 효율적으로 연결할까?"**라는 질문에 대한 답을 제시합니다.

기존의 컴퓨터 칩은 작은 블록 (레고 조각) 을 여러 개 붙여서 만듭니다. 하지만 최신 AI(거대 언어 모델) 는 이 블록들이 너무 많아져서, 블록 사이를 오가는 데이터가 병목 현상을 일으켜 속도가 느려집니다.

이 문제를 해결하기 위해 연구자들은 **두 개의 거대한 실리콘 웨이퍼 (실리콘 원판) 를 서로 겹쳐서 붙이는 기술 (Wafer-on-Wafer Hybrid Bonding)**을 사용합니다. 마치 두 장의 큰 피자 도우를 서로 겹쳐서 붙이는 것과 비슷하죠. 이렇게 하면 칩 내부의 데이터 이동 속도가 비약적으로 빨라집니다.

하지만 여기서 새로운 문제가 생깁니다. **"두 장의 피자 도우 위에 레고 블록 (칩) 을 어떻게 배치해야 가장 효율적으로 연결할 수 있을까?"**입니다.

이 논문은 바로 이 **'배치 방법'**을 혁신적으로 바꿈으로써 성능을 극대화하는 방법을 제안합니다.

---

🍕 핵심 비유: 피자 도우 위의 레고 블록 배치

이 논문의 내용을 쉽게 이해하기 위해 피자 도우 두 장과 레고 블록 비유를 사용해 보겠습니다.

1. 기존 방식 (Baseline): "잘못된 겹치기"

기존에는 두 장의 피자 도우 위에 레고 블록을 똑바로 일렬로 세웠습니다.

• 상황: 위쪽 도우의 블록 A 는 아래쪽 도우의 블록 A 와만 연결됩니다.
• 문제: 위쪽 블록 A 가 옆쪽 블록 B 와 대화하려면, 아래쪽 도우를 거쳐서 우회해야 합니다. 마치 좁은 골목길을 지나야 해서 교통 체증이 심하고, 이동 시간이 깁니다.

2. 연구팀의 제안 (4 가지 새로운 배치법): "마법 같은 겹치기"

연구팀은 두 장의 도우 위에 블록을 배치하는 방식을 4 가지로 바꿔봤습니다.

• ① 정렬 (Aligned): 위쪽 블록을 살짝 비틀어서 아래쪽 블록 6 개와 연결되게 합니다. (기존 4 개에서 6 개로 증가)
• ② 교차 (Interleaved): 블록들을 빗살처럼 엇갈리게 배치합니다.
• ③ 회전 (Rotated): 블록을 45 도 각도로 돌려서 배치합니다. 이렇게 하면 한 블록이 최대 7 개의 이웃과 직접 연결될 수 있습니다. (가장 강력한 방법)
• ④ 윤곽 (Contoured): 블록의 모양을 'H'자나 '+'자 모양으로 잘라내어, 더 많은 이웃과 연결되도록 합니다.

3. 왜 이렇게 해야 할까요? (마치 도로망 확장)

기존 방식은 블록이 4 개의 이웃과만 연결되어 있어, 멀리 있는 블록에게 메시지를 보내려면 **많은 횡단보도 (중계 지점)**를 건너야 했습니다.
하지만 새로운 방식은 한 블록이 7 개의 이웃과 직접 연결되게 합니다.

• 비유: 좁은 2 차선 도로가 8 차선 고속도로로 바뀌고, 직통 터널이 생긴 것과 같습니다.
• 결과: 데이터가 이동해야 하는 거리가 짧아지고, 병목 현상이 사라집니다.

---

🚀 얻은 성과 (숫자로 보는 기적)

이 간단한 '배치'만 바꿨을 뿐인데, 놀라운 결과가 나왔습니다.

• 속도 (처리량): 데이터 처리 속도가 최대 2.5 배 (250%) 빨라졌습니다. (예: 100km/h 가 250km/h 로 빨라짐)
• 지연 시간 (Latency): 데이터가 목적지에 도달하는 시간이 최대 36% 단축되었습니다. (우편물이 하루 걸리던 것이 1 시간 만에 도착하는 효과)
• 에너지 효율: 같은 양의 데이터를 보낼 때 드는 전기가 최대 38% 절약되었습니다. (전기세 폭탄이 줄어든 셈)

💡 결론: "배치가 곧 성능이다"

이 논문의 핵심 메시지는 **"칩을 만드는 기술 (하드웨어) 이 똑같아도, 칩을 어떻게 배열하느냐에 따라 성능이 천차만별이다"**라는 것입니다.

기존에는 칩을 그냥 빙글빙글 돌려서 붙였지만, 연구자들은 **"두 장의 피자 도우 위에 레고를 어떻게 쌓아야 가장 빨리 소통할 수 있을까?"**를 수학적으로 계산해 최적의 위치를 찾아냈습니다.

이 기술이 상용화되면, 우리가 사용하는 AI 챗봇이나 자율주행 자동차의 두뇌가 훨씬 더 빠르고, 전기를 덜 먹으며, 더 똑똑하게 작동하게 될 것입니다. 마치 도로망 설계만 바꿨는데, 도시 전체의 교통 체증이 해결된 것과 같은 효과를 낸 것입니다.

기술 요약

논문 요약: 웨이퍼 온 웨이퍼 하이브리드 본딩을 활용한 웨이퍼 스케일 시스템의 네트워크 설계

1. 문제 정의 (Problem)

• 데이터 이동의 병목 현상: 트랜스포머 기반의 대규모 언어 모델 (LLM) 은 칩 내부의 통신 대역폭에 비해 칩 경계를 넘어가는 통신 대역폭이 급격히 감소함에 따라 데이터 이동 (Data Movement) 에 의해 제약받고 있습니다.
• 기존 기술의 한계: 기존 칩릿 (Chiplet) 기반 웨이퍼 스케일 통합 (WSI) 은 리트icle (Reticle) 경계를 가로지르는 와이어 연결 (Field Stitching) 에 의존하거나, 칩릿 간 연결을 위해 전용 물리 계층 (PHY) 이 필요하여 대역폭과 전력 효율에 한계가 있었습니다.
• 새로운 설계 공간의 부재: TSMC 의 SoIC-WoW 와 같은 웨이퍼 온 웨이퍼 (Wafer-on-Wafer, WoW) 하이브리드 본딩 기술은 리트icle 간 직접 연결이 불가능하고, 오직 반대쪽 웨이퍼의 겹치는 리트icle 간에만 수직 연결 (Vertical Connector) 이 가능하다는 새로운 물리적 제약을 도입했습니다. 이로 인해 리트icle 의 물리적 배치 (Placement) 가 네트워크 토폴로지와 통신 성능을 결정하는 핵심 요소가 되었으나, 이에 대한 체계적인 설계 방법론은 존재하지 않았습니다.

2. 방법론 (Methodology)

저자들은 리트icle 의 배치를 최적화하여 네트워크 토폴로지를 개선하고 평균 경로 길이를 단축하는 네 가지 새로운 배치 전략을 제안했습니다.

• 시스템 아키텍처:

  • Logic-on-Interconnect (LoI): 상단 웨이퍼에 연산 리트icle (GPU), 하단 웨이퍼에 전용 인터커넥트 리트icle 배치.
  • Logic-on-Logic (LoL): 양쪽 웨이퍼 모두에 연산 리트icle 배치 (고밀도 통합).
  • 웨이퍼 크기: 200mm 및 300mm 웨이퍼 분석.
  • 네트워크 모델: 패킷 스위칭, 웜홀 라우팅, 크레딧 기반 흐름 제어 사용. BookSim2 시뮬레이터와 Orion3.0 전력/면적 모델을 활용.

• 제안된 리트icle 배치 전략 (4 가지):

  1. Aligned (정렬): 기존 2D 메쉬 기반 (Baseline) 대비 인터커넥트 리트icle 을 90 도 회전시켜 정렬. 각 인터커넥트 리트icle 이 최대 6 개의 연산 리트icle 과 연결되도록 설계.
  2. Interleaved (교차): 인터커넥트 리트icle 을 정렬 대신 교차 (Interleave) 배치하여 토폴로지 다양성 확보.
  3. Rotated (회전): 가장 높은 Radix(연결 수) 달성. 인터커넥트 리트icle 크기를 축소하고 45 도 회전시켜, 각 리트icle 이 최대 7 개의 이웃 리트icle 과 겹치도록 설계. (Radix 4 → 7)
  4. Contoured (윤곽선): LoL 시스템 전용. 리트icle 간 간격을 없애기 위해 H 자형과 플러스 (+) 자형의 윤곽선 리트icle을 사용하여 양쪽 웨이퍼에서 최대 5 개의 연결을 확보.

• 최적화 목표: 리트icle 간 겹치는 영역을 최대화하여 네트워크 Radix 를 높이고, 평균 경로 길이 (Average Path Length) 를 최소화하여 지연 시간과 혼잡을 줄이는 것.

3. 주요 기여 (Key Contributions)

• 새로운 설계 공간 개척: 웨이퍼 온 웨이퍼 하이브리드 본딩의 물리적 제약 하에서 리트icle 배치를 최적화하여 네트워크 토폴로지를 설계하는 첫 번째 체계적인 연구 수행.
• 4 가지 혁신적 배치 기법 제안: Aligned, Interleaved, Rotated, Contoured 배치 방식을 제안하여 다양한 아키텍처 (LoI/LoL) 및 웨이퍼 크기 (200mm/300mm) 에 맞춰 성능을 극대화.
• 성능 평가 프레임워크: 합성 트래픽 (Uniform, Permutation, Neighbor, Tornado) 과 실제 LLM 학습 트레이스 (Llama-7B) 를 모두 활용하여 지연 시간, 처리량, 에너지 효율을 종합적으로 평가.

4. 실험 결과 (Results)

Baseline(기존 2D 메쉬 유사 토폴로지) 대비 다음과 같은 성능 향상을 달성했습니다.

• 처리량 (Throughput): 최대 250% 향상. 특히 'Rotated' 배치가 모든 아키텍처와 트래픽 패턴에서 Baseline 을 일관되게 상회했습니다.
• 지연 시간 (Latency): 평균 패킷 지연 시간이 최대 36% 감소. 실제 LLM 학습 트레이스 (Llama-7B) 기준으로는 평균 지연이 Baseline 의 60% 수준으로 감소했으며, 최선의 경우 **37%**까지 줄어든 것으로 나타났습니다.
• 에너지 효율 (Energy Efficiency): 전송 바이트당 에너지 소모가 최대 38% 감소. 이는 평균 경로 길이 단축에 기인합니다.
• 면적 및 전력: 제안된 배치 방식은 라우터 면적 오버헤드를 거의 증가시키지 않았으며, 전체 네트워크 전력 소모는 웨이퍼 스케일 시스템의 전력 예산 내에서 관리 가능한 수준으로 확인되었습니다.
• LoI vs LoL: LoI 시스템에서 성능 개선 폭이 LoL 시스템보다 더 컸으며, 300mm 웨이퍼가 200mm 웨이퍼보다 더 큰 향상을 보였습니다.

5. 의의 및 결론 (Significance)

• 하이브리드 본딩의 잠재력 입증: 하이브리드 본딩 기술이 제공하는 초고대역폭 (수 TB/s) 을 효과적으로 활용하기 위해서는 단순히 하드웨어를 연결하는 것을 넘어, 리트icle 의 물리적 배치를 네트워크 설계의 핵심 변수로 삼아야 함을 강조했습니다.
• 차세대 AI 하드웨어 가속: 제안된 네트워크 설계 기법은 LLM 학습과 같은 데이터 이동 집약적 워크로드에 필수적인 통신 병목 현상을 해결하여, 웨이퍼 스케일 시스템의 실용성을 크게 높입니다.
• 향후 방향: 본 연구는 TSMC 의 SoIC-WoW 등 상용화 가능한 기술을 기반으로 하여, 향후 웨이퍼 스케일 컴퓨팅 시스템의 표준적인 네트워크 설계 패러다임을 제시합니다.

---

핵심 요약: 이 논문은 웨이퍼 온 웨이퍼 하이브리드 본딩 기술의 물리적 제약을 역이용하여 리트icle 배치를 최적화함으로써, 기존 메쉬 토폴로지 대비 처리량은 2.5 배, 지연 시간은 36% 감소, 에너지 효율은 38% 개선하는 네트워크 설계를 제시했습니다. 이는 대규모 AI 모델 학습을 위한 차세대 웨이퍼 스케일 시스템의 핵심 설계 지침이 됩니다.