Uncertainty-Aware End-to-End Co-Design of Neural Network Processors: From Training and Mapping to Fabrication

기술 요약: 신경망 프로세서의 불확실성 인지형 엔드-투-엔드 공동 설계

문제 정의
신경망 프로세서(NNP)를 설계하는 것은 네트워크 아키텍처 및 학습, 하드웨어 매핑, 웨이퍼 레벨 제조, 그리고 컴퓨팅 자원 할당이라는 네 가지 상호 의존적인 단계를 포함하는 본질적인 엔드-투-엔드 공동 설계 문제입니다. 초기 단계(예: 학습 예산)에서의 결정은 추론 워크로드를 결정하며, 하드웨어 매핑은 칩 면적, 지연 시간, 에너지를 결정하고, 이는 다시 제조 수율 및 제조 비용에 영향을 미칩니다.

기존 방법론은 세 가지 주요 한계점을 가집니다:

1. 모듈성 부족: 기존 접근 방식(예: Hardware-Aware NAS, NAAS 또는 DANCE와 같은 통합 탐색 도구)은 전역 목적 함수를 특정 탐색 알고리즘에 밀접하게 결합합니다. 하나의 구성 요소(예: 학습 대리 모델)를 개선하려면 전체 탐색 파이프라인을 재작업해야 합니다.
2. 평가 비용: 상세한 하드웨어 검증 비용이 높기 때문에 네트워크, 매핑, 제조 선택 전반에 걸친 철저한 탐색은 불가능하며, 이로 인해 구성 가능한 프레임워크 대신 독립적인 통계적 예측 모델에 의존하게 됩니다.
3. 불확실성 처리: 학습(무작위 초기화), 매핑(휴리스틱 탐색), 제조(공정 변이)의 확률적 요소들은 일반적으로 점 추정치로 축소되거나 무시되는 변수로 취급될 뿐, 최적화 가능한 자원으로 명시적으로 관리되지 않습니다.

방법론
본 논문은 **단조 공동 설계 이론(Monotone Co-Design Theory)**에 기반한 통합 프레임워크를 제안합니다. 핵심 혁신은 NNP 설계 프로세스를 네 개의 상호 운용 가능한 단조 설계 문제 구현(MDPI, Monotone Design Problems with Implementation) 블록으로 분해하는 것입니다. 각 블록은 시스템의 나머지 부분에 기능-자원 인터페이스만을 노출하여 내부 알고리즘의 세부 사항을 숨깁니다.

네 가지 MDPI 블록은 다음과 같습니다:

1. 네트워크 선택 및 학습 파이프라인: 학습 예산을 임베딩 구성 및 정확도 보장으로 매핑합니다.
2. 칩 설계 파이프라인: 임베딩 구성과 솔버 예산을 칩 수준의 면적, 에너지, 지연 시간(LEA)으로 매핑합니다.
3. 제조 예측: 칩 면적과 금전적 비용을 수율이 확보된 기능적 칩의 수로 매핑합니다.
4. 컴퓨팅 분포 플래너: 학습 및 매핑 블록 사이에 계산 예산(시간, 전력, 비용)을 할당합니다.

주요 기여

1. MDPI를 통한 형식적 합성:
   본 프레임워크는 각 서브시스템을 MDPI로 취급하며, 이는 기능 및 자원 포셋(poset)에 대한 설계 문제(DP)로의 매핑과 일련의 구현 세트로 정의됩니다. 이를 통해 시스템을 직렬, 병렬 및 피드백 연산으로 구성할 수 있습니다. 결정적으로, 내부 솔버(예: 매핑을 위한 유전 알고리즘)는 불투명하며, 오직 결과로서의 실행 가능한 기능-자원 쌍의 집합만이 가시적입니다. 이는 특정 블록의 구현 세트를 개선하더라도 전역 공동 설계 다이어그램의 구조적 변경이 필요하지 않음을 보장합니다.

2. 제1급 자원으로서의 불확실성 (신뢰도):
   본 논문은 분포적 불확실성을 처리하기 위해 MDPI를 확장합니다. 확률적 결과를 점 추정치로 축소하는 대신, 프레임워크는 성공 확률의 역수인 **신뢰도($\pi^{-1}$)**를 비용, 시간, 전력과 함께 명시적이고 최적화 가능한 자원으로 도입합니다.

• 학습: 동분산 가우시안 노이즈를 따르는 학습 곡선을 따르는 예산 기반 확률 과정으로 모델링됩니다.
• 매핑: 유전 알고리즘 실행에서 도출된 LEA 메트릭에 대한 대리 분포(3성분 혼합 모델)를 사용하여 모델링됩니다.
• 제조: 결함 클러스터링을 설명하기 위해 음이항 수율 모델을 사용하여 면적과 비용을 수율된 칩의 분포로 매핑합니다.
  전역 신뢰도는 (독립성 가정 하에) 각 구성 요소 신뢰도의 곱이며, 이를 통해 설계자는 신뢰성과 자원 지출 사이의 트레이드오프를 조절할 수 있습니다.

3. 대리 모델 기반 평가:
   평가 비용 문제를 해결하기 위해 프레임워크는 오프라인 프로파일링된 대리 모델(예: 가우시안 학습 곡선, LEA를 위한 혼합 분포, 음이항 수율 모델)에 의존합니다. 이러한 대리 모델을 통해 시스템은 값비싼 하위 솔버를 다시 호출하지 않고도 몇 초 만에 파레토 최적 해를 계산할 수 있습니다.

결과
프레임워크는 세 가지 사례 연구를 통해 검증되었습니다:

• 사례 연구 I (엔드-투-엔드 공동 설계): 실내 청소 로봇을 위한 베이스라인 NNP 설계 문제를 해결합니다. 솔버는 네트워크 아키텍처, 매핑 전략, 제조 노드 및 컴퓨팅 하드웨어를 아우르는 파레토 최적 구현을 찾아냅 most. 이는 프레임워크가 순차적 최적화에서는 놓칠 수 있는 비직관적인 트레이드오프(예: 비용 절감을 위해 공격적인 하드웨어 선택을 하는 경우)를 식별할 수 있음을 보여줍니다.
• 사례 연구 II (다중 시나리오 및 불확실성):
  • 제약 조건 민감도: 점진적으로 엄격해지는 제약 조건(면적, 에너지, 지연 시간, 수율, 정확도)을 가진 네 가지 시나리오를 평가합니다. 결과는 제약이 엄격해짐에 따라 파레토 경계가 단조적으로 외곽으로 이동함을 보여주며, 이는 순서론적 구조와 일치합니다.
  • 설계 노브로서의 신뢰도: 신뢰도가 연속적으로 조절 가능한 자원으로 기능함을 입증합니다. 매우 엄격한 제약 조건(신경 임플란트)의 경우, 시간-신뢰도 파레토 프런트는 급격한 트레이드오프를 보여줍니다: 높은 신뢰도를 달달성하기 위해서는 불균형적인 시간 투자가 필요합니다. 이는 결정론적 공식에서는 숨겨져 있던 지표인 "신뢰도의 비용"을 정량화합니다.
  • 대리 모델 검증: 학습, 매핑 및 제조를 위한 대리 분포가 관찰된 확률성을 충실히 포착하여, 신뢰도를 신뢰할 수 있는 설계 자원으로 사용할 수 있음을 정당화합니다.
• 사례 연구 III (알고리즘-프레임워크 디커플링): 칩 설계 블록의 구현 세트를 풍부하게 함으로써(GA 에포크를 늘려 더 나은 솔버를 시뮬레이션) 모듈성을 검증합니다. 결과는 단일 블록의 개선이 공동 설계 다이어그램이나 다른 블록을 수정하지 않고도 전역 파레토 프런트로 자동적으로 전파됨을 보여줍니다. 지배되는 구현은 자동으로 제거되는 반면, 비지배적 개선은 전역 프런트를 이동시킵니다.

의의
본 논문은 이 형식이 다음과 같은 원칙적이고 엔드-투-엔드적인 NNP 공동 설계를 위한 토대를 제공한다고 주장합니다:

1. 구성 가능성: 설계의 추상화 수준(학습부터 제조까지)을 가로질러 설계를 구성할 수 있는 능력.
2. 제1급 불확실성 정량화: 신뢰성을 사후 진단이 아닌 조절 가능한 설계 노브으로 취급.
3. 모듈성: 단일 블록의 알고리즘 개선이 독립적으로 기여되고 구성될 수 있도록 하여, 반복적인 NNP 개발의 경제 구조를 근본적으로 변화시킴.
4. 평가 효율성: 확률성을 모델링하는 능력을 유지하면서도 오프라인 대리 모델을 통한 신속한 탐색을 가능하게 함.

저자들은 이 작업이 고수준의 공동 설계 탐색과 테이프아웃(tape-out) 준비가 된 구현 사이의 간극을 메우는, 엄격하고 유연하며 모듈적인 방법론을 향한 단계라고 위치시키며, 이는 결합 탐색(joint-search) 방법론과는 구별되는 특징입니다.