기술 요약: Caliper-in-the-Loop: 하이퍼레저 패abric 성능 튜닝을 위한 블랙박스 최적화

문제 정의

하이퍼레저 패abric (HLF) 은 기업 환경에서 널리 사용되는 모듈형 허가형 블록체인 프레임워크입니다. 그 유연성은 피어 및 오더러 설정, 채널 정책, 상태 데이터베이스 옵션에 이르는 광범위한 구성 공간에서 비롯됩니다. 그러나 이러한 모듈성은 상당한 운영 부담을 초래합니다. 구성 공간에는 수백 개의 상호작용하는 매개변수 (본 연구에서는 317 차원) 가 포함되어 있으며, 이는 비선형적으로 성능에 영향을 미칩니다. 수동 튜닝은 비용이 많이 들고 시간이 소요되며 재현이 어렵습니다. furthermore, 성능은 특정 배포 컨텍스트에 민감하므로 "일률적"인 구성은 효과가 없습니다.

저자들은 튜닝 작업을 노이즈가 있는 블랙박스 최적화 문제로 규정합니다. 목표는 구성 벡터 $x$를 선택하여 처리량 (초당 트랜잭션 수, TPS) 을 최대화하는 것입니다. 구성에서 성능으로의 매핑은 알려지지 않았으며, 미분 불가능하고, 평가 비용이 높습니다 (전체 네트워크 배포 및 벤치마킹 필요). 또한, 시스템의 비결정성과 클라우드 인프라의 변동성으로 인해 평가에는 확률적 노이즈가 존재합니다.

방법론: Caliper-in-the-Loop

본 논문은 구성 생성, 네트워크 배포, 벤치마킹을 통합하여 튜닝 프로세스를 자동화하는 엔드 투 엔드 폐루프 파이프라인을 제안합니다.

1. 폐루프 파이프라인

시스템은 다음 다섯 단계를 반복적으로 수행합니다:

1. 구성 구체화: 매개변수화된 템플릿을 사용하여 후보 벡터 $x$를 배포 가능한 HLF 아티팩트로 디코딩하며, 유형 및 범위 제약을 적용합니다.
2. 네트워크 인스턴스화: 후보 구성을 기반으로 HLF 네트워크 (피어, 오더링 서비스, 채널, 체인코드) 를 배포합니다.
3. 벤치마크 실행: 하이퍼레저 캘리퍼 (Caliper) 가 실행 중인 네트워크에 대해 고정된 표준화된 워크로드를 실행합니다. 워크로드 (FabCar 체인코드) 와 지속 시간은 구성 효과를 분리하기 위해 반복 간 일정하게 유지됩니다.
4. 지표 추출: 캘리퍼는 보고서를 생성하며, 여기서 처리량 (TPS) 이 목적 함수 값 $y(x)$로 추출됩니다.
5. 최적화기 업데이트: 관찰 쌍 $(x, y(x))$이 베이지안 최적화 (BO) 엔진에 입력되어 대리 모델을 업데이트하고 다음 후보 구성을 제안합니다.

2. 최적화 전략

317 차원 탐색 공간에 내재된 '차원의 저주'를 해결하기 위해, 저자들은 **베이지안 최적화 (BO)**와 차원 축소 (DR) 전략을 결합합니다.

• 획득 함수 (AF): 탐색과 활용을 균형 있게 조절하기 위해 네 가지 전략을 평가합니다: 기대 개선 (EI), 최대 개선 확률 (MPI), 상한 신뢰 구간 (UCB), 그리고 동적 좌표 탐색 전략인 DYCORS.
• 차원 축소 (DR): 대리 모델을 위한 탐색 공간을 압축하기 위해 네 가지 기법을 사용합니다:
  • PCA: 선형 부분 공간을 찾기 위한 주성분 분석.
  • REMBO: 저차원 잠재 공간에서 원래 공간으로 후보를 매핑하는 랜덤 임베딩 베이지안 최적화.
  • SA: 관찰된 영향력에 따라 매개변수를 순위 매기는 민감도 분석.
  • SHAP: 적합된 예측 모델에 기반한 특성 기여도.
• 실험 프로토콜: 본 연구는 무작위 탐색 기준선과 함께 AF 와 DR 의 모든 $4 \times 4 = 16$가지 조합을 평가합니다. 실험은 야ндекс 클라우드 환경의 17 개 가상 머신에서 병렬로 수행됩니다. 각 실험은 초기 커버리지를 보장하기 위해 라틴 하이퍼큐브 샘플링 (LHS) 설계로 초기화된 300 회 평가의 고정 예산을 갖습니다.

3. 노이즈 처리

실행 간 변동을 완화하기 위해, 처리량 측정은 반복 평가 ($K=10$회) 된 고정 참조 구성 ($x_{ref}$) 에 대해 정규화됩니다. 보고되는 지표는 후보의 처리량과 참조의 평균 처리량 간의 비율입니다.

주요 기여

1. 시스템 구현: HLF 를 배포하고 하이퍼레저 캘리퍼를 사용하여 수동 개입 없이 벤치마킹하는 자동화된 엔드 투 엔드 폐루프 테스트베드의 설계 및 구현.
2. 문제 공식화: HLF 구성 파일에서 직접 도출된 고차원 혼합 유형 구성 공간에서의 HLF 처리량 튜닝을 노이즈가 있는 블랙박스 최적화 문제로 공식화.
3. 실증 평가: 클라우드 환경에서 차원 축소 전략으로 강화된 베이지안 최적화의 포괄적 평가로, 획득 함수와 차원 축소의 특정 조합이 측정 가능한 성능 향상을 가져올 수 있음을 입증.

결과

테스트된 워크로드 및 인프라 하에서:

• 성능 향상: 여러 BO+DR 변형이 첫 번째 평가된 구성 대비 측정 가능한 처리량 개선을 달성했습니다.
  • 가장 우수한 성능을 보인 접근법인 PCA 와 결합된 DYCORS는 TPS 를 12% 증가시켰습니다.
  • REMBO 와 결합된 MPI는 9% 증가를 달성했습니다.
  • 기타 조합은 4~8% 범위의 중간 정도 개선을 보였습니다.
• 노이즈 및 안정성: 측정 노이즈 점수 (참조 구성의 변동성) 는 0.014 에서 0.032 사이였습니다. 관찰된 개선 (9~12%) 은 이 노이즈 범위를 초과하여, 성장이 측정 변동의 단순한 인공물이 아님을 시사합니다.
• 방법 민감성: 단일 획득 함수가 모든 차원 축소 전략에서 우세하지는 않았습니다. 최적화의 효과는 획득 함수와 차원 축소 기법의 특정 짝짓기에 크게 의존했습니다.
• 탐색 행동: 구성 변경에 대한 분석은 유망한 영역이 식별된 후 성공적인 방법들은 종종 국소적 탐색 행동 (작은 연속적 변경) 을 보였음을 보여주었으나, 일부 방법은 더 공격적인 탐색을 보였습니다.

의의 및 한계

본 논문은 차원 축소와 결합된 베이지안 최적화가 고차원 공간에서 하이퍼레저 패abric 튜닝을 위한 수동 시행착오에 비해 효율적이고 표본 효율적인 대안이라고 주장합니다. "Caliper-in-the-Loop" 프레임워크는 머신러닝 방법이 블록체인 구성 관리에 통합되어 성능 최적화를 자동화할 수 있음을 보여줍니다.

그러나 저자들은 이러한 결과의 일반화 가능성에 대해 겸손한 입장을 유지합니다:

• 컨텍스트 의존성: 보고된 개선은 사용된 특정 네트워크 토폴로지 (5 개 조직), 체인코드 (FabCar), 워크로드, 클라우드 VM 프로파일에 조건부입니다. 다른 엔도어스먼트 정책, 상태 데이터베이스, 또는 동시성 수준은 성능 병목 현상을 이동시킬 수 있습니다.
• 측정 민감성: 정규화가 드리프트를 완화하지만, 순위가 가까운 방법 간의 작은 성능 차이는 여전히 클라우드 측정의 변동성 범위 내에 있을 수 있습니다.
• 실행 가능성 제약: 현재 접근 방식은 실행 불가능한 구성 (예: 잘못된 매개변수 조합) 을 명시적으로 모델링하는 대신 예산을 소모하는 실패한 평가로 간주합니다.

향후 연구는 추가 워크로드에 대한 평가를 확장하고 처리량, 지연 시간, 신뢰성을 함께 포착하는 다목적 튜닝 기준을 탐색하는 것으로 식별되었습니다. 저자들은 또한 본 논문이 단일 네트워크 최적화에 초점을 맞추고 있지만, 이 방법론은 서로 다른 블록체인 배포 간 전이 학습을 위한 미래 목표를 염두에 두고 설계되었다고 언급합니다.