Can Blockchains Reliably Train Machine Learning Models?

기술 요약: 블록체인이 기계 학습 모델을 신뢰할 수 있게 훈련시킬 수 있는가?

문제 제기
현재의 작업 증명 (PoW) 블록체인은 신뢰 없는 합의를 달성하기 위해 막대한 양의 전력을 소비하며, 그 외의 실질적인 유용성은 없습니다. 이 계산 능력을 기계 학습 (ML) 훈련에 재사용하는 것은 에너지 낭비에 대한 잠재적 해결책을 제시하지만, 기존에 블록체인 합의에 ML 을 통합하려는 시도들은 심각한 기술적 격차를 겪고 있습니다. 작업 유용성 증명 (PoUW), 딥러닝 증명 (PoDL), 견고한 학습 증명 (RPoL) 과 같은 이전 제안들은 확장성, 보안성, 적응성 측면에서 치명적인 결함을 안고 있습니다. 구체적으로, 많은 제안들은 온체인에 테스트 데이터를 저장하여 (저장 공간 소모), 전역적으로 동기화된 타임스탬프를 요구하며 (네트워크 지연 하에서 취약), 신뢰할 수 있는 플랫폼을 가정하거나, 현대의 비결정적 GPU 훈련으로 확장하는 데 실패합니다. 또한, 견고한 보안이 없는 분산 학습 프로토콜은 공격자들이 보상을 속일 수 있게 하여 공정성을 해치고 참여를 위축시킵니다. 핵심적인 과제는 허가 없는 블록체인의 보안 및 확장성 보장을 유지하면서 채굴 에너지를 검증 가능한 ML 훈련으로 유도하는 프로토콜을 설계하는 것입니다.

방법론
저자들은 블록체인 합의와 분산 ML 훈련 간의 격차를 해소하도록 설계된 **훈련 증명 (PoT)**을 제안합니다. 방법론은 세 가지 주요 구성 요소를 포함합니다:

1. 이론적 기반 및 합의 설계:

   • 이 논문은 먼저 이론적 불가능성 결과 (정리 II.3) 를 증명합니다: 희소 자원이 없는 검증자 (자원이 없는 허가 없는 검증자) 가 승인되는 허가 없는 시스템은 안전성과 활성을 동시에 달성할 수 없습니다.
   • 따라서 PoT 는 합의 계층과 훈련 계층을 분리하는 하이브리드 아키텍처를 채택합니다. 합의 계층 (집계자 및 검증자) 에는 보안을 보장하기 위해 지분 증명 (PoS) 메커니즘을 활용하고, 훈련 계층은 개방적으로 유지됩니다.
   • 시스템은 L1–L2 아키텍처를 사용합니다:
     • L1 (정산 계층): 메인스트림 체인에 스테이킹, 에스크로, 그리고 보상 분배를 고정합니다.
     • L2 (실행 계층/DTN): 작업 수명 주기, 모델 청구, 검증, 그리고 분쟁 처리를 온체인 외부에서 처리하는 분산 훈련 네트워크 (DTN) 입니다.

2. 프로토콜 메커니즘 (작업 주기):

   • 참가자: 클라이언트가 작업을 게시하고, 채굴자 (서비스 제공자) 가 모델을 훈련하며, 검증자가 모델을 평가하고, 집계자가 원장을 유지하며, 검증자 (모든 참가자) 가 잘못된 검증을 이의 제기합니다.
   • 커밋 및 공개: 채굴자는 훈련 데이터가 공개되기 전에 모델 해시에 커밋하여 모델 도난을 방지합니다.
   • 결정적 점수 매기기: 검증자들은 클라이언트가 제공한 테스트 세트를 사용하여 결정적 점수 함수 ($VRF_{Model}$) 로 공개된 모델을 평가합니다.
   • 분쟁 메커니즘: 모든 모델을 온체인에서 검증하는 것 (병목 현상 발생) 대신, PoT 는 검증자들이 초기에 정직하다고 가정합니다. 이의 제기 창구를 통해 모든 참가자가 검증 보고서를 이의 제기할 수 있습니다. 이의 제기가 성공하면 부정한 검증자는 스테이킹의 일부를 잃게 되고 (슬래싱), 이의 제기자는 보상을 받습니다. 이로써 온체인 상태는 경량화됩니다.

3. 인센티브 보안 분석:

   • 저자들은 학습 계층을 순차적 게임으로 모델링합니다. 그들은 검증자들에게 진실된 검증이 엄격 우세 전략이 되고, 채굴자들에게 진정한 모델 점수 극대화가 최선의 대응이 되는 충분 조건 (정리 II.9) 을 유도합니다.
   • 주요 조건으로는: 탐지 확률 ($q$) 과 슬래싱 비율 ($\phi$) 및 스테이킹 ($s$) 의 곱이 사기의 외부 이익과 정직한 보고와 부정한 보고 간의 비용 차이를 초과해야 합니다.

주요 기여

• 훈련 증명 (PoT) 프로토콜: PoW 스타일의 컴퓨팅 자원을 검증 가능한 ML 훈련으로 전환하는 새로운 합의 메커니즘.
• 이론적 보안 증명: 자원이 없는 허가 없는 검증자가 원장을 보호할 수 없음을 보여주는 공식적 증명으로, PoT 에 대한 지중 가중 합의 계층으로의 전환을 정당화합니다.
• 확장 가능한 아키텍처: 가치 정산을 유틸리티 실행과 분리하는 L1–L2 설계로, 무거운 훈련과 검증을 온체인 외부에서 수행하고 온체인에는 간결한 결과만 정산할 수 있게 합니다.
• 인센티브 호환성: 프로토콜의 경제적 매개변수 (슬래싱, 보상, 이의 제기 비용) 가 참가자의 인센티브를 정직한 행동과 일치시켜 신뢰할 수 있는 모델 훈련을 보장한다는 게임 이론적 분석.

결과

• 이론적 검증: 저자들은 특정 매개변수 설정 (슬래싱 비율, 탐지 확률, 스테이킹) 하에서 정직한 행동이 검증자들에게 엄격 우세 전략이 되며, 합리적인 이의 제기자들이 감시를 유지할 것임을 보여줍니다.
• 처리량 평가: 10, 30, 50 개의 노드로 구성된 위원회 크기를 가진 PBFT 스타일 워크플로우를 사용한 DTN 시뮬레이션은 시스템이 높은 처리량을 달성할 수 있음을 보여줍니다.
  • 중간에서 빠른 대역폭 조건 하에서, 배치 크기가 커짐에도 불구하고 동기화 시간은 초 단위로 유지됩니다.
  • 시스템은 보고된 산업용 딥러닝 작업 도착률 (일반적으로 초당 1 건 미만) 의 확장성 요구 사항을 편안하게 충족하는 것으로 나타났습니다.
• 보안 시뮬레이션:
  • Exp1: 보상 격차를 시각화하여, 슬래싱 위험이 사기 비용을 초과할 때 진실된 검증이 엄격 우세 전략이 됨을 확인합니다.
  • Exp2: 기대 슬래싱 보상이 검증 비용을 충당할 때 감시가 균형 상태에서 유지될 수 있음을 보여줍니다.
  • Exp3: 높은 탐지 가능성 (능동적 감시에 의해 주도됨) 이 채굴자들에게 진정한 모델 점수를 개선하기 위해 노력하도록 인센티브를 부여하는 반면, 낮은 탐지 가능성은 노력 감소와 낮은 품질로 이어짐을 보여줍니다.

의의 및 주장
이 논문은 PoT 가 확장 가능하고 적대적으로 견고한 개방형 훈련 네트워크를 위한 실용적 기반을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 에너지 효율성: 블록체인에 대한 환경적 우려를 해결하기 위해 PoW 네트워크의 막대한 컴퓨팅 능력을 가치 있는 ML 작업으로 재사용할 수 있는 경로를 제시합니다.
2. 신뢰성: 지중 가중 합의 계층과 분쟁 주도 검증 메커니즘을 결합하여, 모든 노드가 비용이 많이 드는 훈련 작업을 다시 실행할 필요 없이 훈련 결과가 신뢰할 수 있고 보상이 공정하게 할당되도록 보장합니다.
3. 확장성: L1–L2 분리는 원장을 혼잡하게 하지 않으면서 대규모 모델 훈련 및 개인정보 보호가 필요한 협력 훈련을 포함한 광범위한 작업 부하를 처리할 수 있게 합니다.
4. 적응성: 이 설계는 온체인 합의 업데이트와 관련된 경직성과 조정 비용을 피하기 위해 온체인 외부에서 훈련 작업 부하 및 평가 규칙의 빈번한 업데이트를 지원합니다.

저자들은 PoT 가 이전 제안들의 기술적 격차를 성공적으로 해소하여, 안전하고 확장 가능하며 기계 학습 훈련을 위한 분산 시장을 지원할 수 있는 시스템을 제공한다고 결론지었습니다.