🤖 machine learning

Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization

본 논문은 모델 샤드에 주기적으로 시간 가변적 가역 변환을 적용하여 가중치 추출을 방지하면서도 미미한 성능 오버헤드를 유지하고 조립된 파티션을 비일관적으로 만들어 대규모 신경망의 협력적 학습과 추론을 가능하게 하는 탈중앙화 프레임워크인 추출 불가능 프로토콜 모델 (UPMs) 을 소개합니다.

원저자: Alexander Long, Chamin Hewa Koneputugodage, Thalaiyasingam Ajanthan, Yan Zuo, Gil Avraham, Violetta Shevchenko, Hadi Mohaghegh Dolatabadi, Sameera Ramasinghe

게시일 2026-05-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexander Long, Chamin Hewa Koneputugodage, Thalaiyasingam Ajanthan, Yan Zuo, Gil Avraham, Violetta Shevchenko, Hadi Mohaghegh Dolatabadi, Sameera Ramasinghe

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Unextractable Protocol Models" 논문을 쉬운 언어와 일상적인 비유로 설명합니다.

큰 문제: "팟럭 (Potluck)" 딜레마

수천 명이 재료를 가져와 거대하고 맛있는 스튜 (강력한 AI 모델) 를 요리하는 거대한 커뮤니티 팟럭을 상상해 보세요. 모두 조금씩 일을 기여합니다. 하지만 함정이 하나 있습니다. 만약 누구나 완성된 스튜를 집으로 가져갈 수 있다면, 그들은 그것을 직접 팔 수 있고 원래 기여자들은 아무것도 받지 못하게 됩니다.

AI 세계에서 거대한 모델을 훈련시키는 데는 수백만 달러가 듭니다. 이를 더 저렴하게 만들기 위해 사람들은 수천 명의 자원봉사자들이 자신의 컴퓨터를 기여하는 "탈중앙화" 방식을 원합니다. 하지만 최종 모델의 "레시피"(가중치) 가 모두에게 완전히 공개된다면, 나쁜 행위자가 레시피 전체를 훔쳐 팟럭을 떠나고 자신만의 AI 를 팔 수 있습니다. 이는 처음부터 사람들이 기여할 동기를 꺾어버립니다.

해결책: "마법 이동 퍼즐"

연구자들은 이 스튜를 요리하는 새로운 방식을 제안합니다. 이를 **Unextractable Protocol Models (UPMs)**라고 부릅니다.

모두에게 정적인 레시피를 주는 대신, 모델을 이동 퍼즐로 바꿉니다.

설정: 거대한 AI 모델은 케이크의 층처럼 많은 작은 조각으로 잘립니다. 서로 다른 자원봉사자들이 서로 다른 조각을 가지고 있습니다. 어떤 한 사람도 한 번에 전체 케이크를 보는 일은 없습니다.
트릭: 몇 분마다 시스템이 "마법"을 부립니다. 이 조각들의 가장자리에 무작위이고 보이지 않는 변환을 적용합니다. 퍼즐 조각의 가장자리를 회전시키는 것처럼 생각하세요.
- 정확히 같은 순간: 조각들은 여전히 완벽하게 맞습니다. AI 는 있어야 할 대로 정확히 작동합니다.
- 다른 순간: 조각들은 더 이상 맞지 않습니다. "화요일"의 조각을 "수요일"의 조각에 붙이려고 하면 가장자리가 톱니처럼 거칠고 맞지 않습니다. 모델이 고장 납니다.

도둑을 막는 방법

레시피를 훔치려는 도둑을 상상해 보세요.

시도: 도둑은 팟럭에 참여하고, 잠시 기다린 후 몇 조각을 가져갑니다. 그리고 떠났다가 나중에 "새로운 사람"으로 돌아와 다른 조각을 가져갑니다.
실패: 시스템이 끊임없이 가장자의 모양 (변환) 을 바꾸기 때문에, 도둑의 화요일 조각은 수요일 조각과 맞지 않습니다. 결국 그들은 그림을 형성하지 않는 불일치한 퍼즐 조각 더미를 갖게 됩니다.
수리 비용: 도둑은 초고성능 컴퓨터를 사용하여 조각들을 다시 훈련시켜 "강제로" 맞출 수 있습니다. 하지만 이 논문은 이것이 엄청나게 비싸다는 것을 보여줍니다. 처음부터 모델을 처음부터 만드는 데 든 돈과 시간의 약 **60%**가 들 것입니다. 이는 너무 비싸서 가치가 없으므로 도둑은 포기합니다.

"마법"의 세부 사항

변환: 시스템은 가역적인 수학적 "셔플"(구체적으로 무작위 회전 및 스케일링) 을 사용합니다. 이들은 서로를 즉시 상쇄하여 AI 가 혼란을 겪지 않게 하지만, 데이터를 충분히 뒤섞어 비밀 키 (즉시 폐기됨) 없이 원래 모양을 역추적할 수 없게 만듭니다.
속도: 이 마법 트릭은 매우 빠르게 일어납니다. 약 3% 의 작은 지연과 아주 적은 추가 메모리만 사용합니다. 책의 모든 페이지에 작고 보이지 않는 워터마크를 추가하는 것과 같습니다. 책은 여전히 동일하게 읽히지만, 페이지를 복사하여 나중에 다시 조립할 수는 없습니다.
훈련: 모델이 학습하는 동안에도 이러한 셔플이 발생합니다. 연구자들은 올바른 종류의 셔플 (직교 행렬) 을 사용하면 아무 일도 일어나지 않은 것처럼 모델이 똑같이 잘 학습한다는 것을 발견했습니다.

결론

이 논문은 최종 제품을 아무도 훔칠 수 없도록 수천 명의 사람들이 함께 거대한 AI 를 만들 수 있는 방법을 제시합니다. 모델의 조각들을 끊임없이 재구성하여 오직 지금만 서로 맞도록 함으로써, 시스템은 AI 의 가치가 커뮤니티 내부에 잠겨 있도록 보장합니다. 당신은 AI 를 사용할 수는 있지만, 집으로 가져가서 팔 수는 없습니다.

핵심 교훈: 이는 AI 모델을 끊임없이 모양을 바꾸는 "살아있는" 객체로 만들어 정적 복사본을 훔치는 것을 불가능하게 하고, 동시에 훔치는 비용을 노력할 가치가 없을 정도로 높게 유지합니다.

기술 요약: 추출 불가능한 프로토콜 모델 (UPMs)

1. 문제 제기

본 논문은 대규모 파운데이션 모델의 분산 학습이 직면한 경제적 및 보안적 과제를 다룹니다. 분산 시스템은 분산된 컴퓨팅 자원을 풀링하여 거대 모델을 학습할 수 있게 하지만, 치명적인 "취득 가능성 문제"에 직면해 있습니다. 만약 전체 모델 가중치가 참여자들에게 접근 가능할 경우, 기여자들은 모델이 프로토콜 외부로 추출되어 사용될 수 있으므로 학습 비용을 회수할 수 없습니다.

현재의 분산 접근 방식 (예: 데이터 병렬성 또는 표준 파이프라인 병렬성) 은 종종 참여자들이 전체 모델 복제본을 보유하거나 시간이 지남에 따라 전체 가중치를 재구성할 수 있게 합니다. 이는 가중치 구체화 (weight materialization) 로 이어지는데, 공격자 (또는 연합) 가 서로 다른 시간 단계에 걸친 모든 모델 조각에 최종적으로 접근하여 기능적이고 추출 가능한 모델을 재구성할 수 있게 됩니다. 논문은 분산 학습이 경제적으로 생존 가능하려면 모델이 추출 불가능해야 한다고 주장합니다. 즉, 단일 참여자가 결코 전체 가중치 세트를 소유하지 못하도록 하고, 서로 다른 시간에 수집된 가중치를 연결하여 일관된 모델을 형성할 수 없도록 해야 합니다.

2. 방법론: 추출 불가능한 프로토콜 모델 (UPMs)

저자들은 무거운 암호학적 원리에 의존하지 않고 파이프라인 병렬성 (PP) 을 활용하여 가중치 추출 불가능성을 강제하는 추출 불가능한 프로토콜 모델 (UPMs) 프레임워크를 제안합니다.

핵심 메커니즘: 시간에 따라 변하는 가역 변환

핵심 혁신은 파이프라인 단계 간의 경계에서 무작위 가역 변환을 주기적으로 주입하는 것입니다.

설정: 모델을 $S$ 개의 순차적 파이프라인 단계로 분할합니다. 참여자들은 한 번에 하나의 단계만 보유 및 처리합니다.
변형 (Morphing): 특정 시간 단계에서 프로토콜은 인접한 단계 $f_i$ $f_{i}$ 와 $f_{i+1}$ $f_{i + 1}$ 사이에 항등 함수를 도입하며, 이를 무작위 변환 $T$ $T$ 와 그 역변환 $T^{-1}$ $T^{- 1}$ 로 분해합니다.
- 변환 $T$ 는 $i$ 단계의 종료 가중치에 접합됩니다 ( $V_i \leftarrow V_i T$ ).
- 역변환 $T^{-1}$ 는 $i+1$ 단계의 진입 가중치에 접합됩니다 ( $U_{i+1} \leftarrow T^{-1} U_{i+1}$ ).
일시적 성질: 변환은 접합 직후 폐기됩니다. 이들은 오직 가중치 내부에만 존재합니다.
비호환성: 단일 시간 단계 $t$ 에서 엔드투엔드 네트워크 함수는 수학적으로 동일하게 유지되지만, 서로 다른 시간 단계 ( $t$ 및 $t'$ ) 에 수집된 가중치는 비호환이 됩니다. $f_i(t)$ 를 $f_{i+1}(t')$ 와 연결하는 것은 실패합니다. 왜냐하면 중간 활성화 공간이 $T(t)$ 에 의해 변환되었지만, 후속 단계는 $T(t')$ 에 의해 변환된 공간을 기대하기 때문입니다. 모델을 재구성하려면 모든 중간 변환의 "브리지 행렬"을 추측해야 하는데, 이는 계산적으로 불가능합니다.

아키텍처 구성 요소 처리

논문은 기능을 유지하면서 이러한 변환을 다양한 신경망 구성 요소에 적용하는 방법을 상세히 설명합니다.

유효 부분 함수: 이 방법은 $g(X) = \Phi(XU)V$ 형태의 부분 함수에 적용됩니다. 변환은 $U$ 와 $V$ 에 적용됩니다.
스킵 연결: 트랜스포머에서 스킵 연결은 자연스럽게 완전한 비호환성을 강제합니다. 스킵 연결에 적용된 변환은 들어오는 경계 변환과 나가는 경계 변환 모두에 의존하므로, 공격자가 단계를 독립적인 가중치 집합으로 분할하는 것을 방지합니다.
정규화 레이어 (RMSNorm): 정규화는 비선형이므로 표준 접합은 어렵습니다. 저자들은 정규화 레이어에 누적 행렬 $Q$ 를 도입하고 스케일링 가중치를 후속 선형 레이어에 흡수하는 것을 제안합니다. 초기 $Q$ 의 직교성으로 인해 RMSNorm 속성을 유지하면서 변환을 $Q$ 와 선형 가중치에 접합할 수 있습니다.
변환 클래스: 수치적 안정성과 무차별 대입 공격에 대한 저항성을 보장하기 위해 저자들은 다음을 활용합니다.
- 헤어 직교 행렬 (Haar Orthogonal Matrices): 단위 특이값, 최소 수치 오차, 균일한 무작위성을 가집니다.
- 낮은 조건수 행렬 (Low-Condition Number Matrices): 제어된 특이값을 가진 $UDV^T$ 형태의 행렬로, 부동소수점 오차를 제한하면서 고주파수 교란을 도입합니다.

학습 및 추론 조정

학습: 프레임워크는 기울기에 대한 특정 처리가 필요합니다. 가중치가 $W(T) = WT $로 변환될 경우, 기울기는$ G(T) = GT^{-T}$로 변환됩니다. 저자들은 기울기의 첫 번째 모멘트에만 의존하는 Muon 최적화기를 사용하며, 직교 변환을 사용할 때 업데이트 단계가 변환되지 않은 모델과 일관되게 유지되도록 합니다.
추론: 반복적인 변환 접합으로 인한 부동소수점 오차 누적을 완화하기 위해 시스템은 디스크에 고정밀 (FP64) 가중치를 저장합니다. 각 변형 단계에서 변환이 고정밀 복사본에 적용된 후 저정밀도 (예: FP16/BF16) 로 캐스팅되어 GPU VRAM 으로 로드됩니다.

3. 주요 기여

프레임워크 소개: 어떤 참여자도 전체 가중치 세트를 추출할 수 없도록 하면서 협력적 모델 서빙을 가능하게 하는 학습 및 추론 프레임워크인 UPMs 제안.
이론적 분석: UPMs 를 지원하는 아키텍처 (트랜스포머, MLP, RNN), 변환에 대한 요구 사항 (무작위성, 가역성, 조건수), 그리고 이러한 변환이 시간 간격이 다른 조립을 비일관되게 만드는 수학적 증명에 대한 철저한 분석.
공격 저항성:
- 직접 추출: 짧은 시간 창 내에서 공격자가 모든 단계에 접근할 확률이 특히 "완전한 비호환성" (스킵 연결) 과 함께 무시할 수 있음을 입증.
- 스티칭 공격: 중간 활성화를 통해 브리지 행렬을 해결하는 것이 시간 단계 전반에 걸쳐 동일한 입력이 필요하기 때문에 비현실적이며, 분포 검사를 통해 쉽게 방어할 수 있음을 보임.
- 학습 기반 공격: 서로 다른 시간 단계의 가중치로 구성된 "스티칭" 모델을 파인튜닝하는 데는 처음부터 모델을 학습하는 데 필요한 컴퓨팅 자원의 $\ge 60\%$ 가 필요함을 경험적으로 입증하여 프로토콜의 경제적 생존 가능성을 유지함.
경험적 검증: Qwen-2.5-0.5B 및 Llama-3.2-1B 모델에 대한 광범위한 실험.

4. 결과

기능적 동등성: Qwen-2.5-0.5B 및 Llama-3.2-1B 에서 직교 변환을 사용하여 10,000 개의 변형 단계를 적용한 결과, FP32 에서 성능 저하는 무시할 수 있었습니다 ( $\Delta PPL < 0.01$ ; Jensen–Shannon 드리프트 $< 4 \times 10^{-5}$ ). 고정밀 우회 방법을 사용하면 FP16 및 BF16 에서도 안정성이 유지되었습니다.
오버헤드:
- 추론: 30 초마다 변환을 적용하면 약 3% 의 지연 시간, 0.1% 의 대역폭, 10% 의 GPU 메모리 오버헤드가 추가됩니다.
- 학습: 오버헤드는 미미하여 1.6% 의 시간 및 <1% 의 메모리 오버헤드만 추가되며, 이는 역전파가 비용을 지배하기 때문입니다.
공격 실행 가능성:
- 스티칭: 스티칭된 Llama 3.2-1B 모델을 파인튜닝하여 동일한 퍼플렉시티에 도달하려면 처음부터 학습하는 데 필요한 토큰의 약 60% 가 필요했습니다.
- 배제 비율: 모든 비호환 가중치에 접근하더라도 배제 비율 (공격에 필요한 컴퓨팅 대 처음부터 학습하는 데 필요한 컴퓨팅) 은 여전히 높습니다 ( $\ge 0.6$ ). 이는 대부분의 연합에게 공격이 경제적으로 생존 불가능하게 만듭니다.

5. 중요성 및 주장

본 논문은 UPMs 가 협력적 학습과 가중치 비밀성 사이의 모순을 해결한다고 주장합니다. 모델의 가치를 정적 가중치가 아닌 프로토콜에 묶음으로써, UPMs 는 커뮤니티 주도 분산 학습에 프로그래밍적 인센티브 메커니즘을 포함시키는 것을 실용적으로 만듭니다.

경제적 생존 가능성: 이 프레임워크는 모델의 "배제 가능성"을 유지하여 기여자들이 컴퓨팅에 대해 보상을 받을 수 있게 하고, 모델이 도난당해 자유롭게 사용되는 위험을 방지합니다.
오픈 소스 호환성: UPMs 는 모델 아키텍처, 하이퍼파라미터, 데이터셋을 오픈 소스로 유지하면서 가중치는 추출 불가능하게 만듭니다.
신뢰 없는 분산화: 시스템은 완전히 신뢰할 수 없고 추출 불가능한 학습을 향해 나아가며, UPMs 를 개방적이고 분산된 AI 의 기술적 기둥으로 위치시킵니다.

저자들은 한계를 인정하며, 보안은 참여자들의 정직한 다수에 의존하며, 현재 평가는 단일 머신 시뮬레이션에 국한되어 실제 세계의 사이드 채널 공격 (타이밍, 캐시) 을 제외한다고 명시합니다. 또한 가중치를 검사할 수 없는 것이 안전성 평가를 방해할 수 있음을 지적하며, 이를 완화하기 위해 다양한 이해관계자의 모니터링이 필요하다고 제안합니다.