기술 요약: 분산 학습이 컴퓨팅 거버넌스를 훼손하는가?

문제 제기

현재 및 제안된 컴퓨팅 거버넌스 프레임워크 (예: 미국 행정명령 14110, EU AI 법, 캘리포니아 SB 53, 그리고 Scher 등 2025 년 제안) 는 최첨단 AI 모델 학습에 대규모 중앙 집중식 데이터센터 클러스터가 필요하다는 가정에 의존합니다. 이러한 규제들은 일반적으로 특정 컴퓨팅 임계값 (예: $10^{24}$~$10^{26}$ FLOPs) 을 초과하거나 특정 하드웨어 구성 (예: 16 개 H100 이상) 을 가진 클러스터에 대해 보고 및 모니터링을 의무화합니다.

핵심 문제는 최근 분산 학습 알고리즘, 특히 DiLoCo(Distributed Low-Communication) 계열의 발전이 개발자들이 이러한 규제를 우회할 수 있게 할 수 있다는 점입니다. 개발자들은 지리적으로 분산된 수천 개의 작은 노드로 최첨단 규모 학습 작업을 분할할 수 있는데, 각 노드는 규제 보고 임계값 미만으로 유지됩니다. 이를 통해 개발자들은 이론적으로 전력 소비, 물리적 규모, 또는 클러스터 크기에 기반한 탐지 메커니즘을 트리거하지 않고 대규모 학습을 수행할 수 있습니다. 본 논문은 엄격한 제약 조건 (소비자급 인터넷, 임계값 미만 하드웨어) 하에서 이러한 '불법 분산 학습'이 가능한지 조사하고, 현재 및 제안된 대응책의 효과를 평가합니다.

방법론

저자들은 분산 학습 우회 가능성을 평가하기 위해 포괄적인 효율성 모델 및 대화형 시뮬레이터를 개발했습니다. 방법론은 다음과 같습니다:

1. 위협 모델: 시뮬레이션은 제한된 조건 하에서 Llama 3.1-405B 또는 DeepSeek-V3와 유사한 모델을 학습하려는 자원이 풍부한 개발자를 가정합니다:

   • 하드웨어: 노드가 Scher 등 (2025) 이 제안한 임계값인 16 개 H100 이하로 제한됨.
   • 네트워크: 100 Mbps 대역폭과 100 ms 지연 시간을 가진 소비자급 인터넷 (데이터센터 상호 연결보다 수천 배 느림).
   • 시간: 제한된 거버넌스 시나리오의 성장률 가정에서 도출된 최대 2 년 (740 일) 의 학습 기간.
   • 탐지: 규제 기관이 전력, 열, 위성 영상, 네트워크 트래픽을 능동적으로 모니터링함.

2. 효율성 지표: 시뮬레이터는 두 가지 주요 지표를 계산합니다:

   • 로컬 등가 컴퓨팅 ($C_{local}$): 분산 비효율성 ($\eta$) 을 보정한 명목 컴퓨팅 처리량.
   • 품질 조정 컴퓨팅 ($C_{quality}$): 메모리 제약 및 과도 학습으로 인한 비최적 모델 크기 조정을 반영하기 위해 Chinchilla 최적 페널티 ($\chi$) 로 추가 조정된 $C_{local}$.

3. 비효율성 요인 ($\eta$): 모델은 분산 학습에 내재된 네 가지 특정 페널티를 고려합니다:

   • 동기화 간격 페널티 ($\eta_H$): 동기화 전에 복제본이 로컬 단계를 수행 ($H$) 함으로써 발생하는 기울기 편차로 인한 손실.
   • 압축 품질 ($\eta_{comp}$): 대역폭 절약을 위해 기울기를 압축할 때 발생하는 손실 (Covenant-72B 결과를 기반으로 150 배 압축 모델링).
   • 복제본 발산 ($\eta_{rep}$): 서로 다른 데이터 하위 집합으로 학습된 복제본 간 기울기를 평균화할 때 발생하는 손실.
   • 활성화 품질 페널티 ($\eta_{act}$): 노드 간 파이프라인 병렬화를 사용할 때 활성화를 압축할 때 발생하는 손실.

4. 하드웨어 선정: 모델은 NVIDIA A100 80GB, GH200, 다양한 TPU/Ascend 구성 등 임계값 미만 구성을 평가하며, 통신 오버헤드를 최소화하기 위해 컴퓨팅 대비 메모리 비율이 높은 하드웨어를 선호합니다.

주요 기여 및 결과

1. 우회 가능성

시뮬레이션은 제안된 규제 임계값 미만의 하드웨어 구성을 사용하여 분산 학습이 최첨단 규모 컴퓨팅 ($>10^{24}$ FLOPs) 을 달성할 수 있음을 보여줍니다.

• 우회 비용: 본 논문은 개발자가 다음과 같은 비용을 들여 규제를 우회할 수 있다고 추정합니다:
  • Scher 등 (2025) 임계값 ($10^{24}$ FLOPs): 약 160 만 달러.
  • EU AI 법 임계값 ($10^{25}$ FLOPs): 약 3,100 만 달러.
  • 캘리포니아 SB 53 임계값 ($10^{26}$ FLOPs): 약 38 억 달러.
• 노드 수: GPT-4 의 컴퓨팅 수준 ($10^{25}$ FLOPs) 을 달성하려면 약 101 개의 임계값 미만 노드가 필요하며, Llama 3.1-405B ($10^{25}$ FLOPs) 는 625 개 노드가 필요합니다.
• 네트워크 제약: 낮은 대역폭 (100 Mbps) 이더라도 분산 학습은 여전히 가능합니다. 비용이 중앙 집중식 학습 대비 약 3 배 증가하지만, 이는 의지를 가진 행위자에게는 치명적인 장벽이 아닙니다.

2. 하드웨어 및 아키텍처 최적화

이 연구는 메모리 대비 컴퓨팅 비율이 우회를 위한 결정적 요소임을 확인했습니다. 높은 메모리 (예: 50 개 A100 80GB) 를 가진 노드는 노드당 더 큰 모델을 허용하여 파이프라인 병렬화 및 관련 활성화 압축 페널티의 필요성을 줄입니다. 시뮬레이터는 매우 큰 규모에서 모델을 메모리에 맞추기 위해 파이프라인 병렬 (PP) DiLoCo 사용이 필수적이지만, 이는 효율성 페널티를 초래함을 보여줍니다.

3. 대응책 평가

본 논문은 우회를 탐지하거나 방지하기 위한 다양한 대응책을 평가합니다:

• 비효과적인 조치:
  • 대역폭 제한: 전 세계적으로 강제하기 불가능함; 고속 인터넷 비용은 하드웨어 비용에 비해 미미함.
  • 인터넷 트래픽 모니터링: DiLoCo 트래픽은 저량 (<40 Mbps) 이며 지터, 가변률 스트리밍, VPN 등을 통해 쉽게 위장 가능함.
• 효과적인 조치:
  • 칩 추적 및 등록: 칩 소유 및 이전에 대한 의무 보고. 분산 학습은 동일한 컴퓨팅을 달성하기 위해 중앙 집중식 학습보다 더 많은 총 하드웨어가 필요하므로, 칩의 높은 비율을 추적하는 등록제는 우회를 어렵게 만듦.
  • 내부 고발자 프로그램: 분산 운영은 수백 개의 위치에서 조달, 설치, 유지보수를 위해 훨씬 더 큰 인력을 필요로 하므로, 내부자 보고를 위한 '공격 표면'이 증가함.
  • 메모리 임계값: 본 논문은 컴퓨팅 임계값에 더해 가속기 메모리 임계값(예: 1,280 GB HBM) 을 클러스터 정의에 포함하도록 수정을 제안합니다. 이는 우회자들이 더 작은 모델을 사용하거나 (심각한 과도 학습 유발) 더 많은 노드에 모델을 분할하도록 강요하여 비용과 운영 복잡성을 약 50% 증가시킴.
  • 도전 검사 및 정보: 기존의 금융 및 물리적 검사는 위의 기술적 조치와 결합될 때 여전히 유효함.

중요성 및 주장

본 논문은 클러스터 크기나 컴퓨팅 처리량 임계값에만 의존하는 현재 컴퓨팅 거버넌스 제안이 분산 학습에 의해 근본적으로 훼손된다고 주장합니다. 저자들은 구체적인 대응책 없이는 규제가 최첨단 모델이 불법적으로 개발될 수 있는 '집행 격차'를 만들 것이라고 논합니다.

이 연구의 중요성은 다음과 같습니다:

1. 취약점 식별: 알고리즘 발전 (DiLoCo) 이 현재 거버넌스 프레임워크의 정적 가정을 앞지르고 있음을 입증.
2. 위험 정량화: 구체적인 비용 추정치와 특정 현실 세계 규제를 우회하기 위해 필요한 하드웨어 구성 제공.
3. 강건한 해결책 제안: 칩 등록, 메모리 기반 임계값, 내부 고발자 프로그램의 조합이 이러한 구멍을 막는 데 필요하다고 주장. 저자들은 단일 조치가 완벽하지는 않지만, 이들의 조합이 우회 비용과 복잡성을 모니터링 가능성을 회복할 수준으로 높인다고 강조합니다.

본 논문은 분산 우회의 증가된 비용이 현재는 '경제적으로 수용하기 어렵지만', 규제 병목이 강화되면 수용 가능해질 수 있다고 결론지었습니다. 따라서 거버넌스 표준은 위협이 완전히 실현되기를 기다리기보다, 이러한 우회에 대해 즉시 강건하도록 설계되어야 합니다.