Do Co-Located AI Training Jobs Synchronize? Load-Dependent Throttling as a Coupling Mechanism for Phase-Locking Behind a Shared Power Cap

거대한 도시를 상상해 보세요. 수천 대의 거대하고 배고픈 로봇들이 함께 생각하는 법을 배우기 위해 협력하고 있습니다. 이들은 평범한 로봇이 아닙니다. AI 학습 클러스터이며, 엄청난 전력을 집어삼킵니다. 이들이 "생각할" 때(수학 연산을 할 때)는 마라톤 선수가 물을 들이켜듯 전기를 게걸스럽게 삼킵니다. 하지만 서로의 진행 상황을 공유하기 위해 "대화"해야 할 때는 잠시 멈춰 숨을 고르며 전력을 아주 적게 사용합니다. 이 과정은 몇 초마다 반복되며 에너지 수요의 리드미컬한 맥동을 만들어냅니다.

이제 전력망을 거대한, 섬세한 트램펄린이라고 상상해 보세요. 로봇 한 대가 점프하면 트램펄린이 조금 출렁입니다. 만약 천 대의 로봇이 무작위로 점프한다면 그 움직임은 서로 상쇄되어 트램펄린은 비교적 안정적인 상태를 유지할 것입니다. 하지만 만약 어떤 기묘한 사고로 인해 모든 로봇이 정확히 동시에 점프하기로 결정한다면 어떻게 될까요? 트램펄린은 단 한 번의 점프보다 천 배나 더 강한 힘으로 쾅 내려앉아 스프링을 부러뜨릴 수도 있습니다. 이것이 데이터 센터 운영자들이 걱정하는 핵심입니다. 수천 개의 독립적인 AI 작업들이 우연히 서로의 리듬을 맞춰버려, 관리 가능한 수준의 전력 변동을 거대하고 위험한 서지로 바꿔놓을 수 있을까요?

이 논문은 바로 그 질문을 던집니다. 이 논문은 이러한 AI 작업들을 마치 춤추는 군중처럼 다룹니다. 보통 우리는 이들이 각자 자신의 음악에 맞춰 춤을 춘다고 가정하며, 따라서 그들의 움직임은 무작위적이고 안전하다고 생각합니다. 하지만 저자들은 방 안에 이들을 일제히 춤추게 만들 숨겨진 지휘자가 있는 것은 아닌지 의문을 품었습니다. 그들은 그 지휘자가 전력망 자체가 아니라, 데이터 센터 자체의 안전 시스템이라는 것을 발견했습니다. 로봇들이 너무 배고파져서 건물이 허용하는 것보다 더 많은 전력을 소비하려 할 때, 건물의 "전력 관리자"가 개입하여 속도를 늦춥니다. 이 논문은 수학과 컴퓨터 시뮬레이션을 사용하여, 만약 안전 점검의 타이밍이 아주 조금이라도 느리다면 이 안전 시스템이 오히려 로봇들을 일제히 점프하게 만드는 '함정' 역할을 할 수 있음을 보여줍니다.

숨겨진 지휘자: 왜 AI 작업들이 동기화되는가

이야기는 흔히 발생하는 오해에서 시작됩니다. 오랫동안 전문가들은 만약 이 AI 작업들이 동기화된다면, 그것은 마치 사람들이 큰 북소리를 들으면 박자에 맞춰 박수를 치는 것처럼, 전력망에서 나오는 동일한 "심장 박동"을 듣고 있기 때문일 것이라고 생각했습니다. 하지만 이 논문은 이것이 불가능하다고 주장합니다. 이 AI 센터 내부의 컴퓨터들은 그리드의 리듬으로부터 완전히 격리된 자체 내부 클외를 가지고 있습니다. 그리드의 주파수는 로봇들이 결코 들을 수 없는 먼 곳의 북소리와 같습니다.

그렇다면 그리드가 지휘자가 아니라면, 진짜 지휘자는 누구일까요? 저자들은 진짜 범인을 찾아냈습니다: 부하 의존적 스로틀링(Load-Dependent Throttling).

데이터 센터를 요리사가 한 번에 만들 수 있는 음식의 양(전력 캡)에 엄격한 제한이 있는 바쁜 레스토랑이라고 생각해 보세요. 만약 요리사들(AI 작업들)이 모두 동시에 거창한 만찬을 주문하려고 하면, 주방은 한계에 도달합니다. 그러면 매니저가 개입하여 요리사들에게 속도를 줄이라고 말해야 합니다. 이것이 "스로틀링(Th찰링)"입니다.

여기 반전이 있습니다. 매니저는 모든 사람을 똑같이 늦추는 것이 아닙니다. 매니저는 현재 요리 중인(컴퓨트 단계) 요리사들만 늦춥니다. 재료를 기다리고 있는(통신 단계) 요리사들은 영향을 받지 않습니다. 그런데 요리사들이 각자 약간씩 다른 일정에 놓여 있기 때문에, 이는 기묘한 피드백 루프를 만듭니다. 만약 한 그룹의 요리사들이 우연히 동시에 요리하고 있다면, 매니저는 그들을 늦춥니다. 이 지연은 그들이 요리를 끝내는 시간을 늦추게 만들고, 이는 결과적으로 그들이 다음 요리 단계를 다른 모든 사람과 동시에 시작하도록 유도하는 사고를 칠 수 있습니다.

"너무 느린" 안전 점검의 위험성

이 논문은 (불꽃이 반짝이는 타이밍을 설명하는 유명한 이론인 쿠라모토 모델에 기반한) 영리한 수학적 모델을 사용하여 이것이 언제 발생하는지 파악합니다. 저자들은 관리자의 반응 속도가 핵심이라는 것을 발견했습니다.

• 빠른 반응 (안전): 만약 매니저가 전력 사용량을 확인하고 요리사들을 거의 즉각적으로(밀리초 단위 내에) 늦춘다면, 시스템은 실제로 역동기화(anti-synchronized) 상태가 됩니다. 요리 중인 요리사들은 늦춰지는 반면, 다른 이들은 계속 진행합니다. 이는 그들을 서로 밀어내어 리듬을 혼란스럽게 만들고 안전하게 유지합니다. 전체 전력 변동은 작업 수($N$)의 제곱근만큼만 작게 유지됩니다.
• 느린 반응 (위험): 만약 매니저가 반응하는 데 너무 오래 걸린다면—구체적으로 지연 시간이 한 번의 요리 주기 시간(약 1~3초)의 절반보다 길다면—시스템은 반전됩니다. 안전 점검이 함정이 됩니다. 이 지연은 요리사들이 우연히 요리 단계를 일렬로 맞추게 만듭니다. 갑자기, 혼란스러운 상태 대신 그들은 모두 함께 요리를 시작하게 됩니다.

이런 일이 발생하면 전력 서지는 서서히 증가하는 것이 아니라 폭발적으로 증가합니다. 변동이 $\sqrt{N}$의 배수로 성장하는 대신, $N$의 배수로 성장합니다. 만약 1,000개의 작업이 있다면, 전력의 흔들림은 단일 작업의 31배 정도가 아니라 1,000배나 더 커집니다. 이러한 일치된 흔들림은 건물의 전력 제한과 그리드 연결 계약을 강타하여 정전이나 장비 손상을 일으킬 수 있습니다.

"조화(Harmonic)"의 함정

논문은 또한 교묘한 루프홀을 발견했습니다. 설령 매니저가 주요 요리 리듬에 대해 동기화를 방지할 만큼 빠르더라도, 더 빠르고 숨겨진 리듬에서 동기화될 수 있습니다.

요리사들이 다음과 같은 패턴으로 요리한다고 상상해 보세요: 요리, 대기, 요리, 대기. 만약 매니저가 너무 느리다면, 요리사들이 "요리" 부분에서는 동기화되지 않을지 몰라도, "대기" 부분이나 그 둘의 조합에서 우연히 동기화될 수 있습니다. 저자들은 이를 "조화적 잠금(harmonic locking)"이라고 부릅니다. 이는 마치 사람들이 발을 맞춰 걸으려고 노력하는 것과 같습니다. 왼발을 맞추는 데는 실패할지 몰라도, 결국 오른발을 완벽하게 일치시켜 쿵쾅거리며 걷게 되는 것과 같습니다. 이는 주요 리듬이 안전해 보이더라도 여전히 거대한 전력 서지를 일으킬 수 있습니다. 작업 집단이 매우 균일할수록(모두가 정확히 같은 작업을 수행할수록) 이러한 함정에 빠질 가능성이 훨씬 높다는 것을 논문은 보여줍니다.

동기화를 막는 방법

다행히 데이터 센터 운영자가 열쇠를 쥐고 있습니다. 이 문제는 안전 점검의 타이밍과 작업의 균일성 때문에 발생하므로, 해결책은 새로운 발전소를 짓거나 비싼 배터리를 사는 것이 아니라 소프트웨어 기반입니다.

1. 매니저의 속도를 높여라: 가장 중요한 해결책은 전력 관리 시스템을 더 빠르게 만드는 것입니다. 만약 시스템이 밀리초 단위(요리 주기의 절반 미만) 내에 반응할 수 있다면, "반발력"이 작동하여 작업들이 자연스럽게 흩어집니다. 논문은 현대적인 전기 캡핑(electrical capping)은 충분히 빠르고 안전하지만, 열에 반응하는 오래되거나 느린 열 제어(thermal controls)는 너무 느리고 위험할 수 있다고 제안합니다.
2. 요리사들을 다르게 만들어라: 다양성은 방패가 됩니다. AI 작업들이 서로 조금씩 다른 일을 하고 속도가 약간씩 다르다면, 그들은 동기화되기가 훨씬 어렵습니다. 동일한 작업의 집단은 가장 위험하며, 혼합된 작업 집단이 더 안전합니다.
3. "위상 산란(Phase Scattering)" 기술: 저자들은 "위상 산란"이라고 불리는 새로운 스케줄링 전략을 제안합니다. 이는 마치 DJ가 서로 다른 그룹에게 같은 노래를 틀어주되, 시작 시간을 다르게 하는 것과 같습니다. 스케줄러는 의도적으로 일부 작업의 시간을 늦추거나 빠르게 하여 작업들이 절대 일렬로 늘어서지 않도록 합니다. 이는 효율성(처리량)을 아주 조금 희생하지만, 거대한 전력 흔들림을 방지합니다.

이 논문이 실제로 말하는 것 (그리고 말하지 않는 것)

이 논문이 무엇을 증명했는지 명확히 하는 것이 중요합니다. 저자들은 실제 데이터 센터에 가서 이 현상을 측정하지 않았습니다. 대신, 상세한 수학적 모델을 구축하고 수천 번의 컴퓨터 시뮬레이션을 실행하여 다양한 조건에서 어떤 일이 발생할 수 있는지를 확인했습니다.

• 그들은 메커니즘이 존재함을 증명했습니다: 부하 의존적 스로틀링이 작업을 동기화시키는 결합력으로 작용할 수 있음을 증명했습니다.
• 그들은 지연 시간에 따라 효과의 방향이 달라짐을 증명했습니다: 빠른 지연은 밀어내고(안전), 느린 지연은 끌어당깁니다(위험).
• 시뮬레이션을 통해, 지연 시간이 너무 길면 시스템이 동기화된 상태에 "갇힐" 수 있음을 보여주었습니다. 이를 히스테리시스(hysteresis)라고 합니다.
• 그들은 이것이 현재 모든 데이터 센터에서 일어나고 있다고 증명한 것이 아닙니다. 대신, 운영자들이 확인해 보아야 할 실질적인 위험임을 시사합니다.
• 그들은 그리드가 반드시 붕괴할 것이라고 증명하지 않았습니다. 그들은 이것이 운영자들이 반드시 피해야 할 "최악의 시나리오"라고 말합니다.

논문은 간단한 실험을 제안하며 끝을 맺습니다. 만약 두 개의 AI 작업을 가져와 동일한 전력 캡 뒤에 두고 전력 사용량을 측정한다면, 제어가 빠를 경우 서로를 밀어내는 것(역동기화)을 볼 수 있을 것입니다. 만약 제어가 느리다면, 서로 동기화되는 것을 보게 될 것입니다. 이 실험이 이론을 현실 세계에서 확인할 수 있는 "결정적 증거(smoking gun)"가 될 것입니다.

요약하자면, 이 논문은 전력망을 보호하기 위해 설계된 바로 그 안전 시스템이, 만약 제대로 조정되지 않는다면, 우리의 AI 로봇들을 위험하고 동기화된 광란의 춤으로 몰아넣을 수 있다고 경고합니다. 하지만 해결책은 코드 안에 있습니다: 점검 속도를 높이고, 작업을 다양화하며, 리듬을 혼란스럽게 유지하십시오.