ML-for-ML

당신이 북적이는 공유 주방에서 완벽한 초콜릿 케이크를 구우려 한다고 상상해 보세요. 당신에게는 레시피(당신의 머신러닝 모델)가 있고, 맛이 딱 맞을 때까지 계속해서 수정해야 합니다. 하지만 문제는 당신 혼자 요리하는 것이 아니라는 점입니다. 다른 셰프들도 자신만의 레시피를 실행하고 있으며, 모두 같은 오븐, 가스레인지, 그리고 결정적으로 재료를 실어 나르는 좁은 복도를 공유하고 있습니다.

인공지능의 세계에서 이 "주방"은 거대한 클라우드 컴퓨터이며, "재료"는 데이터입니다. AI를 가르치기 위해 컴퓨터들은 서로 끊임없이 대화하며, 어떻게 개선할지 알아내기 위해 '그레이디언트(gradients)'라고 불리는 정보 조각들을 교환해야 합니다. 이것을 분산 학습(distributed training)이라고 합니다. 보통 주방을 관리하는 사람들(네트워크 엔지니어)은 복도가 막히지 않도록 하는 데 집중하고, 셰프들(AI 연구자)은 한 번에 얼마나 많은 반죽을 섞을지에 집중합니다. 이들은 서로 분리된 영역에서 활동합니다. 네트워크 팀은 교통 체증을 해결하려 노력하고, AI 팀은 더 빠른 배치를 섞으려 노력합니다. 하지만 만약 완벽한 케이크를 만드는 최선의 방법이 단순히 복도를 넓히거나 더 빨리 섞는 것이 아니라, 두 가지를 동시에, 완벽하게 싱크를 맞춰 수행하는 것이라면 어떨까요?

이것이 바로 "ML-for-ML"이라는 새로운 논문이 다루는 핵심 질문입니다. 대학과 기술 기업의 연구진으로 구성된 이들은 네트워크와 AI 학습을 별개의 문제로 취급하는 것이 성능을 낭비하게 만든다고 주장합니다. 그들은 AI와 네트워크가 끊임없이 서로 대화하며 목표에 더 빠르게 도달하기 위해 공동의 결정을 내리는 새로운 사고방식을 제안합니다.

문제점: 두 팀, 하나의 엉망진\목인 복도

AI를 학습시키는 것을 러너(컴퓨터)들이 바톤(데이터)을 서로 주고받아야 하는 계주라고 생각해 보세요. 만약 복도가 다른 러너들(백그라운드 트래픽)로 붐빈다면, 바톤 전달이 지연될 것입니다.

전통적으로 우리는 이를 두 가지 별개의 방식으로 해결하려고 노력해 왔습니다:

1. 네트워크 팀의 해결책: 그들은 복도를 더 넓게 만들거나 더 빠르게 만들려고 합니다. 그들은 통행량이 너무 많아지면 러너들의 속도를 늦추는 "혼잡 제어(congestion control)"를 사용하거나, 바톤을 압축하여 공간을 적게 차지하도록 만듭니다.
2. AI 팀의 해결책: 그들은 러너들이 달리는 방식을 바꾸려 합니다. 그들은 러너들에게 더 큰 바톤(더 큰 배치 사이즈)을 들고 뛰게 하여 자주 멈춰서 교체하지 않도록 하거나, 혹은 교체하기 전에 스스로 몇 바퀴를 더 돌라고 지시할 수도 있습니다.

이 논문은 이 팀들이 서로 대화하지 않은 채 "두더지 잡기" 게임을 하고 있다고 주장합니다. 만약 네트워크 팀이 데이터를 압축한다면, AI 팀은 달리는 스타일을 바꿀 필요가 없을 수도 있습니다. 하지만 만약 AI 팀이 몇 바퀴를 덜 돌기로 결정한다면, 네트워크 팀은 데이터를 압축할 필요가 없을 수도 있습니다. 이들이 각자 따로 행동할 때, 그들은 각각에게는 좋아 보이는 선택을 하지만, 결합되었을 때는 서로 충돌하여 모두의 속도를 늦추곤 합니다.

해결책: "ML-for-ML" 컨트롤러

저자들은 "슈퍼 스마트한 헤드 셰프" 역할을 하는 "컨트롤러"를 소개합니다. 이 셰프는 단지 복도나 믹싱 볼만 보는 것이 아니라, 두 가지를 동시에 봅니다. 이들의 목표는 단순합니다. 특정 "목표 손실(target loss)"에 도달할 때까지 최대한 빨리 케이크를 완벽하게 만드는 것입니다.

이 컨트롤러에게는 조절할 수 있는 두 세트의 노브(knob, 조절 손잡이)가 있습니다:

• 네트워크 노브: 데이터를 얼마나 압축할지 또는 얼마나 빨리 보낼지와 같은 것들입니다.
• AI 노브: 대화를 위해 멈추기 전까지 얼마나 큰 데이터 묶음을 처리할지와 같은 것들입니다.

하나의 노브를 돌리고 결과를 기다린 다음 다른 노브를 돌리는 대신, 이 컨트롤러는 두 노브의 다양한 조합을 함께 시도합니다. 컨트롤러는 이렇게 묻습니다. "지금 데이터를 압축하면서 동시에 배치 사이즈를 키운다면, 그냥 데이터를 압축하는 것보다 더 빠를까?"

발견한 점: 팀워크의 마법

이를 테스트하기 위해 연구진은 일련의 시뮬레이션을 실행했습니다. 그들은 GPT-1B 모델들이 백그라운드에서 실행되어 네트워크를 막고 있는 상황에서, AI 모델(GPT-2 Large)이 학습하려고 시도하는 디지털 주방을 설정했습니다.

그들은 네 가지 전략을 비교했습니다:

1. 정적(Static): 아무것도 바꾸지 않음.
2. 노브-정밀도(Knob-Precision): 데이터 압축 정도만 변경함.
3. 노브-GA(Knob-GA): 배치 사이즈만 변경함.
4. 디커플드(Decoupled): 압축과 배치 사이즈를 각각 개별적으로 최적화한 후 결합함.
5. 조인트(Joint, ML-for-ML): 두 가지를 함께 변경하며 최적의 쌍을 찾음.

결과는 놀라웠습니다. 두 개의 노브를 따로 튜닝한 후 단순히 합쳐놓은 "디커플드" 방식은 일관되게 더 느렸습니다. 실제로 "조인트" 방식에 비해 목표 품질에 도달하는 데 1.13배에서 1.42배 더 오래 걸렸습니다.

왜 그럴까요? 최선의 선택은 상황에 따라 달라지기 때문입니다.

• 복도가 비어 있을 때: 데이터를 압축하는 것(데이터를 작게 만드는 것)은 시간을 절약해주므로 매우 좋으며, 대화를 위해 멈추는 횟수를 바꿀 필요는 없습니다.
• 복도가 꽉 막혔을 때: 압축이 도움이 되긴 하지만 그것만으로는 부족합니다. 잔여 트래픽이 여전히 높기 때문입니다. 이 경우, 가장 좋은 움직임은 또한 덜 자주 멈추는 것(배치 사이즈를 키우는 것)입니다.

"조인트" 컨트롤러는 이를 즉석에서 파악했습니다. 네트워크가 정말 바빠졌을 때, "압축된 데이터 + 더 적은 멈춤"의 조합이 승리자라는 것을 깨달았습니다. 반면 "디커플드" 컨트롤러는 특정 순간에 잘 작동하지 않는 개별적인 "최선"의 설정들을 계속 고집했습니다.

가장 극단적인 테스트, 즉 네트워크가 심하게 혼잡한 상황에서 "조인트" 전략은 기존 방식보다 최대 42% 더 빠르게 목표 품질에 도달했습니다.

시사점

이 논문은 AI 학습의 미래가 단순히 더 빠른 네트워크나 더 똑똑한 알고리즘의 고립된 발전이 아니라는 점을 시사합니다. 그것은 네트워크와 AI가 함께 춤을 추는 통합된 접근 방식에 달려 있습니다. 중앙 컨트롤러가 실시간으로 네트워크 설정과 AI 설정을 위한 완벽한 조합을 선택하게 함으로써, 우리는 이러한 거대한 모델들을 훨씬 더 빠르고 효율적으로 학습시킬 수 있습니다.

이것은 시뮬레이션에서 테스트되었지만, 그 결과는 미래의 복잡하고 붐비는 디지털 주방을 관리하는 강력한 새로운 방법을 암시합니다. 네트워크 팀과 AI 팀이 서로 떨어진 방에서 소리를 지르는 대신, 드디어 같은 테이블에 앉아 함께 최선의 수를 결정할 수 있게 된 것입니다.