LGNNIC: Acceleration of Large-Scale GNN Training using SmartNICs

당신이 로봇에게 거대하고 엉클어진 실타래를 보여주며 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 실타래의 각 매듭은 사람, 장소, 또는 사물을 의미하며, 이들을 연결하는 실은 그들의 관계를 나타냅니다. 이것이 컴퓨터가 소셜 미디어의 친구 관계, 과학적 인용, 또는 추천 시스템과 같은 복잡한 네트워크에 대해 학습하는 방식입니다. 이 분야를 그래프 신경망(Graph Neural Networks, GNN)이라고 부릅니다. 로봇은 하나의 매듭을 보고, 그 매듭이 누구와 연결되어 있는지 확인하고, 다시 그 매듭들의 연결 관계를 살펴보는 식으로 전체적인 그림을 이해해야 합니다.

문제는 실타래가 커질수록 그 전체를 로봇의 책상 위에 올려놓는 것이 불가능해진다는 점입니다. 만약 로봇이 전체 실타래를 자신의 손(메모리)에 담아 연구하려 한다면, 공간이 부족해질 것입니다. 그래서 과학자들은 보통 이 실타래를 "미니 배치(mini-batches)"라고 불리는 작고 다루기 쉬운 조각들로 잘라서 하나씩 연구합니다. 하지만 여기에는 함정이 있습니다. 만약 실타래가 저 멀리 떨어진 창고에 저장되어 있고 로봇은 작은 사무실에 있다면, 로봇은 이 조각들을 가져오기 위해 창고와 사무실 사이를 계속 왔다 갔다 해야 합니다. 데이터를 네트워크를 통해 주고받는 데 걸리는 시간(데이터 전송 시간)이 실제로 매듭을 연구하는 데 걸리는 시간보다 더 오래 걸리는 경우가 많습니다. 이것이 모든 것을 느리게 만드는 "통신 병목 현상(communication bottleneck)"입니다.

여기에서 LGNNIC라는 새로운 아이디어가 등장합니다. 연구진은 다음과 같은 간단한 질문을 던졌습니다. 만약 우리가 단순히 창고에 실타래를 보관하는 것에 그치지 않고, 창고에 똑똑한 가위 한 쌍과 실타래 바로 옆에서 일할 아주 빠르고 작은 조수까지 배치한다면 어떨까? 로봇이 거대한 덩어리의 실을 가져가서 크기에 맞게 자르는 대신, 창고에 있는 조수가 로봇이 요청하기도 전에 미리 자르고 줄여 놓는다면 어떨까?

"LGNNIC: SmartNIC를 이용한 대규모 GNN 학습 가속화(LGNNIC: Acceleration of Large-Scale GNN Training using SmartNICs)"라는 제목의 이 논문은 바로 이 내용을 탐구합니다. 연구팀은 "창고"(원격 메모리 노드)에 특수한 지능형 네트워크 카드인 SmartNIC(구체적으로 NVIDIA BlueFlow-2)를 갖춘 시스템을 구축했습니다. 이 SmartNIC는 마치 그 똑똑한 조수처럼 작동합니다. 이 조수는 메인 컴퓨터(강력한 GPU가 있는 학습 노드)로 데이터를 보내기 전에, 데이터 바로 옆에 위치하여 두 가지 마법 같은 기술을 수행합니다.

1. 이웃 샘플링(Neighbor Sampling): SmartNIC는 로봇에게 거대하고 엉클어진 덩어리를 통째로 보내는 대신, 불필요한 연결들을 싹둑 잘라내어 로봇이 공부하기에 가장 적절한 이웃들만 남깁니다. 이는 거대하고 무거운 실 뭉치를 작고 깔질한 패키지로 바꾸는 것과 같습니다.
2. 양자화(Quantization): 또한 SmartNIC는 패키지 내부의 정보 크기를 줄입니다. 고정밀 형식(32비트 부동 소수점)의 데이터를 약간 덜 정밀하지만 훨씬 가벼운 형식(16비트 부동 소수점)으로 변환합니다. 이는 고화질 영상을 화질은 여전히 좋으면서 용량은 절반으로 줄어든 작은 파일로 압축하는 것과 비슷합니다.

연구진은 Reddit(거대한 커뮤니티)과 학술 논문 네트워크와 같은 실제 데이터셋을 사용하여 이 설정을 테스트했습니다. 그들은 SmartNIC가 데이터를 자르고 줄이는 힘든 일을 수행하게 함으로써, 네트워크를 통해 이동해야 하는 정보량을 획기적으로 줄일 수 있다는 것을 발견했습니다.

결과는 인상적이었습니다. 일반적인 인터넷 연결(이를 "Sockets"라고 부름)을 통해 데이터를 이동시키는 기존의 느린 방법을 사용했을 때, SmartNIC의 사전 절단 및 축소 기술은 일부 작업에서 학습 속도를 최대 62.4배까지 높였습니다. 더 빠르고 직접적인 연결 방식(이를 "DOCA-DMA"라고 함)을 사용했을 때도 최대 17.5배의 속도 향상을 보였습니다. "축소(양자화)" 기술은 더욱 놀라운 효과를 더해, 표준 방식에서는 최대 3.6배, 직접 방식에서는 최대 1.3배 더 빠른 전송 속도를 보여주었습니다.

중요한 점은, SmartNIC가 스스로 자르는 작업 자체는 매우 강력한 메인 컴퓨터보다 느리지만, 거대하고 자르지 않은 실 뭉치를 네트워크를 통해 끌고 오는 시간을 절약하는 것이 훨씬 더 가치 있다는 것을 이 논문은 강조합니다. "조수"는 작업 속도가 느릴지라도, "달리기 선수(네트워크)"가 무거운 짐을 나르는 수고를 덜어주는 셈입니다. 또한 연구진은 이러한 "축소" 작업이 로봇의 답변을 틀리게 만들지 않는지도 확인했습니다. 결과의 정확도는 거의 동일하게 유지되었으며, 변화는 무시할 수 있는 아주 미미한 수준이었습니다.

요약하자면, 이 논문은 데이터가 존재하는 곳, 즉 네트워크의 가장자리(edge)로 일부 작업을 옮김으로써 로봇이 시간을 낭비하며 왔다 갔다 하는 것을 막을 수 있다고 제안합니다. 이는 더 크고 비싼 컴퓨터를 만들 필요 없이, 데이터를 움직이는 방식을 더 똑똑하게 바꿈으로써 거대하고 복잡한 AI 학습을 훨씬 빠르게 만드는 영리한 방법입니다.