Tensor Data Scattering and the Impossibility of Slicing Theorem

디지털 세상을 거대한 다층 구조의 도서관이라고 상상해 보세요. 이곳에서 정보는 스프레드시트처럼 행과 열로 적혀 있는 것이 아니라, 3D 데이터 블록 형태로 쌓여 있습니다. 인공지능의 영역에서 이 블록들을 **텐서(tensor)**라고 부릅니다. 텐서를 숫자로 이루어진 거대하고 투명한 입체 정육면체라고 생각하면 됩니다. 이는 여러 차원을 가질 수 있는데, 예를 들어 숫자로 된 격자들이 있고 그 격자들이 다시 쌓여 있는 페이지들의 묶음과 같습니다. 컴퓨터는 이 블록 안의 숫자를 계산하는 데 매우 뛰어나지만, 현실 세계의 AI 데이터는 종ًا "희소(sparse)"합니다. 즉, 이 블크들은 대부분 비어 있고, 거대한 모래 창고 속에서 몇 개의 황금 동전을 찾는 것처럼 아주 중요한 숫자 몇 개만이 그 안에 숨겨져 있다는 뜻입니다.

AI를 빠르게 구동하기 위해서 컴퓨터는 이 숨겨진 동전들을 빠르게 잡아채야 합니다. 하지만 현재 이들을 잡아채는 도구들은 다소 서투릅니다. 어떤 도구들은 위치(인덱스)를 통해 동전을 잡으려 하고, 다른 도구들은 형태를 통해 잡으려 하지만, 이들은 서로 잘 어우러지지 못합니다. 과학자들의 큰 과제는 이것입니다: 어떻게 하면 이 흩어져 있는 빈 블록들을 초고속 컴퓨터 칩(가속기)이 마치 컨베이어 벨트 위의 물건을 한꺼번에 잡는 작업자들처럼 병렬로 잡아낼 수 있도록 조직화할 것인가? 만약 우리가 이를 효율적으로 할 수 없다면, AI는 속도가 느려지고 에너지와 시간을 낭비하게 됩니다. 이것이 바로 Wuming Pan의 논문이 다루는 퍼즐이며, 데이터를 어떻게 "흩뿌릴(scatter)" 것인지에 대한 수학적 깊은 곳을 파고드는 작업입니다.

거대한 데이터 산란의 미스터리

이 논문에서 Wuming Pan은 디지털 도서관의 혼란스러운 교통 체증을 해결하려는 탐정 역할을 수행합니다. 이 교통 체증은 AI 시스템에서 희소 데이터("황금 동전")를 한 곳에서 다른 곳으로 옮기려고 할 때 발생합니다. 저자는 이러한 데이터 블록을 기술하는 새로운 표준화된 방식을 제안하고, 이를 효율적으로 이동시나 볼 수 있는지 확인하기 위한 일련의 규칙을 도입합니다.

"픽(Pick)"과 "슬라이스(Slice)"
문제를 이해하기 위해, 여러분에게 거대한 다층 케이크(텐서)가 있다고 상상해 보세요. 여러분은 이 케이크의 특정 조각을 가져와 다른 케이크로 옮기고 싶습니다. 논문에서 저자는 **"픽(pick)"**을 특정 레이어나 행을 가져오라는 지침의 집합으로 정의합니다. 만약 여러분이 케이크의 한 덩어리를 완벽하고 단단한 블록(슬라이스) 형태로 가져올 수 있다면, 그것을 쉽게 옮길 수 있습니다. 이를 **"슬라이스 가능(sliceable)"**하다고 합니다. 이는 쿠키 커터를 사용하는 것과 같습니다. 꾹 누르면 다음 위치에 딱 맞는 완벽한 모양을 얻게 됩니다.

하지만 논문은 좌절스러운 현실을 발견합니다. 때로는 케이크를 어떻게 자르려고 해도, 얻게 되는 모양이 뒤틀리거나 엉키거나 깨져 있다는 것입니다. 그것을 새 위치로 그냥 밀어 넣을 수 없고, 조각조각 다시 만들어야 합니다. 저자는 **"슬라이싱 불가능 정리(Theorem of the Impossibility of Slicing)"**를 증명합니다. 이 정리는 특정 방식으로 데이터를 조직할 경우, 깨끗하고 단단한 슬라이스를 만드는 것이 수학적으로 불가능하다는 것을 보여줍니다. 만약 데이터를 이동시키는 지침이 "얽혀(entangled)" 있다면(즉, 시작점과 끝점이 혼란스럽게 겹쳐 있다면), 여러분은 단순히 깔끔한 병렬 이동을 수행할 수 없습니다. 결국 한 번에 하나씩 처리해야 하며, 이는 고속 컴퓨터 칩에게는 느리고 비효율적인 작업이 됩니다.

새로운 "X-희소(X-Sparse)" 솔루션
일부 데이터는 깔끔하게 슬라이스하기에는 너무 지저도 있기 때문에, 저자는 이를 **"x-희소 표현(x-sparse representation)"**이라는 새로운 방식으로 설명할 것을 제안합니다. 이것은 데이터가 어떻게 흩어져 있는지 설명하는 새로운 보편적 언어라고 생각하면 됩니다. 단순히 "이 덩어리를 옮겨라"라고 말하는 대신, 이 새로운 방식은 이동 지침을 세 부분으로 나눕니다:

1. 맵(Map): 데이터가 어디에 숨어 있는지에 대한 목록.
2. 형태(Shape): 실제 데이터 값들.
3. 규칙(Rules): 그것들을 재조립하는 방법에 대한 구체적인 지침(picks).

논문은 **"희소성(sparsity)"**을 측정하는 공식을 도입하는데, 이는 데이터가 얼마나 "지저도한지"를 알려주는 점수입니다. 점수가 높으면(1에 가까우면), 데이터가 너무 흩어져 있어서 병렬로 이동하는 것이 거의 불가능합니다. 이는 구멍 난 양동이에 모래 더미를 담아 옮기려는 것과 같습니다. 점수가 낮으면, 데이터가 충분히 조직되어 있어 작업자 팀(병렬 프로세서)이 한꺼번에 잡을 수 있습니다.

현재 도구들의 한계
저자는 TensorFlow나 PyTorch와 같은 인기 있는 AI 도구들이 이 "산란(scattering)" 작업을 수행하는 방식이 서로 다르다는 점을 지적합니다. TensorFlow의 방식은 대개 "슬라이스 가능"하여 깔끔한 덩어리를 잡을 수 있습니다. 반면 PyTorch의 방식은 종종 "슬라이스 불가능"하여, 덩어리가 엉키고 깔끔하게 잡기 어려울 수 있습니다. 논문은 "슬라이싱 불가능 정리" 때문에 이 두 도구가 서로를 쉽게 흉내 낼 수 없다고 주장합니다. 하나는 단단한 벽돌을 옮기려 하고, 다른 하나는 모래 더미를 옮기려 하는데, 서로를 위한 도구가 같지 않기 때문입니다.

핵-포인트(The Takeaway)
이 논문은 새로운 슈퍼컴퓨터를 만들거나 모든 AI 문제를 하룻밤 사이에 해결했다고 주장하는 것이 아닙니다. 대신, 이러한 데이터 이동을 설명하기 위한 이론적 프레임워크와 표준화된 방식을 제공합니다. 저자는 특정 유형의 데이터 산란에 대해서는 깔끔한 병렬 이동이 수학적으로 불가능하다는 것을 증명했습니다. 왜 그것이 불가능한지를 이해함으로써, 저자는 우리가 언제 슬라이싱을 시도하고 언제 지저도하고 엉킨 데이터를 처리하기 위해 새로운 "x-sparse" 방식을 사용해야 하는지 아는 더 나은 알고리즘을 설계할 수 있다고 제안합니다.

또한 저자는 이 새로운 "x-scattering" 개념이 실제로 어떻게 작동할 수 있는지 보여주기 위해 파이썬 코드 예시(참조 구현)를 제공합니다. 이 새로운 표준을 사용함으로써, 미래의 AI 가속기(AI를 빠르게 만드는 특수 칩)가 희소 데이터를 훨씬 더 효율적으로 처리하도록 프로그래밍될 수 있기를 기대하고 있습니다. 즉, 그 혼란스러운 모래 창고를 모든 작업자가 무엇을 잡아야 할지 정확히 아는 잘 조직된 시스템으로 바꾸는 것입니다.