Gram-Space: Structure-Preserving Codebook Compression for Memory-Efficient Neuro-Symbolic AI

컴퓨터가 인간의 뇌처럼 패턴을 인식할 뿐만 아니라 수학자처럼 엄격한 논리 규칙을 따르는 세상을 상상해 보십시오. 이것이 바로 뉴로-심볼릭(Neuro-symbolic) AI의 영역입니다. 이 분야는 신경망의 유연성과 기호 논리의 정밀함이라는 두 세계의 장점을 결합하려고 노력하고 있습니다. 이를 구현하기 위해 이 시스템들은 흔히 "코드북(codebook)"이라 불리는 특별한 도구를 사용합니다. 코드북을 수만 개의 숫자로 이루어진 거대한 고차원 벡터인 '비밀 암호들의 거대한 사전'이라고 생각해보십시오. 이 벡터들은 서로 다른 개념을 나타내는 고유한 지문 역할을 합니다. 문제는 이 지문들이 너무나 거대하고 방대하여, 마치 주머니 속에 백과사전 도서관을 통째로 넣고 다니려는 것처럼 엄청난 양의 컴퓨터 메모리를 차지한다는 점입니다. 이러한 메모리 갈증은 이 똑똑한 시스템들을 일상적인 기기에서 실행하기 어렵게 만들며, 속도를 늦추거나 시스템을 충돌하게 만듭니다.

이 메모리 위기를 해결하기 위해 연구자 웨일룬 왕(Weilun Wang)과 원통 리(Wantong Li)가 제안한 새로운 방법론인 "그램-스페이스(Gram-Space)"가 등장했습니다. 연구진은 정보를 버려서 사전을 축소하는 대신(이는 컴퓨터를 멍청하게 만들 것입니다), 도서관 전체를 재배치하는 영리한 방법을 찾아냈습니다. 그들은 이 코드북 벡터들이 겉보기에는 거대하고 무질서해 보이지만, 실제로는 훨씬 더 작은 숨겨진 방 안에 살고 있다는 사실을 발견했습니다. 그들은 '그람-슈미트 직교화(Gram-Schmidt orthogonalization)'라는 수학적 트릭을 사용하여, 단 한 비트의 의미도 잃지 않고도 이 거대한 벡터들을 작고 깔끔한 좌표계로 투영할 수 있었습니다. 이는 마치 넓고 혼란스러운 도시를 보고 나서, 모든 건물이 사실 아주 작고 효율적인 격자 지도 안에 완벽하게 들어맞는다는 것을 깨닫는 것과 같습니다. 논문에 따르면, 이 방법을 통해 AI 모델을 실행하는 데 필요한 메모리를 최대 15.75배까지 줄일 수 있으며, AI를 다시 학습시킬 필요 없이, 혹은 복잡한 퍼즐을 푸는 능력을 희생하지 않고도 실행 속도를 최대 3.62배까지 높일 수 있습니다.

핵심 아이디어: 배낭 속에 도서관 넣기

당신에게 아주 거대한 도서관이 있다고 상상해 보십시오. 하지만 종이가 아니라 모든 책이 256페이지 분량의 방대한 문서로 되어 있습니다. 당신은 이 도서관을 먼 마을로 가져가 현지인들에게 가르쳐야 하는데, 당신의 배낭에는 단 몇 페이지의 종이만 들어갈 수 있습니다. 대부분의 사람들은 책을 더 작은 종이에 복사하려고 시도하겠지만, 그 과정에서 글자가 번지거나 중요한 세부 사항이 손실되어 이야기를 읽기 어렵게 만들곤 합니다.

Gram-Space의 연구진은 다른 아이디어를 냈습니다. 그들은 책이 256페이지 길더라도, 그 안의 '이야기'를 완벽하게 전달하는 데는 실제로 약 40페이지만 있으면 된다는 사실을 깨달았습니다. 나머지 216페이지는 그저 빈 공간이거나 반복되는 패턴일 뿐입니다. 따라서 종이를 줄이는 대신, 그들은 필수적인 40페이지만을 사용하는 새롭고 초효율적인 언어로 책을 다시 쓰기로 했습니다.

이것이 바로 Gram-Space가 뉴로-심볼릭 AI를 위해 하는 일입니다. 이 AI 시스템들은 개념을 표현하기 위해 고차원 벡터(256페이지짜리 책)로 채워진 "코드북"을 사용합니다. 연구진은 이 벡터들이 거대함에도 불구하고 실제로는 훨씬 더 작은 "부분 공간(subspace)"을 점유하고 있다는 것을 발견했습니다. 연구진은 **그람-슈미트 직교화(Gram-Schmidt orthogonalization)**라는 수학적 기법을 적용하여, 원래 벡터의 본질을 완벽하게 포착하는 작고 압축된 새로운 좌표계(40페이지짜리 언어)를 만들어냈습니다.

작동 원리: "Gram-Loc"의 마법

이 과정은 숙련된 번역가와 비밀 암호를 가진 것과 같습니다.

1. 설정: AI는 거대한 벡터들로 구성된 코드북에서 시작합니다. 연구진은 이 코드북 벡터들이 존재하는 공간을 아우르는 특별한 "기저(basis, 참조 벡터 집합)"를 구축합니다.
2. 번역: 시스템은 거대한 벡터를 직접 저장하는 대신, 각 벡터에 대한 아주 작은 "계수(coefficient)"를 저장합니다. 이 계수는 참조 기저를 사용하여 거대한 벡터를 어떻게 재구성할지를 정확히 알려줍니다. 연구진은 이 압축된 공간을 "Gram-loc"이라고 부릅니다.
3. 최고의 장점: AI가 이 벡터들을 비교하는 수학적 연산(예: 두 아이디어의 유사성을 확인하는 작업)을 수행해야 할 때, 시스템은 이 작은 계수들을 가지고 직접 수학 연산을 수행할 수 있습니다. 이는 화이트보드 대신 냅킨 위에 적힌 숫자로 산수를 하는 것과 같습니다. 논문은 이 방식이 답을 전혀 바꾸지 않는다는 것을 수학적으로 증명했습니다. 즉, "내적(inner product, 유사성의 척도)"이 정확히 동일하게 유지됩니다.
4. 포착과 해제: 때때로 AI는 원래 벡터의 전체 형태를 요구하는 특정 유형의 논리 퍼즐을 풀어야 할 때가 있습니다. 그런 드문 순간에, 시스템은 작은 계수로부터 거대한 벡터를 빠르게 "재구성"하여 퍼즐을 풀고, 다시 작은 버전으로 돌아갑니다. 이 과정은 매우 빠르게 일어나기 때문에 성능을 거의 저하시키지 않습니다.

수치가 말해주는 것

연구진은 강력한 그래픽 카드(NVIDIA RTX 5070)를 사용하여 세 가지 다른 AI 모델(NVSA, LearnVRF, ARLC)에 대해 이 아이디어를 테스트했습니다. 결과는 인상적이었습니다:

• 메모리 절감: 이 방법은 GPU 메모리 사용량을 최대 15.75배 줄였습니다. 일부 모델의 경우, 메모리 점유율이 매우 크게 감소하여, 이전에는 고성위 서버가 필요했던 작업들을 소비자용 하드웨어에서도 실행할 수 있는 수준이 되었습니다.
• 속도 향상: 컴퓨터가 이동시켜야 할 데이터 양이 줄어들었기 때문에 AI가 더 빨라졌습니다. 추론 지연 시간(Inference latency, 결정을 내리는 데 걸리는 시간)은 최대 3.62배 개선되었습니다.
• 정확도: 결정적으로, 이 압축은 "무손실(lossless)"이었습니다. 벡터를 재구성했을 때, 원래 버전과 새 버전 사이의 유사도 점수는 **100%**였습니다. AI는 더 멍청해지지 않았습니다. 단지 더 날렵해졌을 뿐입니다.

이것이 왜 중요한가

이전에는 이러한 코드북을 압축하려고 하면 "확률적(stochastic)" 방법(무작위 추측)을 사용하거나 정보를 잃게 되어 AI의 논리가 깨지는 경우가 많았습니다. 다른 방법들은 이미지 분류와 같은 단순한 작업에는 효과적이었지만, AI가 엄격한 규칙을 가지고 복잡한 추론을 수행해야 할 때는 실패했습니다.

Gram-Space가 다른 이유는 "연산자 인식(operator-aware)" 방식이기 때문입니다. 이 시스템은 AI의 뇌 중 어느 부분이 고해상도 벡터를 필요로 하고, 어느 부분이 낮은 대역폭의 압축된 버전을 사용해도 괜찮은지를 알고 있습니다. 이는 AI가 올바르게 추론하는 데 필요한 수학적 구조를 보존합니다.

또한 연구진은 왜 처음에 메모리 사용량이 그렇게 높았는지 조사했습니다. 그들은 병목 현상이 단순히 데이터의 크기 때문이 아니라, 컴퓨터가 데이터를 할당하는 방식 때문이라는 것을 발견했습니다. 데이터를 "Gram-loc" 형식으로 압축된 상태로 유지함으로써, 일반적으로 속도를 늦추는 혼란스러운 "할당 과다(allocation-heavy)" 오버헤드를 줄였습니다.

요약하자면, Gram-Space는 단순히 데이터를 짜내는 것이 아니라 전체 워크플로우를 재구성합니다. 이를 통해 정교한 뉴로-심볼릭 시스템이 더 작고 저렴하며 빠른 하드웨어에서 실행될 수 있게 하며, 고도의 AI 추론 기술을 데이터 센터에서 우리의 주머니 속으로 가져올 수 있게 합니다. 이 논문은 이러한 접근 방식이 고정밀 AI를 확장 가능하고 실용적으로 만드는 데 있어 중요한 진전임을 시사합니다.