🤖 AI

EUGens: Efficient, Unified, and General Dense Layers

이 논문은 무작위 특징(random features)과 입력 노름(input norms)을 활용하여 선형 추론 복잡도와 감소된 파라미터로 완전 연결 계층(fully-connected layers)을 근사하는 동시에, 다항 활성화 함수(polynomial activations)의 편향되지 않은 근사를 가능하게 하고 사전 학습된 모델에 대한 효율적인 적응을 지원함으로써 다양한 작업에서 추론 속도와 메모리 효율성을 크게 향상시키는, 효율적이고 통합적이며 일반적인 밀집 계층(dense layers)의 새로운 클래스인 EUGens를 소개한다.

원저자: Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski

게시일 2026-02-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매일 수백만 명의 고객에게 서비스를 제공하는 거대하고 고급스러운 레스토랑(신경망)을 운영하고 있다고 상상해 보세요. 이 운영에서 가장 비싸고 시간이 많이 걸리는 부분은 요리 자체가 아니라, 바로 **메뉴 계획(Menu Planning)**입니다.

현대 AI에서 이 "메뉴 계획"은 **완전 연결 피드포워드 레이어(Fully Connected Feedforward Layers, FFLs)**에 의해 수행됩니다. 이 레이어들은 AI가 방대한 양의 정보를 가져와서, 거대한 규칙의 목록(가중치)과 곱한 뒤 결과를 만들어내는 곳입니다. 문제는 레스토랑이 성장함에 따라 이 메뉴 계획이 믿기지 않을 정도로 느려지고 엄청난 저장 공간을 요구하게 된다는 점입니다. 이는 마치 각 고객을 위해 각각 10,000페이지에 달하는 고유한 레시피 북을 작성하여 완벽한 식사를 계산하려는 것과 같습니다.

이 논문은 이 문제를 해결하기 위해 EUGens(Efficient, Unified, and General dense layers)라는 새로운 주방 도구를 소개합니다. 이 작동 원리를 쉬운 비유를 통해 설명해 드리겠습니다.

1. "마법의 필터" vs "무거운 계산기"

기존 방식 (표준 FFLs):
거대한 계산기를 가지고 있다고 상상해 보세요. 답을 얻으려면 고객 한 명당 키패드의 모든 버튼을 눌러야 합니다. 고객이 1,000명이면, 버튼을 1,000번 눌러야 합니다. 이것이 **이차 복잡도(Quadratic Complexity)**입니다. 즉, 매우 빠르게 느려집니다.

새로운 방식 (EUGens):
EUGens는 마법의 필터처럼 작동합니다. 필터는 고객의 주문(입력)과 셰프의 규칙(가중치)을 받아, 이를 훨씬 짧고 단순한 재료 목록으로 변환합니다.

비결: 이 방식은 **랜덤 특징(Random Features)**이라고 불리는 것을 사용합니다. 이것을 특별히 미리 만들어진 '향신료 블렌드'라고 생각하세요. 매 요리마다 모든 향신료를 처음부터 하나하나 측정하는 대신, 셰프는 이 블렌드를 사용하여 맛을 근사치로 구현합니다.
결과: 계산 방식이 "모든 버튼을 누르는 것"에서 "몇 개의 그릇을 섞는 것"으로 바뀝니다. 이로 인해 느린 이차 과정이 빠른 선형(Linear) 과정으로 변합니다. 고객이 1,000명이더라도, 당신은 아주 일부분의 작업만 수행하면 됩니다.

2. "모양 변환기" (다양한 방법의 통합)

이 논문 이전에는 과학자들이 AI를 더 빠르게 만들기 위해 여러 가지 "편법"을 사용했지만, 그것들은 마치 용도에 따라 다른 도구들 같았습니다. 어떤 도구는 수학 문제에 적합했고, 어떤 것은 사진에, 또 어떤 것은 텍ền에 적합했습니다.

EUGens는 **맥가이버 칼(Swiss Army Knife)**과 같습니다. 이들은 "통합(Unified)"되어 있습니다. 로봇에게 시각(Computer Vision)을 가르치든, 컴퓨터에게 언어(Language Models)를 가르치든, 혹은 3D 세계(NeRFs)를 구축하는 시스템을 만들든, EUGens는 동일한 효율적인 도구로 그 안의 무거운 메뉴 계획을 대체할 수 있습니다.

3. "마법의 거울" (편향 없는 근사치)

단순화할 때 가장 큰 두려움 중 하나는 정확도를 잃는 것입니다. 만약 지름길을 사용한다면, 음식 맛이 변하지 않을까요?

논문은 EUGens가 **편향되지 않았다(Unbiased)**고 주장합니다. 고해상도 이미지를 반사하는 마법의 거울을 상상해 보세요. 비록 거울이 단순한 저해상도 타일로 만들어졌더라도, 그 반사된 모습은 너무나 정확해서 차이를 느낄 수 없습니다.
저자들은 EUGens가 기존의 무거운 레이어들이 가진 복잡한 "맛"(ReLU 또는 GELU와 같은 활성화 함수)을 전체 시스템을 처음부터 다시 학습시키지 않고도 똑같이 흉내 낼 수 있음을 수학적으로 증명했습니다.

4. "즉각적인 업그레이드" (지식 증류)

보통 레스토랑의 주방을 업그레이드하려면, 영업을 중단하고 직원을 해고한 뒤 첫날부터 다시 교육해야 합니다. 여기에는 몇 달이 걸립니다.

이 논문은 "복사 및 붙여넣기" 방식의 업그레이드 역할을 하는 증류(Distillation) 기술을 소개합니다. 이미 학습된 기존 AI 모델(이미 충분히 훈련된 레스토랑)을 가져와서 무거운 메뉴 플래너를 EUGens로 즉시 교체할 수 있습니다.
EUGens의 수학적 원리 덕분에, 전체를 다시 학습시킬 필요가 없습니다. 단순히 간단한 공식을 사용하여 새로운 설정을 계산하기만 하면 됩니다(왔다 갔다 하며 추측할 필요가 없습니다). 이를 통해 기존 모델을 즉시 가속화할 수 있습니다.

실제로 무엇을 달성했나요?

논문은 이 "마법의 필터"를 세 가지 특정 분야에서 테스트했습니다:

언어 모델 (LLMs): GPT-2와 같은 모델의 무거운 레이어를 교체했습니다. 결과적으로 모델은 텍스트를 여전히 잘 작성하면서도, 사고 속도는 27% 빨라졌고 메모리는 30% 적게 사용했습니다.
이미지 분류 (Vision): 사진 속 사물을 식별하는 모델(예: ImageNet)에 테스트했습니다. 결과적으로 모델의 정확도는 유지하면서 훨씬 더 빠르게 실행되었습니다.
3D 장면 재구성 (NeRFs): 2D 사진을 이용해 3D 세계를 구축하는 데 사용했습니다. 결과적으로 이러한 3D 세계를 렌더링하는 속도가 24%에서 27% 빨라져, 실시간으로 사실적인 장면을 만드는 것이 가능해졌습니다.

요약

EUGens를 경주용 자동차의 무겁고 느린 맞춤형 엔진을, 속도는 똑같이 빠르면서 연료는 절반만 사용하는 가볍고 첨단 기술이 집약된 엔진으로 교체하는 것이라고 생각하세요. 이것은 목적지를 바꾸는 것이 아닙(AI는 여전히 똑같은 것을 배웁니다). 단지 더 적은 짐을 싣고 훨씬 더 빠르게 목적지에 도달하게 해줄 뿐입니다.

기술 요약: EUGens: 효율적이고 통합되며 일반적인 밀집 레이어 (Efficient, Unified, and General Dense Layers)

문제 정의

Transformer(LLM 및 Vision Transformer에 사용됨)와 Implicit Neural Representations(NeRF와 같은)를 포함한 현대 머신러닝 아키텍처는 전결합 피드포워드 레이어(Fully-Connected Feedforward Layers, FFLs)에 크게 의존합니다. FFL은 모델의 표현력에 핵심적이지만, 이는 은닉층 크기에 대해 시간 및 공간 복잡도가 이차적으로(quadratic) 스케일링되는 문제를 야기하여 계산적, 파라미터적 병목 현상을 초래합니다. 표준 구현은 $O(d^2)$ 의 복잡도를 가지며, 이는 실시간 및 자원 제한적인 환경에서의 대규모 모델 배포를 저해합니다. 차원 축소(Johnson-Lindenstrauss Transform), 프루닝(pruning), 양자화(quantization) 또는 특정 커널 방법과 같은 기존 솔루션들은 일반성이 부족하거나, 특정 활성화 함수에 국한되거나, 임의의 다항식 활성화 함수에 대한 무편향 근사(unbiased approximation)를 제공하지 못하는 경우가 많습니다.

방법론: EUGens

저자들은 표준 FFL을 일반화하는 새로운 밀집 레이어 클래스인 EUGens(Efficient, Unified, and General dense layers)를 제안합니다. EUGens는 **랜덤 특징(Random Features, RF)**을 활용하여 FFL 연산을 근사하는 동시에 입력 노름(input norm)에 대한 직접적인 의존성을 도입합니다.

핵심 메커니즘

출력이 $f(Wx)$인 표준 FFL과 달리, EUGens는 가중치 행렬 $W$ 와 입력 벡터 $x$ 를 분리합니다. 이들은 비선형 매핑 $f$ 와 $g$ 를 통해 두 요소를 저차원 표현으로 변환하며, 레이어 출력은 다음과 같이 내적(dot product)으로 계산됩니다:
$\text{EUGen}(W, x) = g(W)^\top f(x)$

변환 과정은 다음과 같습니다:

입력/가중치 증강(Augmentation): 입력 $x$ 에 $1 $과$ |x|^2$을 결합하고(마찬가지로 가중치에도 적용),
랜덤 투영(Random Projections): 증강된 벡터들에 일련의 랜덤 행렬 $G^i_j$ 를 적용합니다.
비선형 매핑: 이러한 투영들의 아다마르 곱(Hadamard product) 결과에 원소별 함수 $\Psi$ 와 $\Phi$ 를 적용합니다.
차수(Order) $k$ : 레이어의 "차수"는 표현력을 제어하며, $k$ 차 다항식 활성화 함수를 근사할 수 있게 합니다.

이론적 토대

무편향 근사(Unbiased Approximation): 논문은 EUGens가 임의의 다항식 활성화 함수를 가진 FFL의 무편향 추정치를 제공함을 증명합니다(정리 3.1). 이는 투영 행렬의 항목들을 특정 영평균(zero-mean) 분포에서 샘플링함으로써 달성됩니다.
연속 함수로의 일반화: 저자들은 베른슈타인 정리(Bernstein Theorem)를 활용하여, 폐구간 상의 임의의 연속 함수는 다항식으로 근사될 수 있다는 점을 이용해 EUGens가 일반적인 연속 활성화 함수를 근사할 수 있음을 보여줍니다(정리 3.4).
집중 경계(Concentration Bounds): 이론적 분석(정리 3.2 및 3.3)은 추정의 분산이 랜덤 특징의 수 $m$ 에 따라 감소하며, 평균으로부터의 큰 편차 발생 확률이 지수적으로 작다는 집중 결과를 제공합니다.
복잡도 감소: 가중치와 입력을 분리함으로써, 추론 복잡도는 $O(d^2 + dl)$ 에서 $O(mdk^2 + ml)$ (또는 특정 최적화를 통해 $O(mdk + ml)$)로 선형적으로 감소합니다.

실용적 개선 사항

준 몬테카를로(Quasi-Monte Carlo, QMC): 저자들은 추정의 분산을 더욱 줄이기 위해 구조화된 랜덤 행렬(예: 가우시안 직교 행렬)을 포함합니다.
분석적 증류(Analytic Distillation): 역전파(backpropagation)를 거치지 않는 레이어 단위 지식 전이 기술을 제안합니다. 사전 학습된 레이어의 입력/출력을 저장함으로써, EUGen 파라미터를 원래의 레이어를 모방하도록 분석적으로(폐쇄형 해법으로) 최적화하여, 사전 학습된 모델에 "제로샷(zero-shot)" 통합을 가능하게 합니다.

주요 기여

EUGens 제안: 랜덤 특징과 입력 노름 의존성을 사용하여 기존의 효율적인 확장 기능들을 통합하고 FFL을 일반화하는 새로운 밀집 레이어 클래스를 제안했습니다.
이론적 보장: 임의의 다항식 활성화 함수를 근사하는 최초의 무편향 알고리즘을 제시하였으며, 엄격한 집중 경계를 동반하였습니다.
경험적 우수성: EUGens가 Low-Rank 및 SNNK와 같은 베이스라인보다 낮은 평균 제곱 오차(MSE)를 기록하며 표준 활성화 함수(ReLU, GeLU, Softplus)를 정확하게 근사함을 입증했습니다.
광범위한 통합: Transformer(LLM, ViT) 및 INR(NeRF, iSDF, Mip-NeRF 360)을 포함한 다양한 아키텍처에 성공적으로 통합되었습니다.
증류 프레임워크: 전체 모델 재학습 없이도 사전 학습된 모델의 FFL을 교체할 수 있는 방법을 제공하여, 성능 저하 없이 속도 향상을 달성했습니다.

실험 결과

저자들은 여러 작업에 대해 EUGens를 평가하였으며, 추론 속도와 메모리 효율성 측면에서 상당한 이점을 보고했습니다:

언어 모델링 (GPT-2): OpenWebText에서의 사전 학습 시, EUGens는 훨씬 적은 파라미터를 사용하면서도 vanilla GPT-2와 대등한 검증 손실(validation loss)을 달성했습니다. FFL을 EUGens로 교체함으로써 성능 손실을 최소화하면서 상당한 파라미터 감소를 실현했습니다.
이미지 분류 (ViT): ImageNet 및 Places365에서 EUGen 기반 ViT는 vanilla ViT의 정확도를 유지하면서 추론 파라미터를 거의 30% 줄였습니다 (예: 6개 레이어 교체 시).
3D 장면 재구성 (NeRF & iSDF):
- NeRF: 재구성 품질(PSNR)의 손실 거의 없이 추론 시간을 24% 단축하고 모델 크기를 30% 감소시켰습니다.
- Mip-NeRF 360: 추론 속도를 27% 향상시켰습니다.
- iSDF: 표준 MLP 기반 iSDF 대비 22.6% 빠른 추론 및 5% 빠른 학습을 달성했습니다.
증류 (Distillation): 분석적 증류 접근 방식은 역전파 없이도 원래 NeRF 모델의 품질을 성공적으로 회복하면서 추론 속도를 최대 **26%**까지 개선했습니다.

의의 및 주장

본 논문은 EUGens가 실제 환경에서 대규모 신경망의 확장 가능한 배포를 향한 중요한 진전임을 주장합니다. FFL의 계산 복잡도를 이차 시간에서 선형 시간으로 줄이고 파라미터 수를 크게 낮춤으로써, EUGens는 원래 모델의 표현력을 희생하지 않으면서 더 빠른 추론과 낮은 메모리 사용량을 가능하게 합니다.

저자들은 EUGens가 프루닝이나 희소 샘플링(sparse sampling)과 같은 다른 효율화 기술들과 **직교(orthogonal)**하며, 이들과 결합될 수 있음을 강조합니다. 또한, 사전 학습된 모델에 EUGens를 재학습 없이 증류할 수 있는 능력은 기존 프로덕션 시스템에 효율적인 레이어를 채택하는 데 있어 주요 장벽을 해결합니다. 이 연구는 로보틱스, 컴퓨터 비전, NLP와 같이 실시간 성능과 자원 제약이 중요한 응용 분야에서 효율적인 신경망이 필수적임을 보여줍니다.