No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks

기술 요약: 만능 뉴런은 없다: 인공 신경망을 위한 태스크 기반 뉴런

문제 제기
현재의 딥러닝 연구는 주로 새로운 네트워크 아키텍처(예: shortcut, Neural Architecture Search)를 설계하는 데 집중하고 있으며, 거의 예외 없이 단일한 동질적 유형의 뉴런, 즉 선형 뉴런(내적 후 비선형 활성화 함수 적용)만을 사용하고 있습니다. 이러한 접근 방식은 인간의 뇌가 상당한 뉴런의 다양성을 보이며 보편적인 유형이 아닌 "태스크 기반(task-based)" 뉴로니에 의존한다는 생물학적 실상과 대조됩니다. 최근 연구들이 특정 비선형 뉴런(예: 이차 또는 다항식 뉴런)을 도입하기도 했으나, 이들은 여전히 모든 작업에 최적화될 수 없는 고정된 설계입니다. 본 논문은 "만능(one-size-fits-all)" 뉴런은 존재하지 않으며, 딥러닝 분야가 태스크 기반 아키텍처를 설계하는 것에서 벗어나, 주어진 데이터에 특화된 내재적 귀납적 편향(inductive bias)을 가진 태스크 기반 뉴런을 설계하는 방향으로 전환해야 한다고 주장합니다.

방법론
저자들은 **벡터화된 심볼릭 회귀(Vectorized Symbolic Regression, VSR)**를 중심으로 하는 두 단계 프레임워크를 통해 태스크 기반 뉴런을 프로토타이핑할 것을 제안합니다.

1. 벡터화된 심볼릭 회귀 (VSR):

   • 목표: 정의된 기저 함수 공간(예: 다항식, 삼각 함수)을 활용하여 입력 데이터에 적합한 최적의 해석적 공식을 식별하는 것입니다.
   • 메커니즘: 서로 다른 변수에 대해 이질적인 공식을 생성하는 전통적인 심볼릭 회귀(SR)와 달리, VSR은 **동질성(homogeneity)**을 강제합니다. 모든 입력 변수를 하나의 벡터로 쌓고, 각 변수가 동일한 연산을 수행하도록 규제합니다.
   • 연산자: 탐색 공간에는 벡터 연산자(Hadamard 곱, 내적)와 요소별로 적용되는 스칼라 연산자(+, −, ×, ÷)가 포함됩니다.
   • 탐색 알고리즘: 프레임워크는 변이(mutation), 교차(crossover), 선택(selection)을 사용하는 유전 프로그래밍(Genetic Programming, GP)을 채택하여 표현식 트리(expression trees)를 진화시킵니다. 출력값은 데이터의 기본 패턴을 나타내는 수학적 공식입니다.
   • 장점: VSR은 고차원에서의 전통적인 SR이 갖는 계산 비효율성을 해결하며, 병렬 계산(GPU 가속에 필수적)을 가능하게 하고, 파라미터 복잡도를 $O(d)$로 줄여줍니다.

2. 뉴런 파라미터화 및 네트워크 통합:

   • 재파라미터화: VSR에 의해 발견된 공식 내의 고정된 상수들을 학습 가능한 파라미터로 대체합니다. 이를 통해 정적인 공식을 뉴런의 동적인 집계 함수(aggregation function)로 변환합니다.
   • 활성화 함수: 표준 활성화 함수(예: ReLU, Sigmoid)는 효과가 입증되었으므로, 집계된 출력에 그대로 유지하여 결합합니다.
   • 아키텍처 적응:
     • 완전 연결 네트워크(Fully Connected Networks): 학습된 공식은 학습 가능한 가중치 행렬과 곱해지는 다항식 항들(예: $x, x \odot x, x \odot x \odot x$)로 확장됩니다.
     • 합성곱 네트워크(Convolutional Networks): 이미지의 경우, 오토인코더를 사용하여 차원을 먼저 축소합니다. 그 후 VSR 공식을 잠재 벡터(latent vectors)에 적용하고, 결과물인 항들을 학습 가능한 합성곱 커널로 변환합니다.
   • 이론적 근거: 본 논문은 단일 레이어 네트워크에서 태스크 기반 뉴런을 사용했을 때 일반 뉴런보다 낮은 최적 오차($\|e^*_1\|$)를 달 achieve한다면, 동일한 아키텍처를 가진 더 깊은 네트워크($\|e^*_l\|$) 또한 더 낮은 오차를 달성할 것이라는 정리(Theorem 1)를 제시합니다.

주요 기여

1. 태스크 기반 뉴런 프레임워크: 보편적인 아키텍처가 아닌 특정 태스크에 기반하여 뉴런을 설계하는 NeuroAI를 위한 새로운 로드맵을 제시합니다. 이는 딥러닝 모델 설계에 새로운 차원을 도입합니다.
2. 벡터화된 심볼릭 회귀 (VSR): 딥러닝 뉴런 설계에 심볼릭 회귀를 최초로 적용했습니다. VSR은 고차원 공간에서의 전통적인 SR의 확장성 문제를 해결하고 병렬 컴퓨팅을 용이하게 합니다.
3. 실증적 검증: 합성 데이터, 공개 벤치마크, 실제 응용 사례 전반에 걸친 체계적인 실험을 통해 태스크 기반 뉴런과 그 관련 네트워크가 사전 설정된 뉴런 및 최신 모델(SOTA)보다 우수한 성능을 보임을 입증했습니다.

결과

• 합성 데이터: VSR은 노이즈가 있는 데이터로부터 정답 다항식 공식을 성공적으로 복구했습니다. 태스크 기반 네트워크(TN)는 더 적은 파라미터와 얕은 깊이로도 선형 네트워크(LN)보다 현저히 낮은 평균 제곱 오차(MSE)를 달성했습니다.
• 정형 데이터(Tabular Data): 실제 데이터셋(고에너지 입자 충돌 및 소행성 예측)에서 TN은 XGBoost, LightGBM, CatBoost, TabNet 및 다양한 트랜스포머 기반 정형 데이터 모델(TabTransformer, FT-Transformer)과 같은 고급 모델보다 뛰어난 성능을 보였습니다. TN은 최소한의 용량(단일 레이어 변형)으로 두 데이터셋 모두에서 최고의 성능을 기록했습니다.
• KAN과의 비교: TN은 16개의 회귀 및 분류 데이터셋에서 Kolmogorov-Arnold Networks(KAN) 및 그 변형들(ChebyKAN, FourierKAN, FastKAN)과 대등하거나 더 우수한 성능을 보였으며, 종종 더 적은 파라미터와 FLOPs를 사용했습니다.
• 이미지 데이터: MobileNet-V2, ResNet-18, ViT-B-32 백본을 사용하여 ImageNet에서 가장 성능이 저조한 20개 클래스에 적용했을 때, TN은 기존 뉴런보다 일관되게 우수한 성능을 보이며 더 적은 파라미터로 더 높은 Top-1 정확도를 달성했습니다.
• 확장성: 실험 결과, 전통적인 SR은 차원이 80을 넘으면 어려움을 겪는 반면, VSR은 400 차원까지 견고한 성능을 유지하며 고차원 영역에서 SR보다 우수한 성능을 보였습니다.
• 절제 실험(Ablation): 무작위 다항식을 사용한 뉴런과의 비교를 통해, VSR로 학습된 공식이 임의적인 것이 아니라 필수적인 데이터 패턴을 포착하고 있음을 확인했습니다.

의의 및 주장
본 논문은 제안된 프레코임이 인공 네트워크에 뉴런의 다양성을 도입함으로써 NeuroAI를 향한 중요한 진전이라고 주장합니다. 저자들은 다음과 같이 논증합니다:

• 효율성: 태스크 기반 뉴런은 일반 뉴런에 비해 더 얕은 네트워크와 적은 파라미터로도 높은 성능을 달달성할 수 있으며, 이는 네트워크의 "깊이"를 "뉴런의 표현력"과 교환할 수 있음을 시사합니다.
• 적응성: 이 방법은 유연합니다. 초기 실험에서는 다항식을 사용했으나, 프레임워크는 특정 물리 또는 신호 처리 작업에 맞게 다른 기저 함수(예: 삼각 함수)로 확장될 수 있습니다.
• 실현 가능성: VSR은 안정적으로 수렴하며, TN의 추론 시간은 선형 네트워크와 유사하여 계산적으로 실행 가능합니다.
• 미래 잠재력: 저자들은 태스크 기반 뉴런이 Neural Architecture Search(NAS)에 의해 발견된 아키텍처와 통합되어, 미래의 AutoML 연구를 위한 시너지 경로를 제공할 수 있다고 제안합니다.

논문은 결과가 유망하지만 VSR 프로세스의 속도를 높이기 위한 추가 최적화가 필요하며, 기저 함수의 선택을 향후 연구에서 더 광범적으로 자동화할 수 있다는 점을 인정하며 겸손한 어조를 유지합니다. 본 논문은 딥러닝의 모든 과제를 해결한다고 주장하는 것이 아니라, 현재의 패러다임에 대한 실행 가능한 대안을 제시하는 데 목적이 있습니다.