🤖 machine learning

Architecture Generalization with MetaNCA

이 논문은 역전파 없이 다양한 아키텍처에 걸쳐 다양하고 일반화 가능한 신경망 가중치를 생성할 수 있도록 국소적 자기 조직화 규칙을 학습하는 새로운 가중치 트랜스포머(Weight Transformer) 아키텍처를 채택한 프레임워크인 MetaNCA를 소개한다.

원저자: Meet Barot, Daniel Berenberg, Sina Khajehabdollahi

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Meet Barot, Daniel Berenberg, Sina Khajehabdollahi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 집을 짓는 법을 가르치고 있다고 상상해 보세요. 기존의 방식(오늘날 대부분의 AI가 사용하는 방식)은 로봇에게 특정한 집 한 채를 위한 거대하고 상세한 설계도를 주는 것과 같습니다. 만약 다른 집을 원한다면, 기존 설계도를 버리고 처음부터 다시 그려야 합니다. 이 과정에는 엄청난 양의 종이(메모리)와 에너지가 소모되며, 지형이 조금만 변해도 로봇은 적응할 수 없습니다.

이제 MetaNCA를 만나보세요. 연구진들은 로봇에게 설계도 대신 작고 마법 같은 "규칙 책"을 주었습니다. 이 규칙 책은 로봇에게 최종적인 집이 어떻게 생겼는지를 알려주는 것이 아닙니다. 대신, 현재 자신과 맞닿아 있는 벽돌들만을 바탕으로, 로봇이 어떻게 벽돌 하나하나를 스스로 수정해야 하는지를 알려줍니다.

국소적 규칙(Local Rules)의 마법

현실 세계에서 자연은 복잡한 것들(당신의 뇌나 자라나는 식물처럼)을 중앙 통제관 없이 만들어냅니다. 단일 세포는 전체 계획을 알지 못합니다. 그저 자신의 이웃을 보고 "내 이웃이 줄기니까, 나는 여기에 잎을 키워야겠다"라고 결정할 뿐입니다.

이 논문은 MetaNCA(Meta Neural Cellular Automata)를 소개합니다. 이는 컴퓨터의 뇌(신경망)를 위해 똑같은 일을 수행하려고 시도합니다.

기존 방식: 중앙 컴퓨터가 전체 뇌의 완벽한 형태를 계산하고 모든 부분이 그 형태에 들어맞도록 강제합니다.
MetaNCA 방식: 모든 개별 "가중치"(뉴런 사이의 연결)는 하나의 작은 벽돌과 같습니다. 각 벽돌은 자신만의 작은 뇌를 가지고 있습니다. 각 벽돌은 네트워크 지도상에서 자신의 바로 앞과 뒤에 있는 이웃들을 살펴봅니다. 오직 그 이웃들만을 바탕으로, 자신을 어떻게 변화시킬지 결정합니다.

연구진은 이를 **가중치 트랜스포머(Weight Transformer)**라고 부릅니다. 이것은 마치 매우 똑똑한 동네 방범대와 같습니다. 각 벽돌은 이웃으로부터 소문을 모으고, 자신이 무엇을 해야 하는지 파악한 뒤, 스스로를 업데이트합니다. 그들은 전체 네트워크가 작동하는 뇌로 "자기 조직화(self-organizes)"될 때까지 이 과정을 반복해서 수행합니다(테스트에서는 10번 반복).

놀라운 발견: 하나의 규칙 책, 여러 채의 집

이 부분이 가장 멋진 부분입니다. 보통 로봇에게 작은 집을 짓는 법을 가르치면 작은 집에는 능숙해지지만, 큰 성을 짓는 데는 처참히 실패합니다.

저자들은 MetaNCA가 다르다는 것을 발견했습니다. 그들은 단 몇 가지의 서로 다른 집 설계(아키텍처)를 바탕으로 규칙 책을 훈련시켰습니다. 그러고 나서 그 규칙 책에게 본 적이 없는 집을 지으라고 요청했습니다.

결과: 규칙 책은 명시적으로 배우지 않은 200만 개의 파라미터(벽돌이 정말 많죠!)를 가진 네트워크를 성공적으로 구축했습니다.
증거: 이 스스로 구축된 뇌를 MNIST(손글씨 숫자 인식) 게임에 테스트했을 때, **97%**의 정확도를 기록했습니다. 이는 "기존 방식"인 Adam(전통적인 방법)이 기록한 96.9%와 거의 같습니다.
함정: 하지만 이들을 CIFAR-100(100가지 종류의 이미지를 인식하는 더 어려운 게임)이라는 더 어려운 게임에 적용했을 때, MetaNCA 뇌는 약 **29.9%**의 정확도를 보였습니다. 기존 방식은 약 41~42%를 기록했습니다. 즉, MetaNCA가 일반화 능력은 뛰어나지만, 아직 가장 어려운 과제에서는 전통적인 방식만큼 강력하지는 않습니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 논문은 우리가 단순히 더 큰 설계도를 계속 만들어내서는 안 된다고 주장합니다. 자연은 그렇게 하지 않습니다. 당신의 DNA(유전적 설계도)는 당신의 뇌가 가진 복잡성에 비하면 매우 작습니다. DNA는 모든 뉴런을 나열하지 않습니다. 그저 그것들을 성장시키는 규칙을 나열할 뿐입니다. MetaNCA는 이를 모방하고자 합니다.

이 논문이 명시적으로 제외하는 것들:

이것은 중앙 컴퓨터가 한꺼번에 전체 뇌를 계산하는 방식이 아닙니다. 업데이트는 엄격하게 국소적(local)입니다.
이것은 모든 것을 즉시 해결하는 마법의 탄환이 아닙니다. 저자들은 가장 어려운 이미지 작업의 경우, 현재로서는 전통적인 방식이 여전히 더 낫다는 점을 인정합니다.
이것은 구축 단계 동안 데이터로부터 직접 학습하는 시스템이 아닙니다. 규칙 책은 건축하는 규칙을 배우는 것이지, 특정 사진(예: 고양이나 개)을 직접 보는 것이 아닙니다. 그것은 단지 나중에 그 사진들을 학습할 수 있는 '뇌'를 만드는 것뿐입니다.

"압축" 기술

MetaNCA 규칙 책을 압축된 작은 파일이라고 생각해보세요. 연구진은 이 규칙 책이 (네트워크 유형에 따라) 약 82,000에서 126,000개의 파라미터에 불과하다는 것을 발견했습니다.

이 규칙 책을 사용하여 200만 개의 파라미터를 가진 거대한 네트워크를 구축했을 때, 16배의 압축을 달성했습니다.
이는 모든 집의 크기에 대해 별도의 거대한 매뉴얼을 가질 필요 없이, 다양한 크기의 집을 생성할 수 있는 단 하나의 작고 정교한 설명서를 갖는 것과 같습니다.

결론

이 논문은 우리가 단 하나의 작고 국소적인 규칙 세트를 훈련시키면, 각 새로운 모양에 대해 다시 훈련할 필요 없이 많은 다양한 크기의 신경망으로 성장시킬 수 있다는 점을 시사합니다. 이는 더 단순한 작업에서는 놀라울 정도로 잘 작동하며 더 어려운 작업에서도 가능성을 보여주지만, 아직 진행 중인 작업입니다. 저자들은 만약 규칙 책을 훨씬 더 다양한 종류의 집들을 대상으로 훈련시킨다면, 본 적 없는 집들을 짓는 데 훨씬 더 능숙해질 수 있을 것이라고 제안합니다.

요약하자면, 전체 그림을 그리는 대신, 픽셀들이 서로 이웃과 대화하며 스스로 그림을 그리는 법을 가르친 것입니다. 그리고 결과적으로, 픽셀들은 그 일을 꽤 잘 해냈습니다.

기술 요약: MetaNCA를 통한 아키텍처 일반화

문제 정의

현재의 딥러닝 패러다임은 역전파(backpropagation)와 경사 하강법 기반 최적화에 크게 의존하고 있으며, 이는 메모리 소비, 아키텍처의 경직성, 데이터 효율성 측면에서 상당한 한계를 보입니다. 반면, 생물학적 시스템은 유전자에 인코딩된 일반화된 규칙을 통해 복잡한 신경 회로를 발달시키는데, 이 규칙은 결과물인 회로보다 수만 배 더 작습니다.

기존의 접근 방식들은 이 간극을 메우려 시도하지만 다음과 같은 구체적인 제약에 직면해 있습니다:

**하이퍼네트워크(Hypernetworks)**는 일반적으로 고정된 타겟 아키텍처를 위해 가중치를 전역적으로 생성하며, 진정한 의미의 국소적 상호작용이 결여되어 있습니다.
**가소성 기반 방법(Plasticity-based methods)**은 국소적 업데이트를 제공하지만, 본 적 없는 아키텍처로 일반화하는 데 어려움을 겪는 경우가 많습니다.
신경 세포 자동자(Neural Cellular Automata, NCA) 및 발달 프로그램(예: HyperNCA)은 국소 규칙을 통해 파라미터를 생성할 수 있지만, 종종 고정된 그리드에서 작동하거나 토폴로지를 처음부터 구축하는 방식에 머물러 있습니다. 즉, 미리 지정된 다양한 분포의 아키텍처를 위한 가중치를 생성하는 방식은 아닙니다.

결과적으로, 계산 그래프 상에서의 순수하게 국소적인 가중치 업데이트와 아키텍처 분포에 대한 엔드 투 엔드(end-to-end) 학습을 결합한 방법론이 부족한 실정입니다.

방법론: MetaNCA

저자들은 인공 신경망의 가중치를 자기 조직화(self-organize)하기 위한 단일 국소 규칙을 학습하는 Meta Neural Cellular Automata (MetaNCA) 프레임워크를 소개합니다.

핵심 메커니즘

MetaNCA는 태스크 네트워크의 가중치를 그래프 기반 "그리드" 상의 "픽셀"로 취급합니다. 별도의 국소 규칙 네트워크 $R$ 은 계산 그래프의 국소 정보만을 사용하여 태스크 네트워크의 가중치( $w$ )와 관련 은닉 상태( $\vec{h}$ )를 반복적으로 업데이트합니다.

국소 이웃(Local Neighborhood): 임의의 가중치 $w$ 에 대하여, 규칙 네트워크의 입력은 해당 가중치의 순방향 이웃(포스트 시냅스 가중치)과 역방향 이웃(프리 시냅스 가중치), 그리고 그에 대응하는 은닉 상태들로 구성됩니다.
반복 과정: 시스템은 $T=10$ 타임스텝 동안 가중치를 업데이트합니다. 태스크 네트워크는 오직 국소 규칙의 출력에 의해서만 업데이트되며, 규칙 네트워크 자체는 시간 기반 역전파(BPTT)를 통해 학습됩니다.

아키텍처: 가중치 트랜스포머(Weight Transformer)

이웃으로부터 신호를 집계하기 위해, 저자들은 국소 규칙 네트워크를 위한 새로운 가중치 트랜스포머(Weight Transformer) 아키텍처를 제안합니다.

선형 어텐션(Linear Attention): 이 네트워크는 ELU 기반 특징 맵( $\psi(x) = \text{ELU}(x) + 1$ )을 사용하는 선형 어텐션을 사용하여 순방향 및 역방향 이웃으로부터 가중치와 은닉 상태를 집계합니다. 이는 전체 어텐션 행렬을 실체화하지 않으므로 이웃의 수에 따라 선형적으로 스케일링됩니다.
회전 위치 인코딩(Rotary Positional Encoding): 구조적 정보(레이어 인덱스, 뉴런 인덱스, 커널 위치)를 인코딩하기 위해 쿼리(query)와 키(key)에 위치 의존적 회전 행렬을 적용합니다.
지각 벡터(Perception Vector): 어텐션 메커니즘의 출력(순방향 신호 $a_f$ 및 역방향 신호 $a_b$ )은 현재의 가중치 및 은닉 상태와 결합되어 지각 벡터 $v_{perception} = [w, \vec{h}, a_f, a_b]$ 를 형성합니다.
업데이트 규칙: 피드포워드 네트워크(MLP)가 이 벡터를 처리하여 업데이트량 $\Delta w$ 와 $\Delta \vec{h}$ 를 생성합니다.

학습 전략

메타 학습(Meta-Training): 국소 규칙 네트워크는 소수의 태스크 네트워크 아키텍처(2~5개 구성)에 대해 학습됩니다.
일반화 목표: 규칙은 다양한 아키텍처(변화하는 레이어 너비, 커널 크기, 채널 수)에 대해 유효한 파라미터를 동시에 생성해야 합니다. 이는 규칙이 특정 구성을 암기하는 대신 일반화된 발달 전략을 학습하도록 강제합니다.
확률적 업데이트: 비동기적 생물학적 업데이트를 모사하기 위해, 규칙은 매 단계마다 가중치의 80%에 확률적으로 적용됩니다.

주요 기여

최초의 교차 아키텍처 국소 규칙: MetaNCA는 수백만 개의 파라미터를 가진 미지의 다양한 아키텍처 전반에 걸쳐 가중치를 자기 조직화할 수 있는 단일 국소 규칙을 학습하는 최초의 방법론입니다.
가중치 트랜스포머: 가중치 생성을 위해 계산 그래프 상의 이웃 신호를 집계하도록 특별히 설계된 선형 어텐션 메커니즘을 도입했습니다.
아키텍처 일반화: 태스크 네트워크 자체에 대한 역전파 없이도 피드포워드 MLP, CNN, ResNet의 가중치를 생성할 수 있음을 입증했습니다.
압축: 이 프레임워크는 아키텍처 유연성이 있는 모델 증류(distillation) 방법으로서, 여러 대형 네트워크의 학습 과정을 하나의 작은 규칙 네트워크로 압축합니다 (예: 200만 파라미터 네트워크에 대해 16배 압축).

실험 결과

저자들은 MNIST와 CIFAR-100에 대해 세 가지 아키텍처 패밀리를 대상으로 MetaNCA를 평가했습니다:

Dense MLPs (MNIST): 3~5개의 아키텍처로 학습했을 때, 규칙은 보지 못한 레이어 너비에 대해서도 일반화되었습니다. 5개의 학습 아키텍처를 사용했을 때, 기존에 성능이 낮았던 작은 레이어들을 포함하여 대부분의 구성에서 90% 이상의 정확도를 달了했습니다.
합성곱 네트워크 (MNIST): 두 개의 아키텍처(커널 크기 3 및 5)로만 학습했을 때, 규칙은 보지 못한 커널 크기(예: 크기 4)에 대해 최대 97%의 정확도를 달성했습니다. 성능은 구성이 학습 데이터에서 멀어질수록 완만하게 저하되었습니다.
ResNets (CIFAR-100): 두 개의 기본 채널 너비( $c=16, 20$ )로 학습했을 때, 규칙은 인접한 아키텍처에 대해 일반화되어 29.9%의 정확도에 도달했습니다. 용량이 작은 아키텍처( $c \le 14$ )에서는 성능이 급격히 떨어졌으며, 이는 규칙이 특정 용량 범위에 특화된 역학을 학습했음을 나타냅니다.
베이스라인과의 비교: MNIST에서 MetaNCA가 생성한 네트워크는 Adam으로 학습된 베이스라인과 유사한 성능을 보였습니다 (97% vs 96.9%). CIFAR-100에서는 MetaNCA(29.9%)가 Adam 학습 베이스라인(41–42%)보다 뒤처졌으나, 저자들은 더 많은 학습 아키텍처나 하이퍼파라미터 튜닝을 통해 이 격차를 줄일 수 있다고 언급했습니다.
가중치 구조: MetaNCA가 생성한 가중치는 유사한 정확도를 달성하면서도, Adam으로 학습된 가중치에 비해 대칭성과 높은 희소성(sparsity)을 보였습니다.

의의 및 주장

본 논문은 국소적 자기 조직화 규칙이 전역적 조정 없이도 다양한 아키텍처 전반에서 신경망 파라미터를 효과적으로 생성할 수 있음을 보여준다고 주장합니다. 특정 모델의 세부 사항을 확장하는 것에서 벗어나, 그것들을 생성하는 규칙을 학습하는 데 초점을 맞춤으로써 MetaNCA는 더욱 유연하고 압축 가능하며 적응력이 뛰어난 모델로 가는 경로를 제시합니다.

저자들은 다음을 강조합니다:

국소 규칙은 무작위 초기화로부터 고성능 가중치 구성으로 향하는 **끌개(attractor)**를 학습합니다.
규칙 네트워크는 생성 과정에 대한 압축된 설명 역할을 하며, 다양한 크기의 네트워크로 디컴프레싱(decompression)될 수 있습니다.
아키텍처의 다양성은 학습 단계에서 매우 중요합니다. 학습 아키텍처의 수를 늘리면 일반화 범위가 향상됩니다.

한계 및 향후 과제

저자들은 일반화 성능이 학습 아키텍처가 커버하는 용량 범위 내에서 가장 강력하며, 훨씬 작거나 큰 네트워크에서는 저하된다는 점을 인정했습니다. 또한, 이웃의 정의는 일반적이지만, 새로운 아키텍처 패밀리(예: 특정 합성곱 토폴로지)를 위해 이를 구현하려면 해당 패밀리에 맞춰 정의를 매핑하는 과정이 여전히 필요합니다.

향후 연구 방향은 다음과 같습니다:

새로운 태스크에 대한 일반화를 개선하기 위해 국소 규칙을 데이터 신호(활성화 값 및 손실 값)에 직접 조건화(condition)하는 것.
단일 규칙이 여러 태스크를 위한 네트워크를 동시에 생성하는 멀티태스크 MetaNCA를 탐구하는 것 (이미 예비 테스트를 통해 능력을 입증함).
하나의 규칙을 여러 개의 서로 다른 아키텍처 패밀리에 걸쳐 학습시키는 것 (현재는 패밀리당 하나의 규칙을 사용함).