💬 NLP

TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention

이 논문은 언어 모델링을 위한 계층적 신경 세포 자동자(Neural Cellular Automata)인 TextNCA를 소개하며, 단계적인 좁은-넓은(narrow-to-wide) 어텐션 스케줄이 성능의 주요 동력인 반면, 반복과 특정 구조적 구성 요소들은 작고 제한적인 이점만을 제공한다는 점을 입증한다.

원저자: Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Sushane Dulloo, Erik Cambria, Timothy Liu, Zhengkui Wang, Rajiv Ratn Shah

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Sushane Dulloo, Erik Cambria, Timothy Liu, Zhengkui Wang, Rajiv Ratn Shah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 거대한 논리의 마천루를 짓는 것이었습니다. 마천루의 각 층은 전체 이야기를 한꺼번에 바라보는 서로 다른 '레이어(층)'이며, 다음 단어가 무엇인지 로봇이 정확히 알 수 있도록 이해한 내용을 다음 층으로 전달합니다. 이것이 대부분의 현대 AI 언어 모델이 작동하는 방식입니다. 그것들은 높고 복잡하며, 모든 것을 전역적으로 바라봅니다.

하지만 만약 다른 접근 방식을 시도한다면 어떨까요? 만약 마천루 대신, 오직 자신의 즉각적인 이웃만을 바라보는 아주 작고 단순한 로봇을 사용한다면 어떨까요? 이것이 바로 **신경 세포 자동자(Neural Cellular Automata, NCA)**의 아이디어입니다. 이것을 격자 위에서 벌어지는 '전화기 게임(telephone)'이나, 쪽지를 전달하는 사람들의 줄이라고 생각해 보세요. 각 사람은 옆에 있는 사람만 보고, 작은 메모를 적은 뒤, 그것을 전달합니다. 그들은 이 과정을 계속 반복합니다. 만약 그들이 모두 정확히 동일한 단순한 규칙을 따른다면, 혼돈 속에서 결국 복잡한 그림이나 패턴이 나타날 수 있습니다. 과학자들은 이를 이용해 디지털 식물이나 질감을 성장시켜 왔지만, 실제로 문장을 쓰기 위해 시도한 적은 거의 없습니다. 큰 질문은 이것입니다. 이 작고 국소적이며 반복적인 로봇이 실제로 이야기를 쓰는 법을 배울 수 있을까요? 만약 그렇다면, 그것은 국소적이기 때문일까요, 반복하기 때문일까요, 아니면 다른 무언가 때문일까요?

실험: 큰 계획을 가진 작은 로봇

이 논문에서 연구자들은 TextNCA라는 새로운 종류의 언어 모델을 구축했습니다. 마천루 대신, 그들은 그 작은 이웃 로봇의 '계층적(hierarchical)' 버전을 만들었습니다. 그들은 로봇에게 매우 구체적인 직무 기술서를 주었습니다. 즉, 작은 단어 그룹을 보고, 이해도를 업데이트한 다음, 그 업데이트된 이해를 다음 그룹으로 전달해야 한다는 것입니다.

이것이 작동하게 만들기 위해, 그들은 3단계 릴레이 경주를 설정했습니다:

1단계 (좁은 시야): 로봇은 한 번에 단 8개의 단어만 봅니다. 로봇은 이 과정을 4번 반복하여 그 작은 이웃 환경에 대한 이해를 정교하게 다듬습니다.
2단계 (중간 시야): 그다음에는 32개의 단어 범위로 이동합니다. 역시 이 과정을 4번 반복하며, 이제는 조금 더 넓은 맥락을 보게 됩니다.
3단계 (넓은 시ya): 마지막으로, 128개의 단어를 봅니다. 로봇은 4번 더 이 과정을 반복하여, 마침내 문장 구조 전체를 파악합니다.

로봇은 세포 자동자와 마찬가지로, 각 단계의 4번 반복에 대해 동일한 '두뇌(가중치)'를 사용합니다. 연구진은 이를 대규모 텍-데이터셋(WikiText-103)으로 학습시켰으며, 이를 표준 AI 모델들과 비교했습니다.

거대한 놀라움: 반복이 아니라 스케줄이 핵심이다

연구자들은 마법이 로봇이 단계를 계속 반복하는 것(반복)이나 로봇이 국소적인 이웃만을 보는 것(국소성)에서 올 것이라고 예상했습니다. 하지만 실험을 실행했을 때, 그들은 놀라운 사실을 발견했습니다.

주된 성공 동력은 "좁은 곳에서 넓은 곳으로(Narrow-to-Wide)"의 스케줄이었습니다.
모델은 작게 시작해서 점차 커졌기 때문에 가장 잘 작동했습니다. 이것은 마치 책을 읽는 것과 같습니다. 당신은 먼저 단어 하나를 이해하고, 그다음 구절을, 그다음 문장을, 마지막으로 문단을 이해합니다.

스케줄은 유지하되 로봇이 스스로를 반복하지 못하게 했을 때(단순 일회성 모델로 만들었을 때)도, 모델은 전체 반복 모델만큼이나 잘 작동했습니다. 차이는 미미했습니다(모델이 얼마나 혼란스러워하는지를 측정하는 지표인 'Perplexity' 점수에서 약 4점 차이).
그러나 스케줄을 역전시켰을 때(128단어에서 시작해 좁아지는 방식) 모델은 무너졌습니다. 모델은 글쓰기에 매우 형편들어졌으며, 좋은 점수인 60.3점에 비해 131.1이라는 점수를 기록했습니다.
또한, 동일한 윈도우 크기를 유지하더라도 순서를 무작위로 섞었을 때(예: 8, 128, 32 순서), 모델은 고전했습니다.

이는 NCA 설계의 '국소적'인 부분과 '반복적'인 부분이 주인공이 아니라는 것을 말해줍니다. 주인공은 작업의 순서, 즉 좁게 시작하여 점차 확장하는 방식이었습니다.

그렇다면 반복은 어떠한가?

그렇다면 단계를 반복하는 것이 도움이 되기는 할까요? 네, 하지만 아주 조금이며, 오직 특정한 조건 하에서만 그렇습니다.

연구자들은 단계를 정확히 4번 반복하는 것이 '최적의 지점(sweet spot)'임을 발견했습니다. 만약 2번만 반복하면 모델은 혼란스러워했습니다. 만약 6번이나 8번을 반복하면 모델은 오히려 더 나빠졌습니다. 이는 마치 어떤 장을 한두 번 공부하면 잘 배우지만, 10번을 공부하면 오히려 배웠던 것을 잊어버리기 시작하는 학생과 같습니다.
이 반복은 모델이 특수한 '게이트(GRU gate)'를 가지고 있고, 자신이 어느 단계에 있는지 알려주는 '단계 임베딩(step embeddings)'을 학습했을 때만 효과가 있었습니다. 이것들이 없다면 반복은 아무런 효과가 없거나 오히려 상황을 악화시켰습니다.

결론: 새로운 챔피언이 아닌 통제된 독해

저자들은 자신들의 결과에 대해 매우 솔직합니다. 그들은 자신들의 TextNCA 모델이 표준적인 '마천루' 모델(Transformer)보다 더 뛰어나지 않다는 점을 인정합니다. 실제로 표준 모델들이 다음 단어를 예측하는 데 훨씬 더 뛰어났습니다.

표준 6계층 트랜스포머(Transformer)의 점수는 52.8이었습니다.
그들의 최상의 TextNCA 모델의 점수는 60.3이었습니다.
표준 12계층 트랜스포머는 44.7로 훨씬 더 좋았습니다.

따라서, 이 논문은 "우리가 더 나은 AI를 만들었다"라고 말하는 것이 아닙니다. 대신, "우리는 왜 이러한 세포 자동자 모델들이 특정한 방식으로 행동하는지 알아내기 위해 통제된 실험을 구축했다"라고 말하는 것입니다.

우리가 배운 것 (그리고 배우지 못한 것)

"좁은 곳에서 넓은 곳으로" 규칙이 왕이다: 이 유형의 모델에서 가장 중요한 것은 작은 시야로 시작하여 점차 확장하는 것입니다. 만약 이렇게 하지 않는다면, 모델은 실패합니다.
반복은 전구라기보다 조광기(dimmer switch)와 같다: 단계를 반복하는 것(iteration)은 약간의 힘을 더해주지만, 오직 적절한 횟수(4회)에서 멈출 때만 그렇습니다. 너무 많이 반복하면 성능이 저하됩니다.
국소적 주의 집중(Local attention)에는 한계가 있다: 연구진이 독해 이해 과제(SQuAD)에 모델을 테스트했을 때, 모델은 텍스트의 먼 곳을 살펴봐야 하는 답을 찾는 데 어려움을 겪었습니다. 이는 "작게 시작해서 크게 키우는" 전략이 도움이 되긴 하지만, 모델이 모든 것을 한꺼번에 보는 표준 모델만큼 전체적인 그림을 잘 볼 수는 없음을 시사합니다.

"노브(Knob)" 실험

한 가지 흥미로운 부수적 발견은, 실행 중(추론 시)에 반복 횟수를 변경할 수 있는 버전의 모델을 훈련할 수 있었다는 점입니다. 보통 모델을 훈련한 후 반복 횟수를 바꾸면 모델이 망가지기 마련입니다. 하지만 무작위 횟수의 반복을 포함하여 훈련함으로써, 그들은 실시간으로 깊이를 조절할 수 있는 '노브'를 만들어냈습니다. 문제는 무엇일까요? 모델의 전체적인 성능이 훨씬 나빠졌다는 것입니다(60.3 대신 101의 점수). 이는 마치 원하는 속도로 달릴 수 있는 차를 가졌지만, 일반 자동차보다 절반밖에 속도가 나지 않는 것과 같습니다.

결론

이 논문은 우리에게 새롭고 초강력한 언어 모델을 제시하지 않습니다. 대신, 이러한 '세포 자동자' 모델들이 실제로 어떻게 작동하는지에 대한 명확한 지도를 제공합니다. 이는 마법이 반복이나 국소적 규칙 자체에 있는 것이 아니라, 계층적 스케줄—즉, 좁은 시야에서 넓은 시야로 단계적으로 확장하는 세심한 과정에 있다는 것을 증명합니다. 이는 때때로, 단계를 수행하는 방식 그 자체보다 그 단계를 어떻게 조직하느냐가 더 중요하다는 사실을 상기시켜 줍니다.

기술 요약: TextNCA: 계층적 로컬 어텐션을 통한 언어 모델링을 위한 신경 세포 자동자(Neural Cellular Automata)

문제 제기
본 논문은 신경 세포 자동자(NCA)의 세 가지 핵심 속성인 엄격한 국소적 지각(strictly local perception), 가중치 공유 반복(weight-shared iteration), 그리고 게이트형 인플레이스 업데이트(gated in-place updates)가 1D 인과적 시퀀스(1D causal sequences)에 적용되었을 때 언어 모델링을 지원할 수 있는지 조사한다. NCA는 이미지 생성 및 텍스처 합성에는 성공적으로 사용되어 왔으나, 언어에 대한 적용은 아직 탐구되지 않았다. 또한, 기존 언어 모델들은 설계 공간의 서로 다른 영역을 점유하고 있다: Universal Transformer는 반복과 가중치 공유를 사용하지만 전역 어텐션(global attention)을 유지하며, ALBERT는 반복 없이 가중치를 공유하고, 슬라이딩 윈도우 트랜스포머(sliding-window transformers)는 반복이나 가중치 공유 없이 로컬 어텐션만을 사용한다. 기존의 어떤 아키텍처도 이 세 가지 NCA 속성을 동시에 결합하지 못했다. 저자들은 이러한 속성들을 언어에 적용했을 때 어떤 속성이 실제로 모델의 동작을 주도하는지 결정하고자 한다.

방법론: TextNCA 아키텍처
저자들은 NCA 프리미티브(primitive)의 1D 인과적 윈도우 어텐션 구현체인 TextNCA를 소개한다. 이 아키텍처는 다음 구성 요소들로 정의된다:

핵심 업데이트 규칙: 모델은 토큰 상태 $h_t$ $h_{t}$ 의 시퀀스를 유지한다. 각 단계에서 모델은 공유된 로컬 규칙을 반복적으로 적용한다: $h_t = \text{Gate}(h_{t-1}, \text{FFN}(\text{LN}(\text{Perceive}(h_{t-1} + s_t))))$ $h_{t} = Gate (h_{t - 1}, FFN (LN (Perceive (h_{t - 1} + s_{t}))))$ .
- 지각(Perception): 특정 윈도우 크기 $w$ 를 가진 인과적 윈도우 어텐션 메커니즘이다.
- 반복(Iteration): 동일한 가중치가 각 스테이지당 $T_s$ 번 적용된다.
- 게이팅(Gating): GRU 스타일의 업데이트 게이트가 지각 출력과 이전 상태를 결합하여 인플레이스 업데이트를 가능하게 한다.
- 스텝 임베딩(Step Embeddings): 공유된 가중치가 서로 다른 스텝에 특화될 수 있도록 각 반복마다 학습 가능한 스텝 임베딩 $s_t$ 를 더해준다.
계층적 스테이징(Hierarchical Staging): 모델은 고유한 파라미터 집합 $\theta_k$ $θ_{k}$ 와 특정 윈도우 크기 $w_k$ $w_{k}$ 를 가진 $K$ $K$ 개의 순차적 스테이지를 통해 토큰을 처리한다. 스테이지들은 윈도우 크기가 엄격히 증가하는 방식으로 계층을 이룬다: $w \in \{8, 32, 128\}$ $w \in {8, 32, 128}$ .
- 스케줄(Schedule): 모델은 "좁은 곳에서 넓은 곳으로(narrow-to-wide)" 스케줄을 사용한다. 스테이지 1은 $w=8$ , 스테이지 2는 $w=32$ , 스테이지 3은 $w=128$ 을 사용한다.
- 반복(Iterations): 각 스테이지는 $T_s=4$ 번 반복되며, 총 12회의 NCA 스텝이 수행된다.
훈련 프로토콜: 모델은 Mistral 32K BPE 어휘 사전과 512의 시퀀스 길이를 사용하여 SlimPajama의 5억 토큰 서브셋에 대해 훈련된다. 성능 평가는 WikiText-103을 대상으로 한다. 모델은 약 3,000만 개의 파라미터를 가지며 6만 스텝 동안 훈련된다.

주요 기여 및 절제 연구(Ablation Studies)
본 논문은 TextNCA를 성능 입증보다는 분석적 프로브(analytical probe)로 취급하며, "부하를 견디는(load-bearing)" 구성 요소를 격리하기 위해 7가지 축의 절제 연구를 수행한다:

스테이지드 윈도우 스케줄이 지배적임: 가장 중요한 발견은 "좁은 곳에서 넓은 곳으로" 스케줄이 성능의 주요 동력이라는 점이다.
- 스케줄을 역전시키면( $[128, 32, 8]$ ) 퍼플렉서티(PPL)가 +70.8 증가한다.
- 균일한 윈도우( $[32, 32, 32]$ )를 사용하면 PPL이 +59.4 증가한다.
- 동일한 narrow-to-wide 스케줄을 재사용하는 비반복형 슬라이딩 윈도우 트랜스포머는 PPL 64.5를 기록하여, 반복형 TextNCA(60.3)보다 단 4.1 높을 뿐이다.
- 이는 스케줄이 아키텍처 효과의 대부분을 설명하며, 반복은 부차적인 기여자임을 시사한다.
효과적인 깊이 조절 도구로서의 반복: 반복은 유한한 이점(~4 PPL)을 더하지만, 비단조적(non-monotonically)으로 동작한다.
- 스테이지당 반복 횟수( $T_s$ )에 대한 탐색 결과, 최적점이 $T_s=4$ 인 급격한 U자형 곡선이 나타난다.
- 4회를 초과하여 반복 횟수를 늘리면 성능이 저하되는데, 이는 더 많은 단계가 항상 도움이 된다는 "반복적 정교화(iterative refinement)" 해석을 부정한다.
- 반복이 효과적이려면 GRU 게이트와 학습된 스텝 임베딩이 모두 필요하다. 이 중 하나라도 제거하면 PPL이 크게 악화된다.
구성 요소 민감도:
- 게이팅(Gating): GRU 게이트를 단순 잔차 업데이트(residual update)로 교체하면 PPL이 +16.3 증가한다.
- 지각 커널(Perception Kernel): 단일 스케일에서는 Gated Linear Attention(GLA)이 로컬 소프트맥스보다 우수하지만, 계층적 본체에서는 성능이 떨어지는데, 이는 커널과 스케줄 사이의 강력한 상호작용을 나타낸다.
- 확률적 훈련(Stochastic Training): 무작위 $T_s$ 를 사용하여 훈련(확률적 반복)하면 추론 시 반복 횟수 조절 노브(knob)를 사용할 수 있게 되어, 서로 다른 반복 깊이에 일반화할 수 있다. 그러나 이는 상당한 비용을 수반하여, 베스트 PPL이 플래그십 모델의 60.3에 비해 약 101까지 상승한다.

결과

성능: 3,000만 파라미터 규모에서 TextNCA(PPL 60.3)는 파라미터 수가 매칭된 트랜스포머(Transformer-6L: 52.8; Transformer-12L: 44.7)를 따라잡지 못한다.
연산 효율성: TextNCA는 연산량 측면에서 파레토 우위(Pareto-superior)를 점하지 못한다. FLOPs 또는 실제 실행 시간(wall-clock time)을 맞추었을 때, 성능 격차는 더 벌어진다 (TextNCA PPL이 70.6~80.1로 상승).
다운스트림 태스크:
- 분류(Classification): TextNCA는 감성 및 주제 분류(IMDb, AG News, SST-2)에서 트랜스포머 베이스라인들과 통계적으로 대등하다.
- 추출적 질의응답(Extractive QA): TextNCA는 SQuAD에서 성능이 저하된다 (F1 26.3 vs Transformer-6L의 28.6). 저자들은 이를 로컬 어텐션 설계 때문으로 보는데, 전역 어텐션 모델들이 스팬 레벨(span-level) QA에서 일관되게 로컬 변형 모델들보다 우수한 성능을 보이기 때문이다.

의의 및 주장
본 논문은 자신의 기여를 언어 모델링에서의 NCA 방식 계산에 대한 "통제된 독해(controlled reading)"로 규정한다. 저자들의 주장은 다음과 같다:

스테이지드 narrow-to-wide 윈도우 스케줄이 부하를 견디는 핵심적인 아키텍처 요소이며, 모델 동작의 대부분을 설명한다.
반복과 가중치 공유는 특정 게이팅 메커니즘과 스텝 임베딩이 뒷받침될 때 작동하는, 효과적인 깊이 조절 도구로서 제한적인 이점을 제공한다.
모델은 NCA 방식의 계산이 언어 모델로서 기능할 수 있음을 보여주지만, 연구된 규모에서는 표준 트랜스포머를 능가하지 못한다. 이 연구는 NCA 프리미티브의 어떤 부분이 무게를 실어주는지를 격리해 냈으며, 이는 "로컬 규칙으로부터 창발하는 글로벌 구조"가 반복 메커니즘 자체보다는 수용 영역(receptive fields)의 특정 스케줄링에 크게 의존함을 시사한다.
본 논문은 체인 오브 쏘트(chain-of-thought)나 탐색(search)과 같은 의미에서의 "테스트 타임 연산 확장(test-time compute scaling)"을 명시적으로 피하며, 확률적 훈련을 통해 달성된 추론 시 반복 노브는 높은 절대적 PPL 페널티를 수반한다고 언급한다.