🤖 machine learning

Emergent Models: Intelligence from Tiny Substrates

이 논문은 세포 자동자와 같이 단순하고 개방형인 동적 기질을 진화시켜 창발적 계산 행동을 통해 과제를 해결하도록 함으로써, 이러한 최소한의 시스템이 전통적인 미분 가능한 아키텍처를 넘어 잠재적 보편성과 전역적 일반화를 달성할 수 있음을 입증하는 머신러닝 패러다임인 Emergent Models를 소개한다.

원저자: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

게시일 2026-08-17

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계를 거대한 도서관이라고 상상해 보세요. 수십 년 동안 사서들은 완벽한 책장을 만들려고 노력해 왔습니다. 그들은 수백만 권의 책(데이터 포인트)을 선반(신경망)에 쌓아두고, 앞선 책들을 바탕으로 다음에 어떤 책이 올지 예측하도록 선반을 가르쳤습니다. 이 방식은 이미 본 책에 대해 물어볼 때는 아주 잘 작동하지만, 아직 쓰이지 않은 이야기에 대해 묻는다면 선반은 그저 무작ful하게 추측하거나 엉뚱한 소리를 해낼 뿐입니다. 이는 선반이 패턴을 암기하는 데는 뛰어나지만, 그 이야기를 만드는 근본적인 '규칙'을 이해하는 데는 서투르기 때문입니다.

이제 다른 아이디어를 제안합니다. 거대한 책장을 만드는 대신, 돌아다니며 문제를 해결하는 법을 배우는 아주 작은 자율 주행 로봇을 만든다면 어떨까요? 이것이 바로 "발현 모델(Emergent Models)"의 세계입니다. 컴퓨터 화면에서 실행되는 "생명 게임(Game of Life)"을 떠올려 보세요. 당신은 켜지거나 꺼질 수 있는 세포들의 격자를 가지고 있습니다. 당신은 "이웃이 두 개면 켜져라"와 같은 단순한 규칙을 부여합니다. 그런 다음 그것을 지켜봅니다. 때때로, 그 단순한 규칙들로부터 우주선이나 글라이더 같은 믿기 힘들 정도로 복렴한 패턴들이 나타납니다. 과학자들이 던지는 핵심 질문은 이것입니다. 이 작은 규칙 기반의 로봇들이 우리의 거대한 책장들보다 수학과 논리를 더 잘 배울 수 있을까? 단 몇 백 개의 "부품"만 가진 시스템이 재료 목록을 단순히 암기하는 것을 넘어, 케이크의 비밀 레시피를 알아낼 수 있을까? 이 논문은 단순하고 진화하는 시스템이 더 똑똑하고 적응력 있는 AI의 열쇠가 될 수 있는지 탐구하며 이 질문에 파고듭니다.

사고하는 작은 기질들

이 논문의 저자들은 **발현 모델(Emergent Models, EMs)**이라 불리는 새로운 방식의 머신러닝 개념을 소개합니다. 당신이 빈 캔버스(기질, substrate)와 "오른쪽으로 한 걸음 이동하고 색을 바꾼다"와 같은 하나의 단순한 규칙을 따르는 아주 작은 붓 한 자루를 가지고 있다고 상상해 보세요. 전통적인 AI에서는 수백만 번의 붓질을 한꺼번에 조정하여 완벽한 그림을 그리려고 시도합니다. 이 새로운 접근 방식에서는 캔버스와 붓을 설정한 다음, 그것들이 한동안 실행되도록 둡니다. 우리는 붓에게 무엇을 그릴지 말해주지 않습니다. 그저 한참 동안 실행된 후에 나타나는 패턴이 더하기 문제를 푸는 것과 같은 문제를 해결하게 되는지를 관찰할 뿐입니다.

핵심 아이디어는 지능이 거대하고 복잡한 뇌를 필요로 하지 않을 수도 있다는 것입니다. 대신, 마치 새 떼가 단 한 마리의 새가 명령을 내리지 않아도 완벽한 대형을 유지하며 움직이는 것처럼, 지능은 단순하고 반복적인 과정으로부터 발현될 수 있다는 것입니다. 여기서 "뇌"는 격자 위에서 반복해서 실행되는 아주 작은 규칙 세트일 뿐입니다.

"잠재적 보편성"의 마법

이 논문은 **잠재적 보편성(Latent Universality)**이라는 매혹적인 개념을 제안합니다. 당신이 만능 리모컨(프로그램)과 TV(기질)를 가지고 있다고 상상해 보세요. 대부분의 AI에서는 보고 싶은 프로그램마다 새로운 TV를 사야 합니다. 하지만 잠재적 보편성에서는 TV가 고정되어 있습니다. 당신은 오직 리모컨(격자의 초기 상태)만 바꾸면 됩니다. 저자들은 만약 당신이 적절한 종류의 TV(특정한 유형의 수학적 격자)를 가지고 있다면, 화면 위의 시작 패턴을 바꾸는 것만으로 내부 배선을 전혀 바꾸지 않고도 이론적으로 어떤 계산이든 수행하도록 프로그래밍할 수 있다고 제안합니다.

그들은 이것이 이론적으로 가능하다는 것을 수학적으로 증명합니다. 끝없이 이어지는 격자와 단순한 규칙이 있다면, 시작 패턴을 설정함으로써 계산기, 체스 플레이어, 혹은 번역기로 작동하게 할 수 있습니다. "프로그램"은 단지 격자 위에 그리는 시작 그림일 뿐입니다.

실험: 활동 중인 작은 로봇들

완벽하고 무한한 격자를 만드는 것은 어렵기 때문에, 연구진은 작고 단순한 모델들의 "동물원"을 통해 이 아이디어를 테스트했습니다. 그들은 초지능 AI를 만들려고 시도한 것이 아닙니다. 그저 이 작은 시스템들이 기본적인 규칙을 배우고, 이를 더 큰 숫자에 적용할 수 있는지 확인하고 싶었을 뿐입니다.

1. 수학의 마법사들 (EM43)
그들은 단순한 규칙을 가진 일차원 세포 스트립(도미노 줄과 같은)을 만들었습니다. 그들은 이 모델에게 $x + 1$ 또는 $x \times 2$ 와 같은 수학을 가르쳤습니다.

결과: 완벽하게 작동했습니다! 모델은 작은 숫자(1에서 30 사이)에서 규칙을 배웠고, 그 후 한 번도 본 적 없는 거대한 숫자(최대 1,000까지)에도 결함 없이 적용했습니다.
"아하!" 모먼트: 모델이 문제를 해결하는 방식을 살펴보았을 때, 그들은 격자를 가로질러 움직이는 아름답고 반복적인 기하학적 패턴을 발견했습니다. 그들은 이를 **"기하학적 그로킹(geometric grokking)"**이라고 부릅니다. 이는 모델이 단순히 답을 암기한 것이 아니라, 모든 숫자에 통용되는 시각적 춤을 발견한 것과 같습니다. 이는 전통적인 AI가 특히 "4로 나눈 나머지는 무엇인가?"와 같은 반복적인 패턴을 다룰 때 어려움을 겪는 부분입니다.

2. 라이프 게임 (GoL-EM)
다음으로, 그들은 세포가 이웃에 따라 살거나 죽는 유명한 셀룰러 오토마타인 콘웨이의 '라이프 게임'을 사용했습니다. 그들은 이 시스템에 수학과 폴(pole)의 균형을 잡는 법을 가르치려 했습니다.

결과: 모델은 $x + 1$ 과 같은 간단한 수학은 배울 수 있었지만, 매우 까다로웠습니다. 시작 패턴의 작은 변화에도 전체 시스템이 무너졌습니다. 이는 마치 바람 부는 날에 카드 집을 세우려는 것과 같았습니다. 한동안 폴의 균형을 잡을 수는 있었지만, 매우 불안정했습니다. 연구진은 적절한 시작 패턴을 찾는 과정이 거의 무작별로 추측하는 것과 같다는 것을 발견했습니다. 시스템이 너무 민감해서 일반적인 방식으로 "훈련"하기가 매우 어려웠습니다.

3. 연속적 학습자 (CEM1D & CEM2D)
마지막으로, 그들은 온/오프 스위치 대신 부드럽고 연속적인 숫자(실제 물리 법칙과 같은)를 사용하는 모델을 테스트했습니다.

결과: 이 모델들은 무언가를 제어하는 데 훨씬 더 뛰어났습니다. 1D 버전은 폴의 균형을 매우 잘 잡을 수 있었고, 2D 버전은 음식이 때때로 독으로 변하는 환경을 항해하는 법을 배울 수 있었습니다.
함정: 이 똑똑한 모델들조차 문제가 있었습니다. 때때로 그들은 제자리에서 뱅글뱅글 돌거나 멈춰버리곤 했습니다. 그들은 변화하는 환경에 적응하는 법을 배웠지만, 완벽하지는 않았습니다. 연구진은 이 모델들이 여전히 매우 초기 단계이며 현재 우리가 사용하는 거대 AI 모델들에 비해 신뢰도가 훨씬 낮다고 언급했습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 자신들이 달성한 것과 달성하지 못한 것에 대해 매우 명확히 밝히고 있습니다. 이 논문은 영화나 휴대폰에서 보는 것보다 더 나은 AI를 만들었다고 주장하지 않습니다. 사실, 이 작은 모델들이 현재의 크고 복잡한 모델들보다 훈련하기 훨씬 어렵고 강력함도 떨어진다는 점을 인정합니다.

하지만, 이 논문은 흥able한 점을 시사합니다: 지능의 비밀은 규모(size)(수백만 개의 파라미터)가 아니라 반복(iteration)(단순한 단계를 계속 반복하는 것)에 있을 수도 있다는 것입니다. 저자들은 이 작은 모델들이 실제로 학습했을 때, 답이 아니라 규칙을 배웠다는 것을 발견했습니다. 덕분에 그들은 본 적 없는 숫자에 대해서도 정확하게 예측할 수 있는 능력, 즉 외삽(extrapolation) 능력을 갖추게 되었습니다.

또한 그들은 AI 효율성에 대한 새로운 관점을 제시합니다. 그들은 가장 좋은 모델은 매우 적은 수의 "딱딱한" 부분(규칙)을 사용하되, 그것을 오랫동안(많은 단계 동안) 실행하는 모델일 수 있다고 제안합니다. 이는 엄청난 양의 "딱딱한" 부분을 사용하지만 단 한 번만 실행하는 오늘날의 거대 AI와는 정반대의 개념입니다.

결론

이 논문은 마치 누군가 처음으로 작동하는 증기 기관을 만든 것과 같은 기초적인 단계입니다. 아직 자동차는 아니며, 우주선도 아닙니다. 하지만 단순한 반복 시스템이 규칙을 배우고 새로운 상황에 적용할 수 있다는 것을 증명합니다. 연구진은 단 몇 백 개의 파라미터만으로도 시스템이 수학을 배우고 간단한 로봇을 제어할 수 있음을 보여주었습니다.

핵론은 우리가 AI를 너무 복잡하게 만들고 있을지도 모른다는 것입니다. 점점 더 큰 뇌를 만드는 대신, 더 오랫동안 생각할 수 있도록 허용된 더 작고 단순한 시스템을 만들어야 할지도 모릅니다. 이 논문은 더 똑똑한 AI로 가는 길이 이러한 "발현적" 행동, 즉 단순한 화학 작용으로부터 생명이 자라나듯 단순한 규칙으로부터 지능이 성장하는 방식에 있을 수 있음을 시사합니다. 미래의 지능이 가장 작고 단순한 것들 속에 있을지도 모른다는 희망적이고, 유희적이며, 약간은 파격적인 아이디어입니다.

기술 요약: 창발적 모델: 미세한 기질로부터의 지능 (Emergent Models: Intelligence from Tiny Substrates)

문제 정의

전통적인 딥러닝, 특히 피드포워드 신경망(FFNN)은 **전역적 일반화(global generalization)**와 외삽(extrapolation) 측면에서 종종 어려움을 겪는다. 유니버설 근사 정리(universal approximation theorems)는 FFNN이 컴팩트한 도메인 내에서 함수를 임의로 잘 근사할 수 있음을 보장하지만, 이들은 일반적으로 개방된 도메인에 대한 기저의 생성 규칙을 포착하는 데 실패한다. 결과적으로, 제한된 범위 내에서 훈련된 모델은 훈련 분포를 벗어난 영역으로 외삽하지 못한다 (예: ReLU 네트워크는 점근적으로 선형이 되고, 시그모이드 네트워크는 상수로 수렴함).

또한, 최근의 추론형 LLM 및 순환 구조(recurrent architectures)에 관한 연구는 반복적 계산이 일반화를 개선한다는 것을 시사하지만, 이러한 모델들은 여전히 방대한 파라미터 수에 묶여 있으며 긴 시퀀스 외삽에서 취약성을 보이는 경우가 많다. 본 논문은 AI의 "비터 레슨(Bitter Lesson)"—상단의 엔지니어링보다는 컴퓨팅 자원을 활용하는 것—과 인공 생명으로부터의 통찰을 결합하여, 단순하고 국소적인 규칙에 의해 통제되는 기질(substrate)을 통해 복잡한 행동이 반복을 통해 창발되어야 한다는 필요성을 제기한다. 핵심 질문은 **최소한의 국소 재귀적 계산 기질(minimal, local-recursive computational substrates)**이 현재의 신경망 구조보다 훨씬 적은 파라미터로 높은 전역적 표현력과 외삽 능력을 달acia 할 수 있는가 하는 점이다.

방법론

창발적 모델 (Emergent Model, EM) 프레임워크

저자들은 **창발적 모델(EM)**을 모델링을 폐쇄형 입출력 맵을 학습하는 것이 아니라, 단순한 동적 시스템 내에서 계산 행동이 창발하는 과정으로 취급하는 머신러닝 패러다임으로 정식화한다. EM은 다음과 같은 튜플 $M = (S, f, H, E, D, \oplus)$ 로 정의된다:

잠재 상태 (Latent State, $S$ ): 메모리 역할을 하는 구성 공간 (이산 또는 연속).
업데이트 규칙 (Update Rule, $f$ ): 잠재 상태에 대해 반복 적용되는 국소 전이 함수 (예: 셀룰러 오토마타 규칙).
정지 조건 (Halting Condition, $H$ ): 반복의 중단을 결정하는 술어(predicate).
인터페이스 (Interface, $E, D, \oplus$ ): 외부 입출력을 잠재 상태와 연결하는 인코더, 디코더 및 결합 연산자.
프로그램 (Program, $p$ ): 섭동되지 않은 초기 상태. 주어진 입력 $x$ 에 대해, 초기 상태는 $s_0 = p \oplus E(x)$ 로 형성된다.

훈련 접근 방식:
경사 하강법 기반의 역전파와 달리, EM은 **진화 탐색(Evolutionary Search, 유전 알고리즘)**을 통해 훈련된다. 탐색 공간은 다음을 포함한다:

소프트 파라미터 (Soft Parameters): 프로그램 상태 $p$ (초기 구성). 일부 설정에서 이는 매크로 스텝 전반에 걸친 상태 유지(Lamarckian inheritance)를 통해 업데이트될 수 있다.
하드 파라미터 (Hard Parameters): 업데이트 규칙 $f$ , 정지 조건 $H$ , 그리고 인터페이스 파라미터. 이들은 추론 중에는 고정되지만 훈련 중에 최적화된다.
목표는 진화된 궤적이 정지 시점에 디코딩되었을 때 타겟 태스크를 해결하는 구성을 찾는 것이다.

이론적 토대: 잠재 유니버설리티 (Latent Universality)

본 논문은 기질( $S, f, H$ )과 인터페이스( $E, D, \oplus$ )는 고정되어 있고, 오직 프로그램 $p$ 만이 변하여 모든 부분 계산 가능 함수(partial computable function)를 실현하는 영역인 잠재 유니버설리티(Latent Universality) 개념을 도입한다.

정리 1: 저자들은 이진 문자열 입출력에 대해, 고정된 기질과 인터페이스가 유한한 지지(finite-support)를 가진 프로그램 상태만을 변화시킴으로써 모든 부분 계산 가능 함수를 계산할 수 있는 EM이 존재함을 증명한다. 이는 프로그램과 입력이 초기 테이프 구성에 인코딩되는 유니버럴 튜링 머신의 개념과 일치한다.

실험적 기질 (Experimental Substrates)

저자들은 단 하나의 경쟁력 있는 아키텍처도 직접 설계하지 않고 프레임워크의 생존 가능성을 테스트하기 위해 "동물원(zoo)" 형태의 최소 EM 인스턴스들을 평가한다:

EM43: 4개의 상태를 가진 1D 이산 셀룰러 오토마타와 룩업 테이블 규칙.
GoL-EM: 고정된 규칙을 가진 Conway의 라이프 게임(Game of Life)이며, 초기 글라이더 구성(프로그램)만을 최적화한다.
CEM1D: 로컬 미분 방정식 업데이트 규칙을 가진 연속 값 1D 격자.
CEM2D: 빠른 활성화와 느린 메모리 필드를 가진 연속 2D 격자로, 훈련 가능한 포트 위치를 특징으로 한다.

주요 결과

1. 산술 외삽 (EM43)

태스크: 단순 정수 함수 ( $x+1, 2x, x \mod 4, \text{round}(x/3)$ ) 학습. $[0, 30]$ 범위에서 훈련되고 $[30, 1000]$ 범위에서 테스트됨.
성능: EM43은 단일 입력 태스크(주기 함수인 $x \mod 4$ 및 진동 함수인 $x \cdot (1 + x \mod 2)$ 포함)에 대해 **100% 정확한 일치 정확도(exact-match accuracy)**를 달성했다.
관찰: 모델들은 **"기하학적 그로킹(geometric grokking)"**을 보였는데, 여기서 일반화는 입력 스케일이 증가해도 유효하게 유지되는 안정적이고 해석 가능한 시공간 패턴(예: 이동하는 마커)을 통해 실현되었다.
한계: 두 입력 곱셈 태스크( $a \cdot b$ )는 컴퓨팅 예산 내에서 수렴하지 못했으며, 이는 현재의 탐색 한계나 표현력의 제약을 시사한다.
효율성: 성공적인 모델들은 단 70~110개의 파라미터(140~220 비트의 정보)를 사용하였으며, 단 30개의 예시로 훈련되었다.

2. 제어 태스크 (GoL-EM & CEM1D)

CartPole:
- GoL-EM: 무작위 베이스라인보다 훨씬 높은 리턴(평균 ~171, 최고 ~417)을 달성했으나, 견고성(54.5%의 정지 실패율)과 잔해 축적으로 인한 상태 유지 불안정성 문제를 겪었다.
- CEM1D: 상태 유지를 가진 연속 1D 모델로, 최대치에 근접한 리턴(734.93)을 달성하여 GoL-EM보다 우수한 성능을 보였다. 그러나 각속도에 과도하게 의존하고 카트 위치를 효과적으로 통합하지 못해 결국 범위를 벗어나는 드리프트 현상이 발생했다.
Meta-Life (적응):
- 태스크: 에이전트가 사전 지식 없이 변화하는 환경에서 먹이를 찾거나 독을 피해야 함.
- 결과: CEM2D와 밀집 메모리 증강 RNN(mRNN) 베이스라인 모두 높은 메타 점수를 달성하여 온라인 적응 능력을 입증했다.
- 비교: mRNN이 더 빠르게 수렴하고 약간 더 높은 점수(0.82 vs 0.71)를 기록했다. CEM2D는 더 긴 훈련이 필요했지만, 로컬 연속 역학이 메모리와 적응을 지원할 수 있음을 보여주었다.
- 실패 모드: 자원이 부족할 때 두 모델 모두 "회전하는 끌개(rotating attractors, 제자리에서 회전)" 현상을 보였는데, 이는 훈련 목적 함수의 수확 체감과 정체 상태로부터의 회복 어려움 때문인 것으로 분석되었다.

주요 기여

창발적 모델의 정식화: 모델링을 동적 시스템으로서의 계산 과정으로 취 และ, '프로그램'을 고정된 업데이트 규칙 및 인터페이스와 분리된 잠재 공간 내의 초기 상태로 취급하는 엄밀한 프레임워크를 구축함.
잠재 유니버설리티의 증명: 고정된 기질과 인터페이스가 초기 프로그램 상태만을 변화시킴으로써 모든 계산 가능한 함수를 수행할 수 있음을 입증하여, 전역적 표현력을 위한 필요 조건을 확립함.
최소 기질의 경험적 검증: 수십에서 수백 개의 파라미터 규모의 로컬 재귀적 계산이 산술 태스크에서 정확한 외삽을 달성하고 제어 및 적응 행동을 지원할 수 있음을 입증하여, 방대한 파라미터 수가 일반화에 필수적이라는 통념에 도전함.
기하학적 그로킹 (Geometric Grokking): 일반화가 불투명한 가중치 조정이 아니라, 기질의 시공간 진화 속에서 안정적이고 해석 가능한 기하학적 패턴으로 나타나는 현상을 식별함.
$q$ -비율 가설 ( $q$ -Ratio Conjecture): 파라미터 수와 시간적 깊이 사이의 비율( $q = N_{params} / \bar{T}$ )이 일반화와 훈련 가능성 사이의 트레이드오프를 결정한다는 가설을 제시함. 낮은 $q$ (단순한 규칙, 깊은 반복)는 알고리즘 압축과 외삽에 유리하지만 불규칙한 탐색 지형을 만들고, 높은 $q$ (거대 네트워크, 얕은 반복)는 암기에 유리함.

의의 및 주장

본 논문은 자신을 경쟁적인 아키텍처 제안이라기보다 **기초적인 연구(foundational work)**로 포지셔닝한다. 주요 의의는 다음과 같다:

설계 공간의 확장: 미분 가능한 피드포워드 맵을 넘어, 단순하고 개방적인 물리적 기질을 탐구함.
지능의 재정의: 지능이 명시적인 신경 아키텍처의 엔지니어링보다는 단순한 로컬 규칙과 초기 조건의 상호작용(즉, "인공 물리학")으로부터 창발될 수 있음을 시사함.
겸허한 주장: 저자들은 자신들의 모델이 아직 성숙한 태스크 특화 방법들과 경쟁적이지 않음을 명시적으로 인정한다. 특히 훈련 효율성, 탐색 확장성(특히 곱셈과 같은 복잡한 태스크), 제어 설정에서의 견고성 등의 한계를 인정한다.
향후 방향: 잠재 유니버설리티 영역을 실제로 구현하고, 저- $q$ 재귀 모델의 비볼록(non-convex)하고 비국소적인 지형에 특화된 최적화 방법을 개발할 것을 촉구한다.

결론적으로, 본 논문은 현재의 로컬 재귀 모델링이 20년 전의 딥러닝 수준과 유사할 수 있으나, 미세한 기질이 외삽하고 적응할 수 있는 능력은 효율적이고 일반화 가능한 머신러닝을 향한 유망하고도 미개척된 경로임을 시사한다.