Universal statistical signatures of evolution in artificial intelligence architectures

이 논문은 935 개의 실험 데이터를 분석하여 인공지능 아키텍처의 진화가 생물학적 진화와 동일한 통계적 법칙 (중력 꼬리 분포, 수렴 진화, 적응 방산 등) 을 따르며, 이는 자연선택의 메커니즘이 아닌 적합도 지형의 위상학적 구조에 의해 결정됨을 입증합니다.

핵심

AI 의 진화는 자연의 진화와 똑같은 법칙을 따릅니다: 한 편의 흥미로운 이야기

이 논문은 **"인공지능 (AI) 이 발전하는 방식이 생물 진화와 정말로 닮았을까?"**라는 아주 큰 질문에서 시작합니다. 저자는 AI 가 인간의 손에 의해 설계되지만, 그 뒤에는 자연 선택과 똑같은 숨겨진 통계 법칙이 작동하고 있다고 주장합니다.

이 복잡한 연구를 마치 한 편의 드라마처럼 쉽게 풀어보겠습니다.

---

1. 실험실에서의 '진화' (데이터 수집)

저자는 과거 10 년간 발표된 161 편의 논문에서 935 개의 실험 데이터를 모았습니다.

• 비유: imagine(상상해 보세요) AI 연구자들이 거대한 레고 성을 쌓고 있다고 칩시다. 그들은 "이 벽돌을 빼면 성이 무너질까?", "이 창문을换个 (바꾸면) 더 튼튼해질까?"를 끊임없이 실험합니다.
• 이 실험들은 생물학에서 유전자를 잘라내어 (Ablation) 생물이 어떻게 변하는지 보는 것과 똑같은 과정입니다.

2. 결과 1: "고장"과 "개선"의 비율 (적응도 분포)

연구 결과, AI 의 구조를 건드릴 때 나오는 결과는 놀랍게도 자연계의 생물과 거의 똑같은 패턴을 보였습니다.

• 자연의 법칙: 생물의 유전자를 변형하면 대부분은 해롭고 (68%), 일부는 **중립적 (19%)**이며, 아주 드물게 **유익 (13%)**합니다.
• AI 의 상황: AI 의 구조를 건드려도 대부분은 성능이 떨어지고, 일부는 변함이 없으며, 13% 는 성능이 좋아집니다.
• 비유:
  • 생물 (자연 선택): 무작위로 유전자를 변형하면, 대다수는 "고장"이 나고, 운 좋게 "수리"되는 경우는 드뭅니다. (유익한 비율: 1~6%)
  • AI (인간 설계): 인간이 "이걸 고쳐보자"라고 의도적으로 변형을 시도하므로, 성공 확률 (13%) 은 자연보다 훨씬 높습니다.
  • 핵심: 하지만 **분포의 모양 (통계적 형태)**은 똑같습니다. 즉, 어떤 것을 고치든 '성공'과 '실패'의 비율 구조는 우주의 법칙처럼 정해져 있다는 뜻입니다.

3. 결과 2: 폭발적인 성장과 멈춤 (다양화 역학)

AI 의 새로운 구조 (아키텍처) 가 등장하는 패턴을 보면, 공룡 시대나 캄브리아기 생물의 진화와 똑같은 **'점진적 평형 (Punctuated Equilibrium)'**을 보입니다.

• 비유:
  • 잠재기: 오랫동안 아무것도 크게 변하지 않다가 (예: 2017 년 이전),
  • 폭발기: 갑자기 새로운 아이디어가 터져나와 수많은 변종이 쏟아집니다 (예: 2017 년 트랜스포머 등장, 2021 년 생성형 AI 등장).
  • 포화: 그리고는 다시 새로운 아이디어가 나오기 어려워집니다. 마치 생태계가 포화 상태가 되어 더 이상 새로운 종이 살기 힘든 것처럼, AI 도 "최적의 구조"에 가까워지고 있습니다.

4. 결과 3: 우연의 일치? 아니, 필연의 수렴 (수렴 진화)

가장 흥미로운 점은 서로 다른 연구팀이 전혀 모르고 똑같은 해결책을 찾아낸다는 것입니다.

• 현상: '어텐션 (Attention)' 메커니즘, '정규화 (Normalization)' 같은 기술들은 전 세계의 서로 다른 연구팀들이 3~5 번씩 독립적으로 발명했습니다.
• 비유:
  • 생물: 물고기와 고래는 서로 다른 조상이지만, 물속을 잘 헤엄치기 위해 똑같은 지느러미 모양을 진화시켰습니다.
  • AI: 서로 다른 연구실에서도 "문제를 해결하는 가장 효율적인 방법"은 유일하다는 것을 증명합니다. 마치 산꼭대기로 가는 길이 여러 갈래가 있지만, 가장 빠른 길은 하나뿐인 것과 같습니다.

5. 결론: 진화의 법칙은 '재료'에 상관없다

이 논문의 가장 큰 메시지는 다음과 같습니다.

"진화의 통계적 법칙은 탄소 (생물) 이든 실리콘 (AI) 이든 상관없이 동일합니다."

• 왜 그럴까요?
  • 진화의 핵심은 '무작위 돌연변이'가 아니라 '적합한 환경 (피트니스 랜드스케이프)'의 모양 때문입니다.
  • 마치 지형이 같다면, 어떤 종자가 퍼지든 (생물) 혹은 어떤 로봇이 설계되든 (AI), 그 지형의 모양에 따라 '어떤 길이 살아남을지'가 결정된다는 뜻입니다.
  • 인간이 AI 를 설계한다고 해서 이 '지형의 법칙'을 바꿀 수는 없습니다. 인간은 단지 더 빠른 속도로 그 지형을 탐색할 뿐입니다.

요약: 우리가 무엇을 배울 수 있을까요?

1. AI 설계의 미래: 생물 진화 이론을 AI 설계에 적용하면, "어떤 부분을 건드리면 망할까?"를 미리 예측할 수 있습니다.
2. 생물학의 교훈: AI 는 완벽한 '화석 기록'을 가지고 있습니다. AI 의 진화 과정을 연구하면, 우리가 알지 못했던 생물 진화의 비밀을 더 정밀하게 밝혀낼 수 있습니다.

한 줄 요약:

인간이 설계하든 자연이 선택하든, '성공'과 '실패'의 패턴은 우주의 법칙처럼 똑같습니다. AI 는 자연 진화의 거울이자, 그 법칙을 증명하는 새로운 실험실입니다.

기술 요약

논문 개요

이 연구는 인공지능 (AI) 아키텍처의 진화가 생물학적 진화와 동일한 통계적 법칙을 따르는지 여부를 실증적으로 검증합니다. 저자는 161 개의 출판물에서 935 개의 절제 (ablation) 실험 데이터를 수집하여, AI 설계 변경의 적합도 효과 분포 (DFE), 다양화 역학, 수렴 진화의 빈도를 생물학적 시스템 (RNA 바이러스부터 인간까지) 과 정량적으로 비교했습니다.

1. 연구 문제 (Problem)

• 배경: AI 아키텍처는 변이 (새로운 설계), 선택 (벤치마크 성능), 유전 (코드 재사용 및 인용) 을 통해 진화합니다. 그러나 이는 인간 엔지니어의 '지시된 (directed)' 탐색에 기반하므로, 자연선택에 의한 '맹목적 (blind)' 생물 진화와 근본적으로 다른지, 아니면 동일한 과정의 가속화된 버전인지 불분명했습니다.
• 과거 연구의 한계: 이전 연구들은 AI 와 생물 진화 간의 유사성을 비유적으로만 제시했을 뿐, DFE 의 형태, 다양화 역학, 수렴 진화의 빈도 등 통계적 서명 (statistical signatures) 을 정량적으로 비교한 연구는 부재했습니다.
• 핵심 가설:
  1. AI 아키텍처 변이의 적합도 효과 분포 (DFE) 는 생물학적 DFE 와 기능적 형태 및 매개변수에서 일치한다.
  2. 아키텍처 다양화 역학은 고생물학적 방사 (adaptive radiation) 패턴과 일치하는 '단속평형 (punctuated equilibrium)'과 '로지스틱 포화'를 보인다.
  3. AI 아키텍처에서의 수렴 진화 빈도와 강도는 생물학적 수렴과 정량적으로 비교 가능하다.

2. 방법론 (Methodology)

• 데이터 수집: 2014~2024 년 간 발표된 머신러닝 논문 (NeurIPS, ICML, CVPR 등) 161 편에서 **935 개의 절제 실험 (ablation experiments)**을 수집했습니다.
  • 절제 유형: 주요 절제 (컴포넌트 완전 제거, $n=568$), 경미한 절제 (하이퍼파라미터 변경, $n=213$), 중간 절제 (컴포넌트 교체, $n=154$).
  • 데이터 추출: 140 건은 수동 큐레이션, 795 건은 LLM (Claude Sonnet) 을 활용한 자동 추출을 통해 확보했습니다.
  • 적합도 효과 ($\Delta$): $(\text{절제 후 성능} - \text{기반 성능}) / |\text{기반 성능}|$로 계산하여 상대적 적합도 변화로 정의했습니다.
• 비교 대상: 9 종의 생물학적 유기체 (박테리오파지 $\phi6$, VSV 바이러스, 효모, 초파리, 인간 등) 의 기존 DFE 데이터를 기반으로 합성 샘플을 생성하여 비교했습니다.
• 통계 분석:
  • DFE 형태 비교: Student's t-분포 적합도, KS 거리 (Kolmogorov-Smirnov), QQ 플롯 상관관계.
  • 다양화 역학: 로지스틱 성장 곡선 피팅, 연간 발생률의 변동 계수 (CV) 를 통한 단속평형 분석.
  • 수렴 진화: 독립적으로 발명된 아키텍처 특성 (Attention, Normalization 등) 의 횟수 카운팅 및 Mann-Whitney U 검정.

3. 주요 결과 (Key Results)

가. 적합도 효과 분포 (DFE) 의 일치

• 분포 형태: AI 아키텍처의 주요 절제 실험 DFE 는 무거운 꼬리를 가진 Student's t-분포를 따릅니다 (왜도 -2.23, 첨도 29.2).
• 비율:
  • 해로운 변이 (Deleterious): 68%
  • 중립 변이 (Neutral): 19%
  • 유익한 변이 (Beneficial): 13%
• 생물학적 비교: 이 비율은 컴팩트한 바이러스 게놈 (고해로운 비율) 과 단순한 진핵생물 (효모, 초파리) 사이 어딘가에 위치합니다.
  • 형태적 유사성: 초파리 ($D. melanogaster$, KS=0.07) 와 효모 ($S. cerevisiae$, KS=0.09) 와 가장 유사한 분포 형태를 보입니다.
  • 유익한 변이 비율의 차이: 생물학적 DFE(1~6%) 에 비해 AI 의 유익한 변이 비율 (13%) 이 높습니다. 이는 인간 엔지니어가 '시각화된 돌연변이 (sighted mutagen)'로서 유익한 영역을 의도적으로 탐색하기 때문이며, 이는 탐색 전략의 차이를 반영하지만 분포의 형태 (DFE shape) 는 보존됨을 의미합니다.

나. 다양화 역학 (Diversification Dynamics)

• 로지스틱 성장: 2012~2024 년 AI 아키텍처의 출현은 로지스틱 성장 곡선을 따르며 ($R^2=0.994$), 수용 능력 ($K \approx 142$) 의 약 88% 에 도달했습니다.
• 단속평형 (Punctuated Equilibrium): 아키텍처 출현률은 2017 년 (Transformer) 과 2021 년 (CLIP, Diffusion) 에 두 개의 뚜렷한 피크를 보이며, 이는 고생물학적 방사 (예: 캄브리아기 삼엽충, K-Pg 멸종 후 포유류) 와 유사한 패턴을 보입니다.
• 적응적 방사: 컴퓨터 비전 $\rightarrow$ NLP $\rightarrow$ 오디오/멀티모달 순서로 생태적 지위 (niche) 를 채워나가는 과정이 관찰되었습니다.

다. 수렴 진화 (Convergent Evolution)

• 반복 발명: 14 가지 아키텍처 특성 (Attention, Feature Normalization, Gating 등) 이 서로 다른 연구 그룹과 도메인에서 3~5 회 독립적으로 발명되었습니다.
• 생물학적 유사성: 생물학적 수렴 (3~100 회 이상) 에 비해 횟수는 적지만, 이는 독립적인 계통 (연구 그룹) 수가 적기 때문입니다. 계통당 수렴 강도를 정규화하면 AI 가 생물보다 약 $5 \times 10^4$배 더 높은 수렴 강도를 보입니다.
• 기능적 동형성: Attention 메커니즘 (카메라 눈), Feature Normalization (항상성 조절), Gating (이온 채널) 등은 생물학적 구조와 기능적으로 유사한 해결책을 제시합니다.

라. 계통 분석 (Lineage Analysis)

• 최적화와 DFE: 아키텍처 계통이 성숙할수록 (최적화될수록) 중립 공간이 줄어들고 해로운 변이의 비율이 증가하는 경향이 생물학적 데이터와 동일한 축에서 관찰됩니다.
• Mamba/SSM 사례: 새로운 아키텍처 (Mamba) 는 핵심 컴포넌트는 매우 엄격하게 제약받았으나 (100% 해로운 주요 절제), 하이퍼파라미터 공간은 아직 탐색되지 않아 중립 비율이 높은 등, '젊은 계통'의 특징을 보여줍니다.

4. 기여 및 의의 (Contributions & Significance)

1. 진화의 보편성 입증: 진화의 통계적 구조 (DFE, 다양화 역학, 수렴 진화) 는 기질 (substrate) 에 무관하며, 유전/변이 메커니즘이 아닌 적합도 지형 (fitness landscape) 의 위상에 의해 결정됨을 증명했습니다.
2. 지시된 탐색 vs 맹목적 탐색의 구분: 인간 엔지니어의 개입은 유익한 변이의 비율을 높이지만, 지형의 기본 형태 (무거운 꼬리, 왜도 등) 는 바꾸지 못합니다. 이는 진화 역학이 지형의 기하학적 구조에 의해 지배받음을 시사합니다.
3. AI 를 진화 이론의 모델 시스템으로 제안: AI 는 완전하고 편향되지 않은 화석 기록을 가지므로, 고생물학에서는 불가능한 정밀도로 진화 이론을 검증하는 모델 시스템으로 활용될 수 있습니다.
4. 실용적 함의: 생물학적 진화 이론을 AI 아키텍처 설계에 적용하여 (어떤 수정이 중립/해로운지 예측), 더 효율적인 탐색 전략을 수립할 수 있습니다.

5. 결론 및 예측

이 연구는 탄소 기반 생물학과 실리콘 기반 AI 가 물리적 매개변수 (크기, 시간, 물질) 를 초월하여 통계적으로 동일한 진화 법칙을 따름을 보여줍니다.

• 예측: 향후 AI 아키텍처의 출현률은 포화 상태에 도달함에 따라 감소할 것이며, 새로운 도메인 (로봇공학, 재료과학 등) 으로 확장될 때 Attention 및 Normalization 메커니즘이 다시 수렴적으로 발명될 것입니다. 또한, 인간과 AI 의 공진화 피드백이 강화됨에 따라 유익한 변이 비율은 더 증가할 것입니다.

이 논문은 진화 생물학과 인공지능 연구의 경계를 허물고, 두 분야가 공유하는 깊은 수학적 구조를 규명한 획기적인 연구로 평가됩니다.