🤖 machine learning

Statistical Properties of the King Wen Sequence: An Anti-Habituation Structure That Does Not Improve Neural Network Training

본 논문은 3 천 년간 수수께끼로 남아있던 주역의 '주문서' 순서가 통계적으로 유의미한 특성을 지니고 있음이 확인되었으나, 이를 신경망 학습에 적용한 실험 결과 학습률 조절이나 커리큘럼 순서로 사용했을 때 오히려 성능을 저하시켜 학습에 도움이 되지 않는다는 결론을 내립니다.

원저자: Augustin Chan

게시일 2026-04-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Augustin Chan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎲 1. 연구의 배경: "우연일까, 아니면 숨겨진 설계일까?"

주역에는 64 개의 '괘 (Hexagram)'라는 그림이 있습니다. 고대인들은 이 64 개의 그림을 특정한 순서로 배열했는데, 수천 년 동안 수학자들이 "이건 그냥 무작위일까, 아니면 어떤 깊은 논리가 있을까?"를 고민해 왔습니다.

이 연구자들은 컴퓨터 시뮬레이션 (10 만 번의 무작위 실험) 을 돌려서 주문 순서를 분석했습니다. 그 결과, 주문 순서는 정말로 특별한 통계적 특징을 가지고 있다는 것을 발견했습니다.

비유: 마치 카드 덱을 섞을 때, "무작위로 섞는 것"과 "특정한 규칙 (예: 빨강 - 검정 - 빨강 - 검정) 을 따르며 섞는 것"의 차이처럼, 주문 순서는 너무나도 규칙적으로 변덕을 부리는 독특한 패턴을 가지고 있었습니다.
- 한 단계에서 다음 단계로 갈 때 변화가 너무 크기도 하고, 너무 작기도 합니다.
- 변화의 크기가 "크다 → 작다 → 크다 → 작다"처럼 정교하게 교차합니다.
- 이는 마치 지루함을 깨기 위해 (Anti-Habituation) 고안된 것처럼 보였습니다.

🤔 2. 가설: "이런 멋진 패턴이 AI 학습에 도움이 되지 않을까?"

연구자들은 이런 생각을 했습니다.

"AI 가 학습할 때, 너무 똑같은 문제만 풀면 지루해져서 (Habituation) 학습이 안 될 수 있잖아? 주역의 그 '지루함을 깨는' 독특한 패턴을 학습 순서나 학습 속도 조절에 적용하면, AI 가 더 잘 배우지 않을까?"

이것은 마치 학생에게 문제를 풀게 할 때, 쉬운 문제만 내거나 어려운 문제만 내지 말고, '지루하지 않게' 문제를 섞어서 내주는 것과 같은 아이디어입니다.

🧪 3. 실험 결과: "오히려 AI 가 혼란스러워졌습니다"

연구진은 이 가설을 검증하기 위해 AI(작은 언어 모델) 를 두 가지 방법으로 훈련시켜 보았습니다.

학습 속도 조절 (Learning Rate Modulation): 주역의 패턴에 따라 AI 가 문제를 풀 때의 '학습 속도'를 빠르게 하거나 느리게 조절해 주었습니다.
학습 순서 변경 (Curriculum Ordering): 학습할 데이터의 순서를 주역 순서대로 바꿔서 입력해 주었습니다.

결과는 충격적이었습니다.

학습 속도 조절: 주역 패턴을 적용했을 때 AI 의 성능은 모든 경우에서 떨어졌습니다. 오히려 무작위로 속도를 조절하는 것보다 더 나빴습니다.
학습 순서 변경: 주역 순서대로 데이터를 줬을 때, AI 는 가장 나쁜 성능을 보였습니다. (무작위로 섞은 것이 오히려 더 나았습니다.)

🚗 4. 왜 실패했을까? (핵심 이유)

왜 '지루함을 깨는' 멋진 패턴이 AI 에겐 독이 되었을까요? 연구진은 다음과 같은 이유를 들었습니다.

비유 1: 운전과 브레이크
AI 학습은 마치 자동차가 고속도로를 달리는 것과 같습니다. AI 는 일정한 속도로 꾸준히 가속하며 길을 찾아갑니다.
그런데 주역 패턴은 **"가다 멈추고, 갑자기 급가속하고, 다시 급정거"**를 반복하게 합니다.
- AI 는 이 급격한 변화 (높은 변동성) 에 적응하지 못해 미끄러지고, 방향을 잃고, 결국 제자리걸음을 하게 됩니다.
- AI 는 '지루함'을 깨는 게 아니라, **일관된 흐름 (Temporal Coherence)**을 원합니다.
비유 2: 고정된 지도 vs. GPS
주역 순서는 3,000 년 전부터 변하지 않는 고정된 지도입니다. 하지만 AI 가 학습하는 과정은 매 순간 달라지는 실시간 교통 상황과 같습니다.
- 고정된 지도를 따라가면, AI 가 현재 어디에 있는지, 어떤 문제가 어려운지에 맞춰 **적응 (Adaptation)**할 수 없습니다.
- AI 는 상황에 맞춰 유연하게 순서를 바꿔주는 '스마트한 GPS'가 필요하지, 3,000 년 전의 고정된 '주역 순서'는 필요하지 않았습니다.

💡 5. 결론: "수학적으로 아름답다고 해서, 실용적인 것은 아니다"

이 연구의 가장 중요한 메시지는 다음과 같습니다.

"무언가가 수학적으로 매우 흥미롭고 특별한 구조를 가지고 있다고 해서, 그것이 인공지능 학습에 도움이 되는 것은 아닙니다."

주역 순서는 고대인들에게는 깊은 철학적 의미를 담고 있는 훌륭한 구조일 수 있습니다. 하지만 수학적 '아름다움'과 '실제 효율성' 사이에는 큰 간극이 있습니다.

AI 에게 필요한 것: 일관성 있고, 예측 가능하며, 상황에 맞춰 조절되는 학습 환경.
주역이 제공하는 것: 예측 불가능하고, 급격하게 변하는, 고정된 패턴.

이 논문은 "주역이 AI 에게 도움이 될까?"라는 흥미로운 추측을 엄격한 데이터로 검증하여, "아니요, 오히려 방해가 됩니다"라고 결론 내렸습니다. 이는 과학적 연구에서 **실패한 결과 (Negative Results)**도 얼마나 중요한지 보여주는 훌륭한 사례입니다.

한 줄 요약:

"주역의 신비로운 패턴은 고대 철학에서는 훌륭하지만, 현대 AI 가 길을 찾는 데는 마치 급하게 브레이크와 가속을 반복하는 운전과 같아 오히려 학습을 방해했습니다."

이 논문은 고대 중국 주역 (I-Ching) 의 '주문 (King Wen)' 서열이 신경망 학습에 도움이 될 것이라는 가설을 검증하고, 이를 통계적으로 분석한 부정적 결과 (Negative Results) 연구입니다. 저자는 주문 서열이 가진 독특한 통계적 특성이 '학습 습관화 (Habituation) 방지' 메커니즘과 유사해 보이지만, 실제 경사 하강법 (Gradient-based Optimization) 기반 학습에는 오히려 해롭다는 것을 입증했습니다.

주요 내용은 다음과 같습니다.

1. 연구 문제 및 배경

문제 제기: 주역의 64 괘 (Hexagrams) 를 배열하는 '주문 서열'은 3 천 년간 수학적으로 설명되지 않은 패턴을 보입니다. 최근 연구들은 구조화된 지식 시스템이 AI 성능에 영향을 줄 수 있음을 시사하며, 주문 서열의 '습관화 방지 (Anti-Habituation)' 특성이 커리큘럼 학습 (Curriculum Learning) 이나 호기심 기반 탐색에 도움이 될 것이라는 가설이 제기되었습니다.
핵심 질문: 주문 서열의 통계적 특성이 신경망 학습 효율을 실제로 향상시키는가?

2. 방법론 (Methodology)

연구는 크게 통계적 분석과 실험적 검증 두 단계로 진행되었습니다.

A. 통계적 분석 (Monte Carlo Permutation Analysis)

데이터: 64 개의 괘로 구성된 주문 서열.
비교 기준: 동일한 64 개 괘를 무작위로 재배열한 100,000 개의 베이스라인.
분석 지표: 해밍 거리 (Hamming distance), 지연 1 차 자기상관 (Lag-1 autocorrelation), 양 (Yang) 균형, 쌍 내/쌍 간 비대칭성 등.
목표: 주문 서열이 무작위나 다른 체계적 서열 (예: 소옹 서열) 과 구별되는 통계적 특성을 가지는지 확인.

B. 실험적 검증 (Neural Network Training)

모델: Karpathy 의 autoresearch 프레임워크를 사용한 소형 GPT 모델 (약 11.5M 파라미터, 4 레이어).
데이터: ClimbMix-400B.
하드웨어: NVIDIA RTX 2060 (PyTorch, torch.compile 사용) 과 Apple Silicon (MLX 프레임워크).
평가 지표: 유효 비트/바이트 (val_bpb, 낮을수록 좋음). 학습 시간은 고정 (300 초).
실험 설계:
1. 학습률 (LR) 스케줄 변조: 주문 서열의 '놀라움 (Surprise)' 값을 학습률에 곱하여 변조.
2. 커리큘럼 순서 재배열: 데이터 배치의 난이도 순서를 주문 서열에 따라 재배치.
3. 시드 민감도 분석: 30 개의 서로 다른 랜덤 시드로 반복 학습하여 자연스러운 변동 범위 확인.

3. 주요 결과 (Key Results)

A. 통계적 특성 확인

주문 서열은 무작위와 구별되는 4 가지 통계적으로 유의미한 특성을 가졌습니다:

무작위보다 높은 전이 거리 (98.2 백분위수): 연속된 괘 간의 비트 변화가 큽니다.
음의 지연 1 차 자기상관 ( $p=0.037$ ): 큰 변화 다음에는 작은 변화가, 작은 변화 다음에는 큰 변화가 오는 규칙적인 교차 패턴이 있습니다.
4 개 그룹별 양 (Yang) 균형 ( $p=0.002$ ): 연속된 4 개의 괘 그룹 내에서 음양 균형이 완벽하게 유지됩니다.
쌍 내/쌍 간 비대칭성 (99.2 백분위수): 짝을 이룬 괘 간에는 차이가 극대화되고, 짝 사이 전이는 부드럽습니다.

B. 신경망 학습 성능 (부정적 결과)

학습률 변조: 주문 서열을 학습률 변조로 사용했을 때, 모든 진폭 (0.15, 0.3, 0.5) 에서 성능이 저하되었습니다. (베이스라인 대비 val_bpb 증가).
커리큘럼 순서:
- CUDA (RTX 2060): 주문 서열은 순차적 (Sequential) 배치를 제외한 모든 비순차적 순서 중 가장 성능이 나빴습니다. (랜덤 셔플이 가장 좋았으나, 이는 프레임워크 최적화 아티팩트일 가능성 있음).
- MLX (Apple Silicon): 모든 순서 간 차이가 통계적 노이즈 범위 내에 있어 유의미한 차이를 보이지 않았습니다.
시드 민감도: 30 회 반복 실험 결과, 무작위 변조나 소옹 서열의 개선 효과는 자연스러운 시드 변동 범위 내에 있었으나, 주문 서열로 인한 성능 저하만 통계적으로 유의미하게 자연 변동 범위를 초과했습니다.

4. 기작 분석 및 논의 (Why it failed)

논문은 주문 서열이 학습에 실패한 원인을 다음과 같이 설명합니다:

과도한 분산 (Excessive Variance): 주문 서열의 높은 분산은 경사 하강법의 업데이트를 불안정하게 만듭니다.
음의 자기상관의 역효과: 최적화 알고리즘이 일관된 진행을 위해 필요한 '시간적 일관성 (Temporal Coherence)'을 방해합니다. 주문 서열은 매 단계가 이전 단계의 강도를 반전시키도록 설계되어 있어, 최적화가 안정적으로 진행되지 못하게 합니다.
적응성 부재: 커리큘럼 학습은 학습자의 상태에 맞춰 적응해야 하지만, 주문 서열은 3 천 년 전의 고정된 순서로 현재 모델의 손실 지형 (Loss Landscape) 에 반응하지 못합니다.
프레임워크 아티팩트: torch.compile 이 순차적 데이터에 최적화되어 있어, 순서 변경이 학습 동역학이 아닌 프레임워크 최적화 패턴으로 인한 결과로 오인될 수 있음을 지적했습니다.

5. 의의 및 기여 (Significance & Contributions)

주문 서열의 통계적 규명: 100,000 번의 몬테카를로 분석을 통해 주문 서열이 단순한 무작위가 아닌, 고유한 4 가지 통계적 구조를 가진다는 것을 수학적으로 입증했습니다.
부정적 결과의 보고: 표면적으로 타당해 보이는 가설 (통계적 특성이 학습에 도움) 이 실제로는 실패함을 엄격하게 검증하여, 유사한 연구 방향이 낭비되는 것을 방지했습니다.
방법론적 통찰: 커리큘럼 학습 실험은 단일 프레임워크가 아닌 여러 플랫폼 (PyTorch vs MLX) 에서 검증해야 하며, 시드 변동성을 고려한 충분한 반복 실험이 필요함을 강조했습니다.
통계적 흥미와 최적화 유용성의 괴리: "통계적으로 흥미로운 구조"가 반드시 "최적화에 유용한 구조"는 아님을 보여주는 사례입니다. 특히 고정된 조합적 구조의 '습관화 방지'는 적응형 학습 동역학과는 다릅니다.

결론적으로, 이 논문은 주역 주문 서열이 가진 고유의 수학적 구조는 인정하면서도, 이를 신경망 학습에 적용하는 것은 오히려 성능을 저하시킨다는 것을 데이터로 입증했습니다. 이는 AI 연구에서 전통적 지식 시스템을 기계학습에 적용할 때, 단순한 통계적 유사성보다는 최적화 역학 (Optimization Dynamics) 에 대한 깊은 이해가 필요함을 시사합니다.