Evaluating the relationship between regularity and learnability in recursive numeral systems using Reinforcement Learning

"강화 학습을 이용한 재귀적 수 체계에서 규칙성과 학습 가능성 간의 관계 평가"라는 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

본 논문은 재귀적 수 체계(예: 영어의 10 진법, 중국어) 를 형성하는 진화적 및 인지적 압력을 조사합니다. 인간의 수 체계는 매우 규칙적이지만, 이론적으로 가능한 시스템은 매우 불규칙할 수 있습니다. 이전 연구 (예: Prasertsom 등, 2026) 는 자연 발생 시스템이 어휘 크기와 형태구문적 복잡성 사이의 균형을 최적화한다고 시사하지만, 규칙성(형식의 재사용) 을 고려하지는 못했습니다.

핵심 연구 질문은 다음과 같습니다: 규칙성이 학습 가능성을 촉진하는가?
저자들은 규칙적인 시스템이 널리 퍼진 이유는 학습이 쉽기 때문이라고 가정합니다. 특히 학습 과제가 제한된 훈련 데이터에서 다양한 정수를 정확하게 표현하기 위해 일반화를 요구할 때 그렇습니다. 저자들은 학습 과정을 시뮬레이션하기 위해 강화 학습 (RL) 에이전트를 사용하여 이를 검증하고자 합니다.

2. 방법론

본 연구는 다양한 수 체계의 학습 가능성을 정량화하기 위해 **단일 에이전트 강화 학습 (RL)**을 사용합니다.

• 작업 구성: 작업은 연속 행동 공간을 가진 컨텍스트 밴딧 문제로 구성됩니다.

  • 입력: 숫자 문자열 (형태소 시퀀스).
  • 출력: 예측된 정수 값 (1–99).
  • 에이전트 아키텍처: 단일 층 LSTM 네트워크. 형태소는 임베딩 (크기 5) 되어 순차적으로 처리되며, 최종 은닉 상태는 스칼라 $\mu \in [0, 1]$을 예측합니다. 이는 가우시안 정책 $N(\mu, \sigma)$의 평균으로 해석됩니다.
  • 보상 함수: 예측된 정수와 목표 정수 간의 거리에 기반한 경계 있고 지수적으로 감소하는 가우시안 함수. 1–99 범위를 벗어난 예측은 보상이 0 입니다.
  • 훈련: 에이전트는 REINFORCE 알고리즘을 사용하여 30,000 에포크 동안 훈련됩니다.
  • 지표: 학습 가능성은 훈련 에포크에 따른 테스트 정확도의 **곡선 아래 면적 (AUC)**으로 측정됩니다. 더 높은 AUC 는 더 빠른 학습을 나타냅니다.

• 시스템 데이터셋: 본 연구는 네 가지 범주의 시스템을 평가합니다:

  1. 인간 시스템: 128 개의 실증된 재귀적 수 체계.
  2. D&S 최적: 어휘 크기/복잡성 균형을 위해 인위적으로 생성된 시스템 (Denić & Szymanik, 2024).
  3. Y&R 최적: 동일한 균형을 위해 최적화되었으나 인간과 유사하도록 제약된 인위적 시스템 (Yang & Regier, 2025).
  4. 무작위 기준: 인간과 유사한 기호를 사용한 300 개의 실증되지 않은 시스템.

• 규칙성 측정: 불규칙성은 해당 시스템의 문법을 생성하는 데 필요한 **최소 결정적 유한 오토마타 (DFA)**의 크기로 정량화됩니다. 이 측정은 DFA 의 전이 테이블, 초기 상태, 수용 상태를 인코딩하는 데 필요한 비트 수를 계산합니다.

• 실험 조건:

  • 실험 1: 훈련 ($p(n)$) 과 테스트 ($q(n)$) 분포 모두 멱함수 법칙 ($n^{-2}$) 을 따르며, 이는 의사소통 빈도 (작은 숫자로의 강한 편향) 를 반영합니다.
  • 실험 2: 훈련은 멱함수 법칙을 따르지만, 테스트는 모든 정수로의 일반화를 평가하기 위해 균일 분포 ($q(n) \propto 1/99$) 를 사용합니다.
  • 실험 3: 어휘 크기와 평균 길이를 고정하고 기존 형태소의 배열만 변경하여 인간 시스템의 "지역적 이웃"에 초점을 맞춰 규칙성의 효과를 격리합니다.

3. 주요 결과

• 실험 1 (멱함수 법칙 훈련 및 테스트):

  • 결과: 규칙성과 학습 가능성 간에 유의미한 상관관계가 없음 ($\beta = -0.020$).
  • 해석: 테스트 분포가 편향된 훈련 분포 (작은 숫자에 집중) 와 일치할 때, 에이전트는 큰 숫자로의 일반화가 필요 없이 높은 정확도를 달성할 수 있습니다. 따라서 규칙성의 구조적 이점은 활용되지 않습니다.

• 실험 2 (멱함수 법칙 훈련, 균일 테스트):

  • 결과: 불규칙성과 학습 가능성 간에 강력한 부적 상관관계가 있음 ($\beta = -0.828$). 매우 규칙적인 인간과 유사한 시스템은 학습이 훨씬 쉽습니다.
  • 해석: 에이전트가 크고 드문 숫자 ("긴 꼬리") 로 일반화해야 할 때, 규칙적인 시스템은 에이전트가 학습된 하위 부분 (형태소/규칙) 을 효율적으로 재사용할 수 있게 합니다. 불규칙한 시스템은 이러한 재사용 가능한 패턴을 제공하지 못합니다.
  • 지역적 규칙성: "지역적 규칙성" 지표 (연속된 숫자 범위 내의 규칙성, 예: 30 대, 40 대) 를 도입하면 상관관계가 더욱 개선되어, 전역적 기저는 불일치하지만 지역적 범위는 일관된 프랑스어와 같은 이상치를 설명합니다.

• 실험 3 (지역적 이웃):

  • 결과: 고정된 어휘 크기와 길이를 가진 특정 시스템 계열 내에서, 30 개의 이웃 중 21 개에서 불규칙성과 학습 가능성 간에 부적 상관관계가 나타났습니다.
  • 미묘한 차이: 매우 불규칙한 시스템 (무작위 기준) 의 경우, 규칙성은 학습 가능성에 거의 영향을 미치지 않았습니다. 대신 **형태구문적 복잡성 (길이)**이 지배적인 요인이 되었으며, 규칙성과 관계없이 더 긴 형태는 기억하기 어려웠습니다.

4. 주요 기여

1. 학습 가능성 대리 변수로서의 RL: 강화 학습 에이전트가 언어 체계의 학습 가능성, 특히 규칙성과 일반화 간의 균형을 효과적으로 모델링할 수 있음을 입증했습니다.
2. 일반화의 역할: 규칙성과 학습 가능성 간의 연결이 조건부임을 확립했습니다. 규칙성은 학습 과제가 직접적인 훈련 분포를 넘어 (즉, 빈번한 작은 숫자에서 드문 큰 숫자로) 일반화를 요구할 때만 학습 가능성 이점을 제공합니다.
3. 복잡성 지표의 정제: "불규칙성"이 학습 가능성의 단일 예측 변수가 아님을 보였습니다. 매우 불규칙한 시스템에서는 길이/복잡성이 지배하는 반면, 규칙적인 시스템에서는 구조적 규칙성이 지배합니다.
4. 지역적 대 전역적 규칙성: 연속된 범위 내의 일관성인 지역적 규칙성 개념을 학습 가능성의 핵심 요소로 도입하여, 혼합된 기저를 가진 시스템 (예: 프랑스어) 이 왜 여전히 학습 가능할 수 있는지 설명했습니다.

5. 중요성과 함의

• 언어의 진화: 연구 결과는 규칙적인 수 체계의 언어 간 보편성이 학습 가능성 압력, 특히 가장 빈번하게 사용되는 것뿐만 아니라 모든 정수를 표현하기 위해 세대를 거쳐 지식을 효율적으로 전달해야 할 필요성에 의해 주도된다는 가설을 지지합니다.
• 인지 모델링: 본 연구는 인간의 수 학습이 유사한 일반화 메커니즘에 의존할 가능성을 시사합니다. 이전의 인간 실험 (Holt & Barner, 2025) 과의 불일치는 특정 실험 설계에서 큰 숫자로의 일반화에 대한 압력이 부족했기 때문으로 귀결됩니다.
• 향후 방향: 저자들은 세세한 노출 (sequential exposure) 을 통한 계산 Routine 이 인간 학습에서 큰 숫자의 빈도를 인위적으로 높여 일반 규칙의 추출을 촉진할 수 있다고 제안합니다. 또한 학습 가능성은 가설 공간의 다른 영역에서 다른 복잡성 요소 (길이 대 규칙성) 가 지배하는 다차원 공간임을 시사합니다.

결론적으로, 이 논문은 규칙성이 수 체계의 적응적 특징이라는 계산적 증거를 제공하며, 제한된 데이터에서 보편적인 정수 집합으로의 견고한 일반화를 가능하게 하기 때문에 선택되었다고 주장합니다.