Neural Prime Sieves: Density-Driven Generalization and Empirical Evidence for Hardy-Littlewood Asymptotics

이 논문은 "Neural Prime Sieves: Density-Driven Generalisation and Empirical Evidence for Hardy–Littlewood Asymptotics" (신경망 체: 밀도 기반 일반화 및 Hardy-Littlewood 점근식에 대한 실증적 증거) 으로, 기계 학습을 사용하여 소수 (Prime) 의 특정 가족 (Prime Families) 을 식별하고, 훈련 범위를 훨씬 넘어선 극단적인 규모에서도 Hardy-Littlewood 추측과 일치하는 점근적 밀도 경향을 학습할 수 있음을 입증한 연구입니다.

다음은 이 논문의 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem Statement)

• 배경: 소수 가족 (쌍둥이 소수, Sophie Germain 소수, 안전 소수, 사촌 소수, 섹시 소수, Chen 소수, 고립된 소수 등) 은 해석적 수론의 핵심 대상입니다. 그러나 대규모 소수 스트림에서 이러한 가족의 구성원을 식별할 수 있는 효율적인 확률적 필터는 존재하지 않았습니다.
• 기존 한계:
  • 고전적인 체 (Sieve) 알고리즘은 합성수를 제거하지만, 공약수 후보에 확률 가중치를 부여하지 않습니다.
  • 기존 머신러닝 접근법은 소수 지시 시퀀스 (prime indicator sequence) 의 알고리즘적 무작위성으로 인해 근본적인 한계에 부딪혔습니다. (예: Kolpakov 와 Rocke 의 연구에 따르면, 임의의 정수에서 소수를 예측하는 것은 우연 수준에 머무름)
  • 기존 연구들은 주로 훈련 데이터 범위 내에서만 테스트되었으며, 훈련 범위 (예: $10^7 \sim 10^9$) 를 훨씬 넘어선 극단적인 규모 (예: $10^{16}$) 로의 일반화 가능성은 검증되지 않았습니다.
• 연구 목표:
  1. 순방향 이웃 정보 (forward neighbourhood) 를 전혀 제공받지 않는 인과적 (causal) 특징만을 사용하여 7 가지 소수 가족에 대한 신뢰할 수 있는 확률적 필터를 학습할 수 있는가?
  2. 훈련 범위를 9 개 차수 (orders of magnitude) 이상 넘어선 평가 규모에서 모델의 일반화 방향이 Hardy-Littlewood 소수 군집 밀도 점근성 (asymptotics) 과 일치하는가?

2. 방법론 (Methodology)

2.1 데이터 및 특징 표현 (Feature Representation)

• 입력: 알려진 소수 $p$에 대해 **후방 소수 간격 (backward gap, $g_-$)**과 **소수계 (primorial) 모듈로 잔여물 (modular primorial residues)**을 입력으로 사용합니다.
• 인과성 제약 (Causality Constraint): 모델은 미래의 소수 ($p_+$) 에 대한 정보 (예: $p+2$가 소수인지) 를 절대 알 수 없습니다. 이는 데이터 누출을 방지하고 순수한 수학적 구조 학습을 강제합니다.
• 특징 벡터 ($x(p)$): 25 차원 벡터로 구성됨.
  • A (Primorial residues): $p \pmod{30, 210, 2310}$ 등의 정규화된 잔여물. 이는 소수 가족의 존재를 결정론적으로 제한하는 핵심 필터 역할을 합니다.
  • B (Small prime residues): 작은 소수들 (2~37) 에 대한 잔여물.
  • C (Backward gap): $p - p_-$ (후방 간격).
  • D, E, F: 규모 (scale), 자릿수 (digit), 확장 모듈로 특징 등.
• 비인과적 제어 모델 (Non-causal Control): 후방 간격 대신 전방 간격 ($g_+$) 정보를 포함하는 모델을 만들어 예측 상한선 (upper bound) 을 설정하고 인과적 추론의 비용을 정량화했습니다.

2.2 네트워크 아키텍처 (PRIMEFAMILYNET)

• 구조: 멀티헤드 잔여 신경망 (Multi-head Residual MLP).
• 파라미터: 약 125 만 개.
• 출력: 7 개의 독립적인 시그모이드 (sigmoid) 헤드로, 각 소수 가족에 대한 소속 확률 ($0 \sim 1$) 을 출력합니다.
• 훈련 데이터: $10^7$부터 $10^9$까지의 20 만 개의 소수.
• 평가 데이터: 훈련 범위를 벗어난 $10^{10}, 10^{12}, 10^{14}, 10^{16}$에서 생성된 10 만 개 이상의 소수 (Out-of-Distribution, OOD).

2.3 손실 함수 비교 (Loss Functions)

• Frequency-weighted BCE (wBCE): 클래스 불균형을 보정하기 위해 양수 클래스에 가중치를 부여.
• Focal Loss: 쉽게 분류된 샘플의 그래디언트를 감소시킴.
• Asymmetric Loss (ASL): 쉬운 음수 샘플을 강력하게 억제하고 어려운 양수 샘플의 그래디언트를 유지.

3. 주요 결과 (Key Results)

3.1 고립된 소수 (Isolated Primes) 의 단조 일반화

• 가장 중요한 발견: 7 가지 소수 가족 중 **고립된 소수 (Twin prime 가 아닌 소수)**만 훈련 규모 ($10^9$) 를 넘어 평가 규모 ($10^{16}$) 로 갈수록 재현율 (Recall) 이 지속적으로 향상되었습니다.
  • $5 \times 10^8$에서 0.809 $\rightarrow$ $10^{16}$에서 0.984 로 증가 (17.5%p 향상).
• 이유: Hardy-Littlewood 추측에 따르면, 소수 간격이 커질수록 쌍둥이 소수의 밀도는 $1/(\log N)^2$로 감소하고, 전체 소수 중 고립된 소수의 비율은 증가합니다.
• 의미: 모델은 밀도 레이블을 받지 않았음에도 불구하고, 쌍둥이 소수의 밀도 감소에 따라 고립된 소수를 구별하는 결정 경계 (decision boundary) 가 자연스럽게 날카로워짐을 학습했습니다. 이는 클래스 불균형의 기계적 결과가 아니라, 인과적 특징이 수학적 구조를 올바르게 포착했음을 의미합니다.

3.2 Chen 소수에서의 인과적 우위

• Chen 소수 ($p+2$가 소수이거나 두 소수의 곱인 경우) 의 경우, 인과적 모델이 비인과적 모델 (전방 간격 정보 포함) 보다 모든 규모에서 더 높은 재현율을 보였습니다.
• 이유: 전방 간격 $g_+=2$는 $p+2$가 소수인 경우만 나타내지만, Chen 소수의 정의에는 $p+2$가 반소수 (semiprime) 인 경우도 포함됩니다. 소수계 잔여물 (primorial residues) 은 두 경우 모두를 포착하는 모듈로 제약을 제공하므로, 전방 간격 정보보다 더 일반화된 표현을 학습했습니다.

3.3 손실 함수의 일반화 성능

• Focal Loss: 희귀한 대수적 소수 가족 (Sophie Germain, 안전 소수) 에서 재현율이 0 으로 추락하여 실패했습니다.
• Asymmetric Loss (ASL): 훈련 데이터 내 (In-distribution) 에서는 최고의 성능을 보였으나, 규모가 커지는 OOD 환경에서는 재현율이 급격히 떨어졌습니다.
• Frequency-weighted BCE (wBCE): 훈련 데이터 내에서는 ASL 보다 낮았으나, 규모 일반화 (Scale Generalisation) 측면에서 가장 강력하고 안정적인 성능을 보였습니다. 이는 분포 이동 (distribution shift) 이 있는 희귀 클래스 예측 작업에서는 단순한 훈련 내 재현율이 모델 선택의 잘못된 기준이 될 수 있음을 시사합니다.

3.4 재현성 및 안정성

• 3 개의 서로 다른 시드 (seed) 에서 훈련한 모델들의 재현율 분산은 매우 낮았습니다 ($\sigma < 0.007$). 이는 모델이 특정 초기화 우연성이 아닌, 특징 공간의 구조적 속성을 학습했음을 보여줍니다.

4. 기여 및 의의 (Contributions & Significance)

1. 밀도 기반 일반화 (Density-Driven Generalisation) 의 실증:

   • 머신러닝 모델이 명시적인 점근식 (asymptotic formula) 없이도, 소수 군집의 밀도 변화 경향 (Hardy-Littlewood 점근성) 을 자동으로 학습하고 추론할 수 있음을 처음으로 입증했습니다.
   • 특히 고립된 소수의 재현율 향상은 모델이 단순한 통계적 패턴이 아닌, 수학적 구조를 이해했음을 보여주는 강력한 증거입니다.

2. 인과적 특징의 우월성:

   • 미래 정보를 알지 못하는 순전히 인과적인 특징 (후방 간격, 모듈로 잔여물) 만으로도 소수 체 (Sieve) 이론을 근사할 수 있으며, 오히려 Chen 소수처럼 복잡한 조건에서는 전방 정보를 가진 모델보다 더 나은 성능을 낼 수 있음을 보였습니다.

3. 손실 함수 설계에 대한 통찰:

   • 분포 이동이 있는 희귀 클래스 문제에서는 Focal Loss 나 ASL 과 같이 그래디언트를 과도하게 조절하는 손실 함수가 OOD 성능을 저하시킬 수 있음을 경고했습니다. 빈도 가중 BCE 가 이러한 작업에 더 적합함을 제안했습니다.

4. 계산적 수론과 AI 의 융합:

   • 이 연구는 기계 학습이 수론의 추측을 검증하는 새로운 도구로 활용될 수 있음을 보여주며, 소수 예측의 새로운 패러다임을 제시합니다.

5. 결론

이 논문은 심층 잔여 신경망이 소수계 잔여물과 후방 간격과 같은 인과적 특징을 기반으로 소수 체 이론을 독립적으로 근사하고, 훈련 범위를 훨씬 넘어선 극단적인 규모에서도 Hardy-Littlewood 점근적 밀도 경향을 정확하게 일반화할 수 있음을 입증했습니다. 특히 고립된 소수의 재현율이 규모에 따라 향상되는 현상은 모델이 소수의 밀도 구조를 학습했음을 의미하며, 이는 데이터 기반 모델이 수학적 추측을 검증하는 실증적 증거가 될 수 있음을 보여줍니다.