Neural Prime Sieves: Density-Driven Generalization and Empirical Evidence for Hardy-Littlewood Asymptotics

1. Il Problema e il Contesto

Il lavoro affronta una sfida fondamentale nella teoria dei numeri computazionale: la previsione probabilistica dell'appartenenza a famiglie speciali di numeri primi (come primi gemelli, di Sophie Germain, sicuri, cugini, sexy, di Chen e isolati) partendo da una sequenza di primi noti.

• Limiti degli approcci precedenti: I metodi classici (setacci) eliminano i composti ma non assegnano pesi probabilistici ai candidati. Gli approcci di machine learning precedenti hanno fallito perché tentavano di prevedere la primalità di interi arbitrari, un problema limitato dalla casualità algoritmica della sequenza degli indicatori di primalità (teorema di Kolmogorov), ottenendo tassi di veri positivi prossimi allo zero.
• L'obiettivo specifico: Dimostrare che una rete neurale, addestrata esclusivamente su dati causali (senza accesso al "futuro" o al primo successivo), può imparare filtri probabilistici affidabili per sette famiglie di primi contemporaneamente e generalizzare su nove ordini di grandezza oltre il range di addestramento ($10^7 - 10^9$), fino a scale estreme di $10^{16}$.

2. Metodologia

2.1 Rappresentazione delle Caratteristiche (Feature Engineering)

Il modello, denominato PRIMEFAMILYNET, utilizza un vettore di caratteristiche strettamente causale, basato solo sulla storia della sequenza fino al primo $p$ corrente, senza mai accedere al primo successivo $p_+$.
Il vettore di input ($x \in \mathbb{R}^{25}$) include:

• Residui Primoriali: Residui normalizzati di $p$ modulo 6, 30, 210, 2310. Queste sono le informazioni chiave che codificano i vincoli modulari della struttura dei primi.
• Residui su Primi Piccoli: Residui modulo i primi fino a 37.
• Gap Indietro: La differenza tra $p$ e il suo predecessore $p_-$, normalizzata.
• Caratteristiche di Scala e Cifre: Logaritmi della scala e proprietà delle cifre decimali.
• Vincolo di Causalità: Un modello di controllo "non causale" è stato addestrato includendo il gap in avanti ($g_+ = p_+ - p$) per stabilire un limite superiore teorico di prestazione e quantificare il "costo della causalità".

2.2 Architettura del Modello

• Struttura: Una rete neurale residua multi-testa (Multi-head Residual Network) con 1,25 milioni di parametri.
• Input/Output: Riceve il vettore causale e produce 7 probabilità indipendenti (una per ogni famiglia di primi) tramite testate sigmoidali.
• Addestramento: Addestrato su 200.000 primi nel range $[10^7, 10^9]$.
• Funzioni di Perdita: È stato condotto uno studio sistematico comparando:
  • Binary Cross-Entropy pesata per frequenza (wBCE).
  • Focal Loss.
  • Asymmetric Loss (ASL).

3. Risultati Chiave

3.1 Generalizzazione Monotona Guidata dalla Densità (Il Risultato Principale)

La scoperta più significativa riguarda i primi isolati (primi che non fanno parte di una coppia di primi gemelli).

• Trend Inverso: Mentre la frazione di recall per la maggior parte delle famiglie (es. primi gemelli) diminuiva all'aumentare della scala (come previsto dalla congettura di Hardy-Littlewood), il recall per i primi isolati è aumentato monotonicamente.
• Dati: Il recall è passato da 0,809 a $5 \times 10^8$ a 0,984 a $10^{16}$, un miglioramento di 17,5 punti percentuali.
• Significato: Poiché il recall è un rapporto intra-classe e non dipende dalla prevalenza della classe, questo miglioramento non è un artefatto statistico dovuto all'aumento della proporzione di primi isolati nella popolazione. Dimostra che il modello ha affinato i suoi confini decisionali basandosi su caratteristiche modulari invarianti alla scala, imparando implicitamente la traiettoria asintotica prevista dalla teoria dei numeri senza ricevere etichette di densità.

3.2 Il Costo della Causalità e il Caso Chen

• Modelli Non Causali: Il modello che vedeva il futuro (gap in avanti) otteneva un recall perfetto (1,0) per le famiglie definite dal gap (es. gemelli, isolati).
• Modelli Causali: Il modello causale ha raggiunto prestazioni molto vicine al limite superiore (es. 0,984 per gli isolati a $10^{16}$), dimostrando che i residui primoriali contengono informazioni sufficienti per inferire la struttura del vicinato futuro.
• Caso dei Primi di Chen: Per i primi di Chen (dove $p+2$ è primo o semiprimo), il modello causale ha superato il modello non causale a tutte le scale, con un vantaggio che cresce fino a +0,245 a $10^{16}$. Questo perché il gap in avanti ($g_+=2$) codifica solo il caso "primo", mentre i residui primoriali catturano sia il caso primo che quello semiprimo, fornendo una rappresentazione più generale.

3.3 Confronto delle Funzioni di Perdita

• Focal Loss: Ha fallito catastroficamente per le famiglie sparse definite da trasformazioni lineari (Sophie Germain e primi sicuri), riducendo il recall a 0,000 a tutte le scale.
• Asymmetric Loss (ASL): Ha ottenuto il miglior recall in-distribution (sui dati di validazione), ma è collassato drasticamente out-of-distribution (OOD) alle scale estreme.
• Weighted BCE (wBCE): Ha mostrato la maggiore robustezza nella generalizzazione OOD, mantenendo recall non nulli per tutte le famiglie anche a $10^{16}$.
• Conclusione: Il recall in-distribution è un criterio ingannevole per la selezione di modelli destinati alla generalizzazione su scala.

3.4 Riproducibilità

Lo studio su tre semi diversi ha mostrato una varianza estremamente bassa ($\sigma < 0,007$) per il recall in-distribution, confermando che i confini appresi sono proprietà strutturali dello spazio delle caratteristiche e non artefatti dell'inizializzazione casuale.

4. Contributi e Significato

1. Prima Evidenza Empirica ML per Asintotiche di Hardy-Littlewood: Il lavoro fornisce la prima conferma empirica basata sul machine learning che una rete neurale, addestrata senza conoscenza esplicita delle formule asintotiche, apprende e riproduce le traiettorie di densità previste dalla teoria dei numeri (in particolare la diminuzione della densità dei primi gemelli e l'aumento dei primi isolati).
2. Approssimazione del Setaccio dei Primi: Dimostra che le reti neurali profonde possono approssimare la teoria dei setacci dei primi partendo esclusivamente da caratteristiche aritmetiche causali, codificando la struttura delle costellazioni di primi.
3. Implicazioni per la Progettazione di Loss Function: Evidenzia che per problemi con spostamento di distribuzione (distribution shift) legato alla densità delle classi, funzioni di perdita aggressive come Focal Loss o ASL possono portare a modelli fragili, mentre approcci più semplici come la BCE pesata offrono una migliore generalizzazione.
4. Nuovo Paradigma di Previsione: Sposta il focus dalla previsione della primalità di interi arbitrari (impossibile) alla previsione strutturata di relazioni aritmetiche tra primi noti, un problema ben definito e risolvibile.

In sintesi, il paper stabilisce che le reti neurali possono "imparare" la teoria dei numeri analitica attraverso l'osservazione di pattern modulari, generalizzando con successo ben oltre i dati di addestramento e fornendo una nuova prospettiva computazionale sulle congetture fondamentali sulla distribuzione dei numeri primi.