IntSeqBERT: Learning Arithmetic Structure in OEIS via Modulo-Spectrum Embeddings

Il paper presenta IntSeqBERT, un modello Transformer duale che integra embedding di scala logaritmica e modulo per apprendere la struttura aritmetica delle sequenze intere dell'OEIS, ottenendo prestazioni superiori nella previsione dei termini rispetto ai modelli basati su tokenizzazione standard grazie a un approccio ibrido che combina regressione, classificazione e un risolutore probabilistico basato sul Teorema Cinese del Resto.

L'essenziale

Immagina di avere un libro magico chiamato OEIS (l'Enciclopedia Online delle Sequenze di Numeri Intieri). Questo libro contiene quasi 400.000 storie matematiche, dove ogni storia è una lista di numeri che seguono una regola segreta. Alcuni numeri sono piccoli (come 1, 2, 3), altri sono mostruosi (come il fattoriale di un numero astronomico, qualcosa di più grande dell'universo osservabile).

Il problema? I computer normali, quando cercano di leggere questi numeri, usano un "alfabeto" limitato. È come se dovessi leggere un libro in cui, se incontri una parola che non è nel tuo dizionario, la sostituisci con un punto interrogativo. Se il numero è troppo grande, il computer va in tilt e non capisce più la storia.

Gli autori di questo paper hanno creato un nuovo "super-cervello" chiamato IntSeqBERT per risolvere questo problema. Ecco come funziona, spiegato con parole semplici:

1. Il Problema: Numeri Giganti e Regole Nascoste

I numeri nelle sequenze hanno due caratteristiche principali:

• La grandezza: Quanto sono grandi? (Un numero piccolo o un numero che riempie l'universo).
• Il ritmo: Hanno una struttura nascosta? (Ad esempio, sono tutti pari? Quando li dividi per 3, il resto è sempre 1?).

I vecchi modelli di intelligenza artificiale guardavano solo i numeri come "parole" separate. Se il numero era troppo grande, non lo riconoscevano. Inoltre, faticavano a capire le regole matematiche nascoste (come la parità o i cicli) perché le vedevano solo come sequenze di simboli, non come numeri veri.

2. La Soluzione: IntSeqBERT (Il Detective a Due Occhi)

IntSeqBERT è come un detective che indossa due tipi di occhiali contemporaneamente per guardare ogni numero:

• Occhio 1 (La Grandezza): Guarda il numero come se fosse su una scala logaritmica. Invece di contare "uno, due, tre...", guarda "quanto è grande" in modo fluido. Questo gli permette di capire se un numero è piccolo o astronomico senza andare in confusione.
• Occhio 2 (Il Ritmo/Modulo): Questo è il trucco geniale. Invece di guardare il numero intero, lo guarda attraverso "filtri" diversi. Immagina di guardare un numero attraverso 100 occhiali colorati diversi, dove ogni occhiale ti dice solo il "resto" della divisione (ad esempio: "è pari?", "diviso per 5 dà resto 2?").
  • Questo è come ascoltare una melodia non guardando le note singole, ma ascoltando l'armonia e il ritmo di fondo.

Questi due "occhi" lavorano insieme. L'occhio del ritmo aiuta a correggere e affinare la visione dell'occhio della grandezza, proprio come un orologiaio usa un microscopio per capire come ingranano i denti di un ingranaggio gigante.

3. Come Impara (Il Gioco del "Cosa Manca?")

Per imparare, l'IA gioca a un gioco chiamato "Mascheramento". Prende una sequenza di numeri, ne nasconde alcuni (come se fossero buchi neri) e deve indovinare quali numeri mancavano basandosi su quelli che vede intorno.

• Deve indovinare: "Quanto è grande il numero mancante?", "È positivo o negativo?", e "Qual è il suo resto se diviso per 2, 3, 4... fino a 101?".

4. Il Risultato: Un Salto Quantico

I risultati sono stati sorprendenti:

• Precisione: IntSeqBERT indovina i numeri mancanti molto meglio dei vecchi modelli, specialmente quando i numeri diventano enormi.
• Il "Solutore": Alla fine, l'IA non si limita a dare una stima vaga. Usa un metodo matematico antico (il Teorema Cinese del Resto) per ricomporre i pezzi del puzzle e scrivere il numero esatto. È come se, dopo aver indovinato il ritmo e la grandezza, riuscisse a ricostruire l'intero oggetto rotto.
• Confronto: Rispetto ai vecchi modelli, IntSeqBERT è 7,4 volte più bravo a prevedere il prossimo numero in una sequenza. È la differenza tra un bambino che indovina a caso e un maestro di scacchi che vede 10 mosse avanti.

5. La Scoperta Curiosa

Analizzando i dati, gli scienziati hanno scoperto una cosa affascinante: i numeri composti (quelli che hanno molti divisori, come 60 o 96) sono i "filtri" migliori per capire la struttura matematica nascosta. È come se i numeri con molti "ingranaggi" interni rivelassero più segreti rispetto ai numeri primi.

In Sintesi

IntSeqBERT è un nuovo modo per insegnare alle macchine a "pensare" ai numeri non come a parole statiche, ma come a entità dinamiche con una grandezza e un ritmo. È un passo avanti fondamentale per far sì che l'intelligenza artificiale possa davvero aiutare i matematici a scoprire nuove leggi dell'universo, anche quando i numeri diventano troppo grandi per essere scritti su un foglio di carta.

Sommario tecnico

1. Il Problema

Il lavoro affronta la sfida di modellare e prevedere sequenze di interi tratte dall'OEIS (On-Line Encyclopedia of Integer Sequences). Le sequenze dell'OEIS presentano un'eterogeneità estrema: i valori possono variare da costanti a una singola cifra fino a fattoriali ed esponenziali astronomici.

I modelli standard basati su tokenizzazione (come i Transformer classici) falliscono in questo contesto per tre motivi principali:

1. Fuori vocabolario (OOV): Non possono gestire valori interi che esulano dal loro vocabolario fisso di token.
2. Struttura aritmetica opaca: L'identificazione dei token non cattura intrinsecamente le relazioni aritmetiche (come la periodicità o le proprietà modulari).
3. Scalabilità: La tokenizzazione si rompe quando si affrontano numeri con ordini di grandezza molto diversi all'interno dello stesso corpus di addestramento.

L'obiettivo è sviluppare un modello capace di apprendere le leggi aritmetiche e combinatorie che governano queste sequenze, superando i limiti dei benchmark precedenti come FACT.

2. Metodologia: IntSeqBERT

Gli autori propongono IntSeqBERT, un encoder Transformer a doppio flusso (dual-stream) progettato specificamente per la modellazione mascherata di sequenze di interi. Invece di tokenizzare gli interi, ogni elemento della sequenza viene codificato lungo due assi complementari:

• Flusso di Magnitudine (Magnitude Stream):

  • Utilizza un embedding continuo su scala logaritmica del valore assoluto ($1 + \log_{10}|x_i|$).
  • Include una rappresentazione one-hot del segno ($+, -, 0$).
  • Questo flusso cattura il comportamento di crescita e la scala del numero.

• Flusso Modulare (Modulo Stream):

  • Codifica i residui dell'intero modulo 100 diversi ($m \in \{2, 3, \dots, 101\}$).
  • Utilizza embedding seno/coseno ($\sin(2\pi r/m), \cos(2\pi r/m)$) per ogni residuo, garantendo invarianza rispetto alla struttura del gruppo ciclico e evitando discontinuità ai bordi di wrap-around.
  • Questo flusso cattura la periodicità e la struttura teorico-numerica (es. parità, residui quadratici).

• Fusione tramite FiLM:

  • I due flussi vengono fusi utilizzando FiLM (Feature-wise Linear Modulation). L'embedding modulare genera parametri di scala ($\gamma$) e spostamento ($\beta$) che modulano l'embedding di magnitudine. Questo permette al modello di usare le informazioni modulari per vincolare e raffinare la stima della magnitudine.

• Obiettivo di Addestramento e Solver:

  • Il modello è addestrato su un obiettivo multi-task: regressione della magnitudine, classificazione del segno e previsione di 100 classi modulari.
  • Per recuperare il valore intero esatto dalle previsioni (magnitudine, segno, distribuzione dei residui), viene utilizzato un Solver basato sul Teorema Cinese del Resto (CRT). Il Solver genera candidati interi e li classifica in base alla coerenza con le previsioni probabilistiche del modello.

3. Contributi Chiave

1. Architettura IntSeqBERT: Un Transformer a doppio flusso che fonde embedding di magnitudine continua e aritmetica modulare. A scala "Large" (91.5M parametri), supera i baseline tokenizzati di +8.9 punti in accuratezza della magnitudine e +4.5 punti in accuratezza modulare media (MMA).
2. Miglioramento nella Predizione: L'approccio basato su IntSeqBERT porta a un miglioramento di 7.4 volte nella predizione del termine successivo (Top-1: 19.09% vs 2.59% del baseline) grazie al Solver CRT.
3. Scoperta Teorico-Numérica: L'analisi dello spettro modulare rivela una forte correlazione negativa ($r = -0.851$) tra il Normalized Information Gain (NIG) e il rapporto di Eulero $\phi(m)/m$. Questo dimostra empiricamente che i moduli composti (con molti fattori primi) catturano la struttura aritmetica delle sequenze OEIS in modo più efficiente rispetto ai primi, grazie all'aggregazione tramite CRT.
4. Comportamento di Scalabilità: L'accuratezza modulare e del Solver migliorano molto più drasticamente all'aumentare delle dimensioni del modello rispetto all'accuratezza della sola magnitudine, suggerendo che il ragionamento aritmetico beneficia in modo sproporzionato di una maggiore capacità rappresentativa.

4. Risultati Sperimentali

Il modello è stato valutato su 274.705 sequenze dell'OEIS su tre dimensioni (Small, Middle, Large) utilizzando una singola GPU consumer (RTX 3070 Ti).

• Accuratezza della Magnitudine: IntSeqBERT (Large) raggiunge il 95.85% di accuratezza, contro l'86.97% del baseline tokenizzato. Il vantaggio è cruciale per i numeri grandi, dove il baseline fallisce catastroficamente (MSE 2.10 vs 0.162) a causa dei token "UNK" per i valori fuori vocabolario.
• Accuratezza Modulare (MMA): Raggiunge il 50.38%. L'ablazione del flusso modulare causa un crollo di 15.2 punti, confermando l'importanza critica di questo componente.
• Predizione del Termine Successivo (Solver):
  • IntSeqBERT (Large): 19.09% (Top-1).
  • Baseline Vanilla: 2.59% (Top-1).
  • Il modello mantiene accuratezza significativa anche per numeri fino a $10^5$, mentre il baseline crolla a 0$10^2$.
• Analisi dei Moduli: I moduli composti come $m=96$ e $m=60$ mostrano i valori NIG più alti, confermando l'ipotesi che i moduli con molti fattori primi aggregano più informazioni strutturali.

5. Significato e Implicazioni

Questo lavoro stabilisce nuove fondamenta rappresentazionali per l'apprendimento automatico sulle sequenze di interi. Dimostra che:

• La tokenizzazione standard è inadeguata per la matematica che coinvolge numeri arbitrariamente grandi.
• L'integrazione esplicita di feature ingegnerizzate basate sulla teoria dei numeri (spettro modulare) permette ai modelli di trasformatori di "scoprire" e sfruttare leggi aritmetiche complesse (come la struttura moltiplicativa) molto più efficientemente rispetto all'apprendimento puro dai token.
• L'approccio ibrido (embedding continui + vincoli modulari + Solver CRT) offre una via praticabile per la previsione di termini in sequenze matematiche, aprendo la strada a futuri sistemi di scoperta di congetture matematiche e generazione di ipotesi.

In sintesi, IntSeqBERT non è solo un modello di linguaggio migliorato, ma un sistema che incorpora la conoscenza matematica strutturale direttamente nel suo processo di apprendimento, superando i limiti fondamentali dei modelli basati puramente su tokenizzazione.