Classification of integers based on residue classes via modern deep learning algorithms

Sintesi Tecnica: Classificazione degli Interi Basata sulle Classi di Residuo tramite Algoritmi di Deep Learning Moderni

Enunciato del Problema
Lo studio investiga la capacità dei moderni sistemi di apprendimento automatico di classificare gli interi in base alle loro classi di residuo quando divisi per piccoli numeri primi (specificamente $p=2, 3, 7$ e fino a $31$). Mentre gli esseri umani possono facilmente determinare la parità (mod 2) o applicare regole della somma delle cifre per la divisibilità per 3, gli autori postulano che questo compito rappresenti una sfida non banale per i computer, in particolare per i sistemi di Intelligenza Artificiale che si aspettano di discernere autonomamente schemi matematici senza regole progettate dall'uomo. La domanda centrale è se le architetture di deep learning allo stato dell'arte, le piattaforme di Automated Machine Learning (AutoML) e i Large Language Models (LLM) possano apprendere efficacementamente queste regole di divisibilità dai dati grezzi o se si affidino fondamentalmente a feature progettate dall'uomo.

Metodologia
Gli autori hanno condotto una valutazione completa attraverso quattro distinte categorie metodologiche utilizzando uno spazio campionario di interi non negativi fino a $2^{32}-1$.

1. Reti Neurali Profonde (DNN): Lo studio ha testato Reti Neurali Artificiali (ANN), Reti Neurali Convoluzionali (CNN), Reti Neurali Ricorrenti (RNN) e Bidirectional Encoder Representations from Transformers (BERT).

   • Ingegneria delle Caratteristiche (Feature Engineering): Un componente critico della metodologia è stata l'applicazione sistematica di varie rappresentazioni delle caratteristiche per l'intero in input. Queste includevano:
     • Valori interi grezzi.
     • Rappresentazioni binarie e in base tre.
     • Codifiche N-gram (One-gram, Two-gram, Three-gram e combinazioni di essi) trattando le cifre come sequenze.
     • Codifiche potenziate che incorporano la somma delle cifre o la somma delle cifere modulo $p$ (specificamente per $p=3$).
   • Architettura: L'ANN utilizzata ha una struttura semplice a due strati (64 e 32 neuroni). Le CNN hanno utilizzato strati di convoluzione 1D e max-pooling. Le RNN hanno impiegato un singolo strato LSTM. I modelli BERT sono stati perfezionati per la classificazione di sequenze.

2. Automated Machine Learning (AutoML): Gli autori hanno valutato pipeline da Amazon (AWS Sagemaker), Google (Vertex AI) e Microsoft (Azure ML Studio). Queste piattaforme sono state testate con dati grezzi e varie caratteristiche ingegnerizzate per determinare se potessero selezionare autonomamente modelli e caratteristiche ottimali.

3. Regressione di Serie di Fourier: È stato proposto un approccio matematico innovativo che utilizza la regressione lineare su vettori di base di serie di Fourier. Per un dato modulo $p$, l'input $x$ viene trasformato in vettori seno e coseno: $\sin(2\pi j x / p)$ e $\cos(2\pi j x / p)$ per $j=1, \dots, \lfloor p/2 \rfloor$. La regressione Ordinary Least Squares (OLS) è stata utilizzata per adattare le etichette, con le predizioni arrotondate all'intero più vicino.

4. Large Language Models (LLM): Lo studio ha valutato le capacità di ragionamento matematico di modelli open-source (GPT-J-6B, LLaMA-7B, Falcon-40B) e modelli closed-source (ChatGPT, GPT-4 con code interpreter). I prompt sono stati progettati per sollecitare spiegazioni delle regole di divisibilità o la progettazione di algoritmi per risolvere il problema della classificazione.

Risultati Chiave

• Dipendenza dallo Spazio delle Caratteristiche: Le prestazioni di tutti i modelli di deep learning dipendevano criticamente dallo spazio delle caratteristiche in input.

  • Mod 2: I dati grezzi hanno prodotto un'accuratezza vicina al caso casuale (~0.5). La rappresentazione binaria ha raggiunto un'accuratezza di 1.000. Le codifiche N-gram hanno migliorato l'accuratezza a ~0.8.
  • Mod 3: I dati grezzi e le semplici codifiche N-gram hanno performato scarsamente. Tuttavia, l'incorporazione della "somma delle cifre" o della "somma delle cifre modulo 3" nel vettore delle caratteristiche ha permesso ai modelli di raggiungere un'alta accuratezza (>0.9).
  • Specifiche di BERT: BERT ha raggiunto un'accuratezza di 1.000 con la codifica "One-gram + sum", ma è fallito (~0.33) con la sola codifica "One-gram". Gli autori attribuiscono ciò allo spazio di embedding pre-addestrato di BERT, che probabilmente cattura la natura ricorsiva delle somme delle cifre, mentre altre reti trattavano la somma come un valore continuo mai visto prima.

• Limitazioni di AutoML: Le piattaforme AutoML non sono riuscite a ottenere una classificazione efficace quando fornite con dati grezzi. Hanno avuto successo solo quando fornite con caratteristiche esplicitamente ingegnerizzate (ad esempio, la somma delle cifre per mod 3). Le piattaforme hanno favorito pesantemente gli algoritmi basati su alberi rispetto al deep learning per questo compito.

• Successo delle Serie di Fourier: Il metodo di regressione proposto utilizzando i vettori di base di Fourier ha raggiunto un'accuratezza di 1.000 per entrambi i problemi mod 3 e mod 7. Notevolmente, ciò è stato ottenuto con un dataset minimo (200 campioni), dimostrando che la natura periodica della funzione di residuo può essere perfettamente catturata con pochi esempi di addestramento quando viene utilizzata la corretta base matematica.

• Fallimenti degli LLM:

  • Gli LLM open-source (GPT-J, LLaMA, Falcon) hanno prodotto costantemente risposte imprecise e poco informative riguardo alle regole di divisibilità per i primi $p \geq 7$, e spesso hanno fallito anche per i primi più piccoli.
  • ChatGPT ha mostrato prestazioni migliorate per i primi piccoli, ma è ricorso all'uso dell'operatore modulo (%) per $p \geq 23$, non fornendo alcuna regola matematica informativa.
  • GPT-4, interrogato per progettare un algoritmo di deep learning per il problema, ha generato codice sintatticamente corretto ma che non riusciva a identificare le tecniche appropriate di ingegneria delle caratteristiche o a selezionare algoritmi ottimali, risultando in una soluzione inefficace.

Significatività e Conclusioni
Il paper conclude che, nonostante i progressi di AutoML e delle capacità di ragionamento dei Large Language Models, l'ingegneria delle caratteristiche rimane un compito indispensabile per migliorare le prestazioni e l'interpretabilità dei modelli.

1. L'Ingegneria delle Caratteristiche è Fondamentale: Lo studio dimostra che aumentare la complessità del modello o la dimensione del dataset non può compensare la mancanza di un'appropriata ingegneria delle caratteristiche. Senza trasformazioni specifiche del dominio (come la rappresentazione binaria per mod 2 o la somma delle cifre per mod 3), anche i modelli sofisticati falliscono nell'apprendere schemi matematici semplici.
2. Limitazioni dell'IA Attuale: L'incapacità di AutoML di scoprire autonomamente queste caratteristiche e il fallimento degli LLM nel articolare o progettare algoritmi per questi problemi suggerisce che i sistemi di IA attuali manchino di un approccio sistematico e autonomo per discernere schemi matematici fondamentali dai dati di addestramento.
3. Interpretabilità Matematica: Il metodo di regressione delle serie di Fourier offre un'alternativa altamente efficace, interpretabile e data-efficient per i problemi di classificazione periodica, raggiungendo un'accuratezza perfetta con un numero minimo di campioni di addestramento.

In sintesi, gli autori sostengono che nell'era di AutoML e degli LLM, la conoscenza del dominio umano applicata attraverso l'ingegneria delle caratteristiche è ancora il principale motore del successo nella risoluzione di problemi matematici strutturati, e fare affidamento su questi modelli per tali compiti senza una cura nella preparazione dei dati è rischioso e spesso inefficace.