Classification of integers based on residue classes via modern deep learning algorithms

Technische Samenvatting: Classificatie van Integers op basis van Residuele Klassen via Moderne Deep Learning Algoritmen

Probleemstelling
De studie onderzoekt de capaciteit van moderne machine learning-systemen om gehele getallen (integers) te classificeren op basis van hun residuele klassen wanneer zij worden gedeeld door kleine priemgetallen (specifiek $p=2, 3, 7$, en tot $31$). Hoewel mensen gemakkelijk pariteit (mod 2) kunnen bepalen of deelbaarheidsregels voor 3 kunnen toepassen via de som van de cijfers, stellen de auteurs dat deze taak een niet-triviale uitdaging vormt voor computers, in het bijzonder voor Artificial Intelligence-systemen die naar verwachting autonoom wiskundige patronen moeten kunnen ontdekken zonder expliciete door mensen ontworpen regels. De kernvraag is of state-of-the-art deep learning architecturen, Automated Machine Learning (AutoML) platforms en Large Language Models (LLMs) effectief deze deelbaarheidsregels kunnen leren van ruwe data, of dat zij fundamenteel vertrouwen op door mensen ontwerpers-geëngineerde features.

Methodologie
De auteurs voerden een uitgebreide evaluatie uit over vier verschillende methodologische categorieën met behulp van een steekproefruimte van niet-negatieve gehele getallen tot $2^{32}-1$.

1. Deep Neural Networks (DNNs): De studie testte Artificial Neural Networks (ANN), Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN) en Bidirectional Encoder Representations from Transformers (BERT).

   • Feature Engineering: Een cruciaal onderdeel van de methodologie was de systematische toepassing van diverse feature-representaties op de invoer-integers. Deze omvatten:
     • Ruwe integer-waarden.
     • Binaire en Base-drie representaties.
     • N-gram encodings (One-gram, Two-gram, Three-gram, en combinaties daarvan) waarbij de cijfers als sequenties worden behandeld.
     • Verbeterde encodings die de som van de cijfers of de som van de cijfers modulo $p$ (specifiek voor $p=3$) bevatten.
   • Architectuur: De ANN gebruikte een eenvoudige twee-laag structuur (64 en 32 neuronen). CNN's maakten gebruik van 1D-convolutie en max-pooling lagen. RNN's gebruikten een enkele LSTM-laag. BERT-modellen werden gefinetuned voor sequentieclassificatie.

2. Automated Machine Learning (AutoML): De auteurs evalueerden pipelines van Amazon (AWS Sagemaker), Google (Vertex AI) en Microsoft (Azure ML Studio). Deze platforms werden getest met zowel ruwe data als diverse geëngineerde features om te bepalen of zij autonoom optimale modellen en features konden selecteren.

3. Fourier-reeks Regressie: Een nieuw wiskundig benadering werd voorgesteld met behulp van lineaire regressie op Fourier-reeks basisvectoren. Voor een gegeven modulus $p$ wordt de input $x$ getransformeerd naar sinus- en cosinusvectoren: $\sin(2\pi j x / p)$ en $\cos(2\pi j x / p)$ voor $j=1, \dots, \lfloor p/2 \rfloor$. Ordinary Least Squares (OLS) regressie werd gebruikt om de labels te fitten, waarbij voorspellingen werden afgerond naar het dichtstbijzijnde gehele getal.

4. Large Language Models (LLMs): De studie beoordeelde de wiskundige redeneerkracht van open-source modellen (GPT-J-6B, LLaMA-7B, Falcon-40B) en closed-source modellen (ChatGPT, GPT-4 met code interpreter). Prompts werden ontworpen om verklaringen van deelbaarheidsregels of het ontwerp van algoritmen voor het oplossen van het classificatieprobleem op te roepen.

Belangrijkste Resultaten

• Afhankelijkheid van de Feature Space: De prestaties van alle deep learning modellen waren kritisch afhankelijk van de input feature space.

  • Mod 2: Ruwe data leverde een nauwkeurigheid op nabij willekeurige gokken (~0.5). Binaire representatie bereikte een nauwkeurigheid van 1.000. N-gram encodings verbeterden de nauwkeurigheid naar ~0.8.
  • Mod 3: Ruwe data en eenvoudige N-gram encodings presteerden slecht. Echter, het integreren van de "som van de cijfers" of de "som van de cijfers modulo 3" in de feature vector stelde de modellen in staat om een hoge nauwkeurigheid (>0.9) te bereiken.
  • BERT Specifieke details: BERT bereikte een nauwkeurigheid van 1.000 met de "One-gram + sum" encoding, maar faalde (~0.33) met enkel "One-gram". De auteurs schrijven dit toe aan de pre-training embedding space van BERT, die waarschijnlijk de recursieve aard van de cijfersommen opvangt, terwijl andere netwerken de som behandelden als een grote, ongeziene continue waarde.

• AutoML Beperkingen: AutoML platforms slaagden er niet in om effectieve classificatie te bereiken wanneer zij werden voorzien van ruwe data. Zij slaagden alleen wanneer zij expliciet geëngineerde features werden voorzien (bijv. de som van de cijfers voor mod 3). De platforms gaven sterk de voorkeur aan boom-gebaseerde algoritmen boven deep learning voor deze taak.

• Succes van Fourier-reeksen: De voorgestelde lineaire regressiemethode met Fourier-basisvectoren bereikte een nauwkeurigheid van 1.000 voor zowel de mod 3 als de mod 7 problemen. Opmerkelijk genoeg werd dit bereikt met een minimale dataset (200 samples), wat aantoont dat de periodieke aard van de residuele functie perfect kan worden gevangen met weinig trainingsvoorbeelden wanneer de juiste wiskundige basis wordt gebruikt.

• LLM Falen:

  • Open-source LLM's (GPT-J, LLaMA, Falcon) produceerden consistent onnauwkeurige en oninformatieve reacties met betrekking tot deelbaarheidsregels voor priemgetallen $p \geq 7$, en faalden vaak ook voor kleinere priemgetallen.
  • ChatGPT vertoonde verbeterde prestaties voor kleine priemgetallen, maar greep terug op de modulo-operator (%) voor $p \geq 23$, waarbij geen informatieve wiskundige regel werd gegeven.
  • GPT-4, wanneer gevraagd een deep learning algoritme voor het probleem te ontwerpen, genereerde code die syntactisch correct was maar faalde in het identificeren van geschikte feature engineering technieken of het selecteren van optimale algoritmen, wat resulteerde in een ineffectieve oplossing.

Betekenis en Conclusies
Het paper concludeert dat, ondanks de vooruitgang in AutoML en de redeneerkracht van Large Language Models, feature engineering een onmisbare taak blijft voor het verbeteren van modelprestaties en interpreteerbaarheid.

1. Feature Engineering is Doorslaggevend: De studie demonstreert dat het vergroten van de modelcomplexiteit of de datasetgrootte niet kan compenseren voor het gebrek aan passende feature engineering. Zonder domeinspecifieke transformaties (zoals binaire representatie voor mod 2 of cijfersommen voor mod 3) falen zelfs geavanceerde modellen in het leren van eenvoudige wiskundige patronen.
2. Beperkingen van Huidige AI: Het onvermogen van AutoML om deze features autonoom te ontdekken en het falen van LLM's om algoritmen voor deze problemen te articuleren of te ontwerpen, suggereert dat huidige AI-systemen een systematische, autonome benadering missen om fundamentele wiskundige patronen uit trainingsdata te onderscheiden.
3. Wiskundige Interpreteerbaarheid: De Fourier-reeks regressiemethode biedt een zeer effectieve, interpreteerbare en data-efficiënte alternatief voor deep learning voor periodieke classificatieproblemen, waarbij een perfecte nauwkeurigheid wordt bereikt met minimale trainingsdata.

Samenvattend betogen de auteurs dat in het tijdperk van AutoML en LLM's, menselijke domeinkennis toegepast via feature engineering nog steeds de primaire drijfveer is voor succes bij het oplossen van gestructureerde wiskundige problemen, en dat het blind vertrouwen op deze modellen voor dergelijke taken zonder zorgvuldige datapreparatie riskant en vaak ineffectief is.