Technische Samenvatting: Algebraïsch Machine Learning voor Kleine tot Gemiddelde Datasets

Probleemstelling

De heersende paradigma in supervised machine learning vertrouwt op numerieke optimalisatie over geparametriseerde modellen (bijvoorbeeld neurale netwerken, boosted bomen), waarbij inductieve bias wordt gecodeerd via architectuur en hyperparameters die worden afgestemd via cross-validatie. Hoewel deze aanpak effectief is, vereist deze aanzienlijke data en rekenkracht voor validatie, met name in regimes met weinig data waar elk gelabeld voorbeeld schaars is. Daarentegen is klassieke symbolische AI, die steunt op expliciete regels en logische relaties, grotendeels als niet-concurrerend beschouwd op realistische supervised taken, tenzij deze wordt gecombineerd met moderne numerieke learners.

Dit artikel daagt de aanname uit dat symbolische methoden niet kunnen concurreren met sterke standaard baselines. Het onderzoekt Algebraïsch Machine Learning (AML), een kader dat leert door middel van subdirecte decompositie van algebraïsche structuren in plaats van op gradiënten gebaseerde optimalisatie, om te bepalen of een generieke algebraïsche inductieve bias kan wedijveren met modality-specifieke baselines (zoals CNN's voor afbeeldingen of XGBoost voor tabulaire data) zonder de noodzaak van cross-validatie of taakafhankelijke hyperparameter-tuning.

Methodologie

Het AML-kader

AML codeert classificatietaken in een algebraïsche structuur, specifiek een semilattice.

• Codering: Data-punten worden weergegeven als producten (termen) van constanten die overeenkomen met feature-waardeparen en classlabels. Voor numerieke variabelen worden orde-relaties gecodeerd via tegengesteld geordende ketens van constanten.
• Leermechanisme: In plaats van parameters te optimaliseren, voert AML subdirecte decompositie uit. Het leerproces omvat het vinden van een "atomisatie" van de algebra die voldoet aan de classificatiebeperkingen: geen enkel atoom discrimineert positieve voorbeelden (voorbeelden die tot de ware klasse behoren), terwijl ten minste één atoom elk negatief voorbeeld discrimineert.
• Algoritme: Het Sparse Crossing-algoritme bouwt deze atomisatie iteratief op. Het begint met de vrijste semilattice en dwingt batches "duples" af (paren van een term en een label). Het verwijdert atomen die positieve voorbeelden onjuist discrimineren en voegt atomen toe om negatieve voorbeelden te discrimineren, wat generalisatie naar ongezette data mogelijk maakt.
• Classificatie: Het artikel evalueert twee uitleesstrategieën:
  1. Minste Fouten: Een directe algebraïsche classificatie gebaseerd op het aantal atomen dat het voorbeeld niet discrimineert.
  2. Logistische Regressie Uitlees: Een lineaire laag getraind op het atomisatievector (waarbij de ingangen aangeven of een atoom onder de term van het voorbeeld ligt). Het artikel rapporteert voornamelijk resultaten met deze uitlees, aangezien deze consequent hogere F1-scores oplevert.

Experimentele Opzet

De studie evalueert AML tegen sterke, cross-gevalideerde baselines over twee modaliteiten:

• Afbeeldingsclassificatie: 12 datasets (bijvoorbeeld MNIST, CIFAR-10, MedMNIST) variërend van 2 tot 49 klassen. Invoeren zijn beperkt tot resoluties van 32x32 of lager (behalve COIL-20 bij 128x128) vanwege rekenkosten.
• Tabulaire Classificatie: 29 datasets met gemengde categorische en numerieke features (2–308 features).
• Trainingsregimes: Experimenten worden uitgevoerd op trainingssetgroottes van 50, 100, 200, 500, 1000 en 2000 voorbeelden.
• Baselines:
  • Afbeeldingen: CNN's, MLP's, SVM's, XGBoost, LightGBM, Random Forests.
  • Tabulair: XGBoost, LightGBM, Random Forests, MLP's, SVM's.
  • Alle baselines ondergaan 5-voudige cross-validatie voor hyperparameterselectie. AML gebruikt vaste hyperparameters en geen validatieset.

Belangrijkste Bijdragen

1. Systematische Empirische Evaluatie: Een uitgebreide vergelijking van AML met standaard supervised baselines over 41 datasets (12 afbeeldingen, 29 tabulair) en variërende trainingsgroottes (50–2000).
2. Prestaties in Regimes met Weinig Data: Demonstratie dat AML, gebruikmakend van een generieke algebraïsche inductieve bias en zonder noodzaak tot hyperparameter-tuning, concurrerende of superieure prestaties bereikt vergeleken met state-of-the-art methoden wanneer data schaars is.
3. Modality-agnostisch Succes: Bewijs dat een enkel algebraïsch coderingskader effectief kan omgaan met structureel verschillende datatypes (dichte pixelroosters en heterogene feature-tabellen) zonder architecturale herontwerp.

Resultaten

Afbeeldingsclassificatie

• Aggregate Prestaties: Over alle trainingsgroottes heen is AML (met logistische regressie uitlees) de best presterende methode in aggregate, statistisch onderscheidbaar van alle baselines.
• Kleine tot Gemiddelde Data (50–1000 voorbeelden): AML behaalt de hoogste macro-F1-score op een meerderheid van de datasets in het bereik van 200–1000 voorbeelden, en presteert met een aanzienlijke marge beter dan CNN's en andere baselines.
• Grote Data (2000 voorbeelden): CNN's worden concurrerend met AML, wat overeenkomt met de verwachting dat geparametriseerde modellen taak-specifieke biases beter benutten naarmate het datavolume toeneemt.
• Statistische Significantie: Post-hoc tests bevestigen dat AML significant beter presteert dan CNN's, XGBoost, LightGBM, Random Forests, SVM's en MLP's in het domein van afbeeldingen.

Tabulaire Classificatie

• Aggregate Prestaties: XGBoost blijft de sterkste methode overall, en presteert statistisch beter dan AML.
• Concurrentie: AML is vergelijkbaar met andere sterke tabulaire baselines zoals LightGBM en Random Forests. Het is in aggregate niet statistisch onderscheidbaar van deze methoden, hoewel het wel onderscheidbaar is van XGBoost.
• Specifieke Regimes: AML behaalt het beste resultaat op een meerderheid van de datasets bij de trainingsgrootte van 1000 voorbeelden.
• Impact van Uitlees: Hoewel de logistische regressie uitlees de prestaties verbetert ten opzichte van de variant "minste fouten", bereikt het algebraïsche model alleen ("minste fouten") nog steeds een gemiddelde rang die concurrerend is met meerdere baselines (het presteert beter dan MLP's en SVM's op tabulaire data).

Betekenis en Claims

Het artikel stelt dat symbolisch leren concurrerend kan zijn in realistische supervised taken wanneer de symbolische structuur uit data wordt geleerd in plaats van handmatig te worden ontworpen. De betekenis van deze bevindingen rust op drie hoofdpunten:

1. Efficiëntie in Regimes met Weinig Data: Het vermogen van AML om te leren zonder een vastgehouden validatieset, stelt het in staat om elk gelabeld voorbeeld te gebruiken voor training. Dit biedt een duidelijk voordeel wanneer data schaars is, aangezien standaard baselines data moeten opofferen voor hyperparameter-tuning.
2. Vaste Inductieve Bias: De inductieve bias van AML is afgeleid van de algebraïsche structuur zelf, niet van hyperparameters die op data worden afgestemd. Dit stelt het in staat het probleem te omzeilen van het selecteren van architecturen en regularisatieparameters uit beperkte data, een uitdaging die vaak standaard methoden in kleine-data settings belemmert.
3. Levensvatbaarheid van Algebraïsche Decompositie: De resultaten suggereren dat subdirecte decompositie een levensvatbaar leermechanisme is. Hoewel AML momenteel ontbreekt aan de uitgebreide optimalisatie en hardware co-design van deep learning of gradient-boosted bomen, wijst zijn concurrentievermogen met één enkele niet-geoptimaliseerde implementatie erop dat algebraïsche decompositie een veelbelovende richting is voor leren, met name waar data beperkt is en modality-agnostische benaderingen gewenst zijn.

De auteurs concluderen bescheiden dat hoewel AML momenteel concurrerend is, schalen naar grotere datasets, extra modaliteiten en diverse taaktypen een open empirische vraag blijft die toekomstig werk vereist, inclusief algoritmische versnelling en systeemoptimalisatie.