Riepilogo Tecnico: Apprendimento Automatico Algebrico per Dataset Piccoli e Medi

Enunciato del Problema

Il paradigma prevalente nell'apprendimento automatico supervisionato si basa sull'ottimizzazione numerica su modelli parametrici (ad esempio, reti neurali, alberi potenziati), dove il bias induttivo è codificato attraverso l'architettura e gli iperparametri ottimizzati tramite validazione incrociata. Sebbene efficace, questo approccio richiede significativi dati e risorse computazionali per la validazione, in particolare nei regimi a bassa disponibilità di dati, dove ogni esempio etichettato è scarso. Al contrario, l'intelligenza artificiale simbolica classica, che si basa su regole esplicite e relazioni logiche, è stata ampiamente considerata non competitiva su compiti supervisionati realistici, a meno che non venga combinata con apprenditori numerici moderni.

Questo lavoro mette in discussione l'assunzione secondo cui i metodi simbolici non possono competere con forti baseline standard. Esamina l'Apprendimento Automatico Algebrico (AML), un framework che apprende attraverso la decomposizione subdiretta di strutture algebriche piuttosto che tramite ottimizzazione basata sul gradiente, per determinare se un bias induttivo algebrico generico possa competere con baseline specifiche per modalità (come le CNN per le immagini o XGBoost per dati tabulari) senza la necessità di validazione incrociata o di ottimizzazione di iperparametri dipendenti dal compito.

Metodologia

Il Framework AML

L'AML codifica i compiti di classificazione in una struttura algebrica, specificamente un semilattice.

• Codifica: I punti dati sono rappresentati come prodotti (termini) di costanti corrispondenti a coppie valore-caratteristica e etichette di classe. Per le variabili numeriche, le relazioni d'ordine sono codificate tramite catene di costanti ordinate in senso opposto.
• Meccanismo di Apprendimento: Invece di ottimizzare parametri, l'AML esegue una decomposizione subdiretta. Il processo di apprendimento consiste nel trovare un'"atomizzazione" dell'algebra che soddisfi i vincoli di classificazione: nessun atomo discrimina gli esempi positivi (esempi appartenenti alla classe vera), mentre almeno un atomo discrimina ogni esempio negativo.
• Algoritmo: L'algoritmo Sparse Crossing costruisce iterativamente questa atomizzazione. Inizia dal semilattice più libero e impone batch di "dupli" (coppie di un termine e un'etichetta). Rimuove gli atomi che discriminano erroneamente gli esempi positivi e aggiunge atomi per discriminare gli esempi negativi, generalizzando ai dati non visti.
• Classificazione: Il lavoro valuta due strategie di lettura:
  1. Meno Errori: Una classificazione algebrica diretta basata sul numero di atomi che non riescono a discriminare l'esempio.
  2. Lettura con Regressione Logistica: Un livello lineare addestrato sul vettore di atomizzazione (dove le voci indicano se un atomo è inferiore al termine dell'esempio). Il lavoro riporta principalmente i risultati ottenuti con questa lettura, poiché produce costantemente punteggi F1 più elevati.

Configurazione Sperimentale

Lo studio valuta l'AML contro forti baseline con validazione incrociata su due modalità:

• Classificazione di Immagini: 12 dataset (ad esempio, MNIST, CIFAR-10, MedMNIST) che vanno da 2 a 49 classi. Gli input sono limitati a risoluzioni di 32x32 o inferiori (tranne COIL-20 a 128x128) a causa dei costi computazionali.
• Classificazione Tabulare: 29 dataset con caratteristiche miste categoriche e numeriche (2–308 caratteristiche).
• Regimi di Addestramento: Gli esperimenti sono condotti su dimensioni del set di addestramento di 50, 100, 200, 500, 1000 e 2000 esempi.
• Baseline:
  • Immagini: CNN, MLP, SVM, XGBoost, LightGBM, Random Forest.
  • Tabulari: XGBoost, LightGBM, Random Forest, MLP, SVM.
  • Tutte le baseline subiscono una validazione incrociata a 5 fold per la selezione degli iperparametri. L'AML utilizza iperparametri fissi e nessun set di validazione.

Contributi Chiave

1. Valutazione Empirica Sistematica: Un confronto completo dell'AML rispetto alle baseline supervisionate standard su 41 dataset (12 immagini, 29 tabulari) e dimensioni di addestramento variabili (50–2000).
2. Prestazioni in Regimi a Bassa Disponibilità di Dati: Dimostrazione che l'AML, utilizzando un bias induttivo algebrico generico e non richiedendo ottimizzazione degli iperparametri, raggiunge prestazioni competitive o superiori rispetto ai metodi dello stato dell'arte quando i dati sono scarsi.
3. Successo Agnostico rispetto alla Modalità: Evidenza che un singolo framework di codifica algebrica può gestire efficacemente tipi di dati strutturalmente distinti (griglie di pixel dense e tabelle di caratteristiche eterogenee) senza riprogettazione architetturale.

Risultati

Classificazione di Immagini

• Prestazioni Aggregate: Su tutte le dimensioni di addestramento, l'AML (con lettura a regressione logistica) è il metodo con le prestazioni migliori in aggregate, statisticamente distinguibile da tutte le baseline.
• Dati da Basso a Medi (50–1000 esempi): L'AML ottiene il punteggio macro-F1 più alto su una pluralità di dataset nel range di 200–1000 esempi, superando le CNN e altre baseline con un margine significativo.
• Grandi Volumi di Dati (2000 esempi): Le CNN diventano competitive con l'AML, coerentemente con l'aspettativa che i modelli parametrici sfruttino meglio i bias specifici del compito all'aumentare del volume dei dati.
• Significatività Statistica: I test post-hoc confermano che l'AML supera significativamente CNN, XGBoost, LightGBM, Random Forest, SVM e MLP nel dominio delle immagini.

Classificazione Tabulare

• Prestazioni Aggregate: XGBoost rimane il metodo più forte in generale, superando statisticamente l'AML.
• Competitività: L'AML è paragonabile ad altre forti baseline tabulari come LightGBM e Random Forest. Non è statisticamente distinguibile da questi metodi in aggregate, sebbene lo sia da XGBoost.
• Regimi Specifici: L'AML ottiene il miglior risultato su una pluralità di dataset alla dimensione di addestramento di 1000 esempi.
• Impatto della Lettura: Sebbene la lettura con regressione logistica migliori le prestazioni rispetto alla variante "meno errori", il modello algebrico da solo (meno errori) raggiunge comunque una classifica media competitiva con diverse baseline (superando MLP e SVM sui dati tabulari).

Significato e Affermazioni

Il lavoro postula che l'apprendimento simbolico può essere competitivo in compiti supervisionati realistici quando la struttura simbolica è appresa dai dati piuttosto che ingegnerizzata manualmente. Il significato di queste scoperte poggia su tre punti principali:

1. Efficienza in Regimi a Bassa Disponibilità di Dati: La capacità dell'AML di apprendere senza un set di validazione trattenuto gli permette di utilizzare ogni esempio etichettato per l'addestramento. Questo offre un vantaggio distinto quando i dati sono scarsi, poiché le baseline standard devono sacrificare dati per l'ottimizzazione degli iperparametri.
2. Bias Induttivo Fisso: Il bias induttivo dell'AML è derivato dalla struttura algebrica stessa, non da iperparametri ottimizzati sui dati. Ciò gli permette di aggirare il problema della selezione di architetture e parametri di regolarizzazione da dati limitati, una sfida che spesso ostacola i metodi standard in contesti con pochi dati.
3. Fattibilità della Decomposizione Algebrica: I risultati suggeriscono che la decomposizione subdiretta è un meccanismo di apprendimento valido. Sebbene l'AML attualmente manchi dell'ottimizzazione estesa e del co-design hardware delle reti neurali profonde o degli alberi potenziati con gradiente, la sua competitività con una singola implementazione non ottimizzata indica che la decomposizione algebrica è una direzione promettente per l'apprendimento, in particolare dove i dati sono limitati e si desiderano approcci agnostici rispetto alla modalità.

Gli autori concludono con modestia che, sebbene l'AML sia attualmente competitivo, la scalabilità a dataset più grandi, modalità aggiuntive e tipi di compiti diversi rimane una questione empirica aperta che richiede lavoro futuro, inclusa l'accelerazione algoritmica e l'ottimizzazione del sistema.