Automatic Discovery of Intra-Class Sub-Structure for Supervised Tabular Classification: Offline Clustering vs. Joint Sub-Center Training

Sintesi Tecnica: Scoperta Automatica della Sotto-Struttura Intra-Classe per la Classificazione Tabulare Supervisionata

Definizione del Problema
Nella classificazione tabulare supervisionata, le etichette di classe sono spesso più grossolane rispetto al processo generativo sottostante dei dati. Un'unica etichetta (ad esempio, "sedia" o "Tipo di guasto A") può comprendere molteplici sottotipi o modalità di guasto distinti. La domanda centrale di ricerca è se la scoperta automatica e lo sfruttamento di questa occulta sotto-struttura intra-classe possano migliorare l'accuratezza della classificazione senza fare affidamento su complessi modelli di fondazione o pre-addestramento non supervisionato. Il documento investiga due approcci primari a questo problema: una pipeline di clustering offline in due fasi e un meccanismo di addestramento con sub-centro congiunto end-to-end.

Metodologia
Lo studio impiega un Multi-Layer Perceptron (MLP) standard a due strati nascosti con uno strato penultimo di espansione (overcomplete) come classificatore base. Gli autori confrontano rigorosamente due strategie per modellare l'eterogeneità intra-classe su dieci diversi dataset tabulari (inclusi Letter, MNIST, HAR e Yeast), utilizzando 5 seed casuali indipendenti per dataset e test di significatività accoppiati.

1. Pipeline di Clustering Offline e Relabeling (Due Fasi):

   • Passaggio 1: Addestrare una rete base su etichette grossolane.
   • Passaggio 2: Estrarre le caratteristiche penultime e applicare il clustering $k$-means indipendentemente all'interno di ogni classe per generare sotto-etichette.
   • Passaggio 3: Ri-addestrare una nuova rete da zero utilizzando queste nuove sotto-etichette.
   • Passaggio 4: In fase di inferenza, predire una sotto-etichetta e mapparla nuovamente alla classe genitrice.
   • Gli autori eseguono una ricerca completa su $k \in \{2, 3, 5, 10\}$ per determinare se specifici iperparametri guidino il successo o il fallimento.

2. Testa con Sub-Centro Congiunta (End-to-End):

   • Sostituisce lo strato di output standard con uno strato a sub-centri con $C \times k$ logit (dove $C$ è il numero di classi e $k$ è il numero di sub-centri).
   • Il modello viene addestrato end-to-end utilizzando una verosimiglianza softmax marginalizzata, dove la probabilità di una classe è la somma delle probabilità dei suoi $k$ componenti sub.
   • Non avviene alcun passaggio separato di clustering o relabeling; la rete apprende la sotto-struttura implicitamente.

3. Euristica e Controlli:

   • Euristica RF-Gap: Uno strumento diagnostico che predice se la scoperta di sotto-classi aiuterà basandosi sul divario di accuratezza tra una Random Forest (RF) e l'MLP base.
   • Controllo con Parametri Corrispondenti: Una variante non marginalizzata (logit mediati tramite pooling) per distinguere tra i benefici dell'obiettivo del modello di miscela e la semplice espansione della larghezza dello strato di output.
   • Diagnostica dell'Encoder Congelato: Per determinare se i guadagni derivano dalla flessibilità dello strato di output o dai cambiamenti nella rappresentazione condivisa.

Risultati Chiave

• Il Clustering Offline è Inaffidabile: La pipeline in due fasi offline è empiricamente instabile. Su dieci dataset, ha migliorato l'accuratezza solo su 2/10 (marginalmente) e ha degradato le prestazioni su 8/10. Su sei dataset, il degrado è stato statisticamente significativo (fino a -2,83 punti percentuali su Yeast). Una ricerca su $k$ ha rivelato che il degrado è peggiorato monotonicamente all'aumentare di $k$ su 8/10 dataset, suggerendo che il metodo è incline a creare partizioni spurie che danneggiano l'accuratezza delle etichette grossolane.
• L'Addestramento con Sub-Centro Congiunto è Sicuro: Sostituire la pipeline offline con la testa con sub-centro congiunta ha eliminato il modo di fallimento. Il peggior degrado osservato è stato di -0,03 punti percentuali (statisticamente indistinguibile dal rumore). Il metodo congiunto ha migliorato l'accuratezza nei dataset in cui il metodo offline è fallito (ad esempio, Yeast, Vowel).
• Meccanismo di Auto-Limitazione (Effective-$k$): Nonostante sia allocato un budget di $k=10$ sub-centri, la testa congiunta si auto-limita a 1–2 componenti attivi per classe in 9/10 dataset. Questo "collasso dell'esperto" impedisce al modello di sovra-addestrarsi al rumore in classi che mancano di una reale sotto-struttura, agendo come una forma di regolarizzazione implicita.
• Ruolo della Marginalizzazione vs. Capacità: Un controllo con parametri corrispondenti (logit mediati senza marginalizzazione) è risultato statisticamente indistinguibile dalla testa congiunta marginalizzata su tutti i 10 dataset. Ciò suggerisce che, all'attuale dimensione del campione, il margine di sicurezza è attribuibile alla maggiore larghezza dello strato di output piuttosto che al meccanismo specifico della verosimiglianza marginale, sebbene la testa congiunta rimanga strettamente più sicura dell'approccio offline.
• Euristica RF-Gap: L'euristica (che predice "split" se l'accuratezza della RF supera quella dell'MLP di >2pp) ha predetto correttamente la direzione del miglioramento in 13/17 dataset (76%). Tuttavia, è solo marginalmente migliore di un banale baseline "salta sempre" (70,6%), e la correlazione non è statisticamente significativa ($r=0,37, p=0,15$). Serve come una regola empirica debole e direzionalmente utile piuttosto che come un predittore robusto.
• Artefatto del Budget di Addestramento: Gli autori hanno identificato un artefatto metodologico in cui un'implementazione precedente utilizzando la discesa del gradiente a batch completo per la rete end-to-end (rispetto a un solver ben tarato per la sonda lineare) suggeriva falsamente che le caratteristiche penultime fossero superiori. Quando entrambi sono stati addestrati con budget di mini-batch uguali, l'output end-to-end ha eguagliato o superato la sonda in 8/10 dataset, correggendo una precedente interpretazione errata.

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro principalmente come uno studio empirico e diagnostico rigoroso piuttosto che come una proposta di una nuova architettura. I loro contributi sono:

1. Caratterizzazione Empirica: Fornire un confronto sistematico e statisticamente rigoroso che mostra come l'intuitivo approccio di clustering offline sia inaffidabile per la classificazione tabulare supervisionata, mentre l'approccio congiunto con sub-centro offra un'alternativa sicura che evita i modi di fallimento attraverso l'auto-regolarizzazione.
2. Approfondimenti Diagnostici: Far emergere il fenomeno dell' "effective-$k$" (auto-limitazione dei sub-centri) e l'artefatto del budget di addestramento, che chiariscono perché certi confronti nella letteratura possano essere errati.
3. Limitazioni Oneste: Il documento dichiara esplicitamente di non rivendicare una novità architettonica per la testa con sub-centro (che adatta meccanismi esistenti da ACOL e Sub-center ArcFace), né una novità nelle prestazioni dell'MLP rispetto agli ensemble ad albero. Il valore risiede nel rendiconto onesto della potenza statistica, nella segnalazione trasparente dei risultati nulli (ad esempio, l'indistinguibilità tra teste marginalizzate e medie tramite pooling) e nelle scoperte cautelative riguardanti il clustering offline.

Lo studio conclude che, sebbene la scoperta automatica della sotto-struttura tramite addestramento congiunto sia un meccanismo sicuro che non degrada le prestazioni, i suoi benefici sono modesti e spesso indistinguibili dalla flessibilità di uno strato di output più ampio. L'approccio di clustering offline, al contrario, deve essere trattato con cautela a causa dell'alto rischio di un significativo degrado delle prestazioni.