Automatic Discovery of Intra-Class Sub-Structure for Supervised Tabular Classification: Offline Clustering vs. Joint Sub-Center Training

Technische Samenvatting: Automatische ontdekking van intra-klasse substructuur voor supervisie-gebaseerde tabulaire classificatie

Probleemstelling
Bij supervisie-gebaseerde tabulaire classificatie zijn de klassenlabels vaak grover dan het onderliggende datagenereerproces. Een enkel label (bijv. "stoel" of "Type A defect") kan meerdere onderscheidende sub-typen of foutmodi omvatten. De centrale onderzoeksvraag is of het automatisch ontdekken en exploiteren van deze verborgen intra-klasse substructuur de classificatienauwkeurigheid kan verbeteren zonder te vertrouwen op complexe foundation models of unsupervised pretraining. Het artikel onderzoekt twee primaire benaderingen voor dit probleem: een twee-fasen offline clustering-pipeline en een gezamenlijk end-to-end sub-center trainingsmechanisme.

Methodologie
De studie maakt gebruik van een standaard twee-verborgen-lagen Multi-Layer Perceptron (MLP) met een expansie (overcomplete) penultimate laag als de basisclassifier. De auteurs vergelijken rigoureus twee strategieën voor het modelleren van intra-klasse heterogeniteit over tien diverse tabulaire datasets (waaronder Letter, MNIST, HAR en Yeast), gebruikmakend van 5 onafhankelijke random seeds per dataset en gepaarde significantietoetsen.

1. Offline Clustering-Relabel Pipeline (Twee-fasen):

   • Stap 1: Train een basisnetwerk op grove labels.
   • Stap 2: Extraheer de penultimate features en pas $k$-means clustering onafhankelijk binnen elke klasse toe om sub-labels te generen.
   • Stap 3: Train een nieuw netwerk vanaf nul met behulp van deze nieuwe sub-labels.
   • Stap 4: Voorspel bij inferentie een sub-label en breng dit terug naar de ouderklasse.
   • De auteurs voeren een volledige sweep uit over $k \in \{2, 3, 5, 10\}$ om te bepalen of specifieke hyperparameters succes of falen drijven.

2. Joint Sub-Center Head (End-to-End):

   • Vervangt de standaard output-laag door een sub-center laag met $C \times k$ logits (waarbij $C$ het aantal klassen is en $k$ het aantal sub-centers).
   • Het model wordt end-to-end getraind met een gemarginaliseerde softmax likelihood, waarbij de waarschijnlijkheid van een klasse de som is van de waarschijnlijkheden van zijn $k$ sub-componenten.
   • Er vindt geen aparte clustering-fase of relabeling plaats; het netwerk leert de substructuur impliciet.

3. Heuristiek en Controles:

   • RF-Gap Heuristiek: Een diagnostisch hulpmiddel dat voorspelt of sub-klasse ontdekking zal helpen op basis van het nauwkeurigheidsverschil tussen een Random Forest (RF) en de basis-MLP.
   • Parameter-Matched Control: Een niet-gemarginaliseerde variant (mean-pooled logits) om het voordeel van het mixture-model objectief te onderscheiden van eenvoudige output-laag breedte-expansie.
   • Frozen-Encoder Diagnostic: Om te bepalen of de winst voortkomt uit de flexibiliteit van de output-laag of uit veranderingen in de gedeelde representatie.

Belangrijkste Resultaten

• Offline Clustering is Onbetrouwbaar: De twee-fasen offline pipeline is empirisch instabiel. Over tien datasets heen verbeterde het de nauwkeurigheid op slechts 2/10 (marginaal) en verslechterde het de prestaties op 8/10. Op zes datasets was de degradatie statistisch significant (tot -2,83 procentpunt op Yeast). Een sweep over $k$ toonde aan dat de degradatie monotoon verergerde naarmate $k$ toenam op 8/10 datasets, wat suggereert dat de methode gevoelig is voor het creëren van spurious partities die de coarse-label nauwkeurigheid schaden.
• Joint Sub-Center Training is Veilig: Het vervangen van de offline pipeline door de gezamenlijke sub-center head elimineerde de faalmodus. De slechtste degradatie die werd waargenomen was -0,03 procentpunt (statistisch ononderscheidbaar van ruis). De gezamenlijke methode verbeterde de nauwkeurigheid op datasets waar de offline methode faalde (bijv. Yeast, Vowel).
• Zelflimiterend Mechanisme (Effectieve-$k$): Ondanks dat er een budget van $k=10$ sub-centers was toegewezen, beperkt de joint head zich zelf tot 1–2 actieve componenten per klasse op 9/10 datasets. Dit "expert collapse" fenomeen voorkomt dat het model overfit op ruis in klassen die geen echte substructuur bezitten, wat fungeert als een vorm van impliciete regularisatie.
• Rol van Marginalisering vs. Capaciteit: Een parameter-matched control (mean-pooled logits zonder marginalisering) presteerde statistisch ononderscheidbaar van de gemarginaliseerde joint head op alle 10 datasets. Dit suggereert dat bij de huidige steekproefomvang de veiligheidsmarge toe te schrijven is aan de verhoogde breedte van de output-laag in plaats van aan het specifieke marginal-likelihood mechanisme, hoewel de joint head strikt veiliger blijft dan de offline benadering.
• RF-Gap Heuristiek: De heuristiek (voorspelt "split" als RF-nauwkeurigheid de MLP met >2pp overtreft) voorspelde correct de richting van verbetering op 13/17 datasets (76%). Echter, dit is slechts marginaal beter dan een triviale "always skip" baseline (70,6%), en de correlatie is niet statistisch significant ($r=0,37, p=0,15$). Het dient als een zwakke, directioneel nuttige vuistregel in plaats van een robuuste voorspeller.
• Training-Budget Artefact: De auteurs identificeerden een methodologisch artefact waarbij een eerdere implementatie met full-batch gradient descent voor het end-to-end netwerk (versus een goed afgestelde solver voor de linear probe) ten onrechte suggereerde dat de penultimate features superieur waren. Wanneer beide werden getraind met gelijke mini-batch budgetten, kwam de end-to-end output de probe evenaren of overtreffen op 8/10 datasets, wat de eerdere misinterpretatie corrigeerde.

Betekenis en Claims
De auteurs positioneren dit werk primair als een rigoureuze empirische en diagnostische studie in plaats van een voorstel voor een nieuwe architectuur. Hun bijdragen zijn:

1. Empirische Karakterisering: Het bieden van een systematische, statistisch rigoureuze vergelijking die aantoont dat de intuïtieve offline clustering benadering onbetrouwbaar is voor supervisie-gebaseerde tabulaire classificatie, terwijl de gezamenlijke sub-center benadering een veilig alternatief biedt dat faalmodi vermijdt door zelf-regularisatie.
2. Diagnostische Inzichten: Het blootleggen van het "effectieve-$k$" fenomeen (zelf-limiterende sub-centers) en het training-budget artefact, wat verheldert waarom bepaalde vergelijkingen in de literatuur mogelijk gebrekkig zijn.
3. Eerlijke Beperkingen: Het artikel stelt expliciet dat het geen aanspraak maakt op architecturale nieuwheid voor de sub-center head (die bestaande mechanismen uit ACOL en Sub-center ArcFace aanpast) noch op nieuwheid in de prestaties van MLP tegenover boom-ensembles. De waarde ligt in de eerlijke verantwoording van statistische kracht, de transparante rapportage van nullen-resultaten (bijv. de ononderscheidbaarheid van gemarginaliseerde versus mean-pooled heads), en de waarschuwende bevindingen met betrekking tot offline clustering.

De studie concludeert dat hoewel automatische substructuur ontdekking via gezamenlijke training een veilige methode is die de prestaties niet verslechtert, de voordelen bescheiden zijn en vaak ononderscheidbaar van de flexibiliteit van een bredere output-laag. De offline clustering benadering moet daarentegen met voorzichtigheid worden behandeld vanwege het hoge risico op significante prestatieverslechtering.