CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification

Technische Samenvatting: CuBAS – Curvature-Based Adaptive Sampling voor Supervised Classificatie

Probleemstelling
De effectiviteit van supervised classificatie hangt sterk af van de kwaliteit en representativiteit van trainingsmonsters, in plaats van enkel van de kwantiteit ervan. Grote datasets bevatten vaak aanzienlijke redundantie, ruis en klassenimbalans, waarbij veel monsters weinig bijdragen aan het definiëren van beslissingsgrenzen. Traditionele bemonsterings- en instantiereductietechnieken (bijv. random subsampling, prototype selectie) zijn doorgaans heuristisch en opereren in de inputruimte zonder gebruik te maken van de intrinsieke statistische geometrie van de datadistributie. Bijgevolg falen ze vaak in het onderscheiden van informatieve grensmonsters van redundante observaties in homogene regio's. Hoewel recente graafgebaseerde methoden de interacties tussen buren vastleggen, maken zij zelden gebruik van de differentiële geometrie die wordt geïnduceerd door statistische interacties om de lokale informatieve waarde van een monster te kwantificeren.

Methodologie: Het CuBAS-framework
Het artikel introduceert CuBAS (Curvature-Based Adaptive Sampling), een model-agnostisch framework dat een gelabelde dataset behandelt als een statistisch manifold om de meest informatieve monsters te identificeren. De methodologie verloopt via de volgende fasen:

1. Graafconstructie: Er wordt een $k$-nearest-neighbor ($k$-NN) graaf geconstrueerd uit de gelabelde data.
2. Statistische Modellering: De graaf wordt gemodelleerd als een isotrope $q$-state Potts Markov Random Field (MRF). In dit model hangt de lokale conditionele waarschijnlijkheid van de label van een knoop af van de labels van zijn buren, gestuurd door een inverse temperatuurparameter $\beta$ die de kracht van de contextuele afhankelijkheid reguleert.
3. Parameterschatting: De parameter $\beta$ wordt efficiënt geschat met behulp van Maximum Pseudo-Likelihood (MPL), waardoor de onhandelbare partitiefunctie van de globale Gibbs-distributie wordt vermeden. De schatting maakt gebruik van de secant-methode voor numerieke wortelzoekoplossingen.
4. Informatie-geometrische Analyse: De kerninnovatie ligt in het interpreteren van de parameterrum van het Potts-model als een statistisch manifold voorzien van een Riemanniaanse structuur via de Fisher Informatie Metriek.
   • Eerste-orde Fisher Informatie ($\Phi_i$): Meet de lokale gevoeligheid van de log-likelihood voor parametervariaties (metrische structuur).
   • Tweede-orde Fisher Informatie ($\Psi_i$): Meet de kromming van het log-likelihood oppervlak (krommingstructuur).
   • Lokale Shape Operator: Een scalaire krommingsscore $S_i(\beta)$ wordt afgeleid voor elke knoop $i$ als de ratio van de tweede-orde tot de eerste-orde Fisher informatie: $S_i(\beta) = -\Psi_i(\beta) / (\Phi_i(\beta) + \lambda)$. Deze score kwantificeert de lokale geometrische complexiteit van de datamanifold rondom het monster.
5. Adaptieve Partitionering: De dataset wordt ontleed in twee complementaire regimes op basis van de krommingsscores:
   • Hoge Kromming ($H$): Monsters nabij beslissingsgrenzen en heterogene buurten, die zeer informatief zijn.
   • Lage Kromming ($L$): Monsters in gladde, homogene clusters, die redundant maar noodzakelijk zijn voor structurele representatie.
   • Drempelwaarde: Een adaptieve drempelwaarde $T^*$ wordt bepaald om deze regimes te scheiden. De methode gebruikt het Otsu-criterium voor bimodale distributies (gevalideerd door de **Ashman $D$-coëfficiënt) en valt terug op een Tukey-fence (IQR) regel voor unimodale distributies, wat robuustheid garandeert over diverse datasetgeometrieën.
6. Bemonsteringsstrategie: CuBAS stelt een trainingssubset samen door een proportioneel aantal knopen willekeurig te bemonsteren uit zowel de $H$- als de $L$-sets, waardoor de uiteindelijke subset zowel compact als maximaal discriminerend is.

Belangrijkste Bijdragen

• Theoretisch Framework: Het artikel legt een rigoureuze verbinding tussen graaftopologie en differentiële geometrie door gelabelde datasets te modelleren als statistische manifolds geïnduceerd door een Potts MRF. Het leidt gesloten vorm-expressies af voor de eerste- en tweede-orde Fisher informatie van het Potts-model.
• Kromming-gebaseerde Metriek: Het introduceert een lokale shape operator die statistische kromming kwantificeert zonder dat eigendecomposities, kernel density estimates of vooraf getrainde hulpclassifiers nodig zijn.
• Algoritmeontwerp: De voorstel van CuBAS, een computationeel efficiënt algoritme ($O(nm \log n + nk)$) dat datasets ontleedt in informatieve en redundante regio's op basis van intrinsieke geometrische eigenschappen in plaats van classifier-onzekerheid.
• Adaptieve Drempelwaarde: De ontwikkeling van een datagedreven strategie voor drempelwaarde-schatting die zich aanpast aan de specifieke krommingdistributie van elke dataset, waardoor vaste kwantiel-heuristieken worden vermeden.

Experimentele Resultaten
De auteurs hebben CuBAS geëvalueerd op een benchmark van meer dan 60 publiekelijk beschikbare datasets (OpenML), variërend van tabulaire, afbeeldingen, biologische tot hoogdimensionale domeinen. De evaluatie vergeleek CuBAS met random sampling en entropie-gebaseerde onzekerheidsbemonstering (een sterke baseline) met behulp van een $k$-NN classifier over 15 trainingsvergrotingen (10% tot 80%).

• Prestaties: CuBAS behaalde consistent de hoogste balanced accuracy over alle datasets.
  • Op kleine/middelgrote datasets behaalde CuBAS een gemiddelde balanced accuracy van 0,8556, vergeleken met 0,7416 voor entropie-sampling en 0,7202 voor random sampling.
  • Op grootschalige datasets behaalde het een gemiddelde van 0,8455, waarmee het entropie (0,7623) en random (0,7273) overtrof.
  • Op hoogdimensionale datasets (HDLSS-regime) behaalde CuBAS gemiddeld 0,8451, wat significant beter is dan entropie (0,7573) en random (0,7339).
• Data-efficiëntie: In het meest schaarse scenario (10% trainingsbudget) vertoonde CuBAS een gemiddelde absolute winst van +13,5 procentpunt ten opzichte van entropie-sampling. De methode demonstreerde superieure stabiliteit met lagere standaarddeviaties over herhalingen.
• Robuustheid: CuBAS behield haar voordeel in prestaties zelfs in uitdagende scenario's met hoge klassenoverlap of extreme dimensionaliteit, waar entropie-gebaseerde methoden vaak faalden door de afhankelijkheid van potentieel vertekende seed-classifiers.

Betekenis en Claims
Het artikel claimt dat CuBAS een geprincieerd, schaalbaar en geometrie-bewust alternatief biedt voor heuristische bemonstering. De betekenis ligt in:

1. Modelonafhankelijkheid: In tegen tegenstelling tot onzekerheidsgebaseerde methoden, afleidt CuBAS informatieve waarde direct uit de geometrische structuur van de data, waardoor de noodzaak voor een hulpclassifier en de bias van de seed-set wordt geëlimineerd.
2. Theoretische Fundering: Het overbrugt informatie-geometrie en supervised learning, en toont aan dat differentiële-geometrische grootheden (kromming) rigoureuze criteria bieden voor monsterselectie en reductie van redundantie.
3. Praktische Efficiëntie: De methode is computationeel efficiënt (lineair in het aantal randen) en direct interpreteerbaar in termen van de lokale shape operator van de datamanifold.
4. Generaliseerbaarheid: De consistente verbeteringen over meer dan 60 diverse datasets suggereren dat het exploiteren van de intrinsieke geometrie van gelabelde datamanifolds een robuuste strategie is voor het construeren van compacte, hoogperformante trainingssubsets, met name in scenario's met een laag budget voor annotatie.

De auteurs concluderen dat CuBAS een productieve onderzoeksrichting opent op het snijvlak van geometrische machine learning en data-efficiënte classificatie, met potentiële toekomstige uitbreidingen naar active learning, kromming-regularisatie voor ultra-kleine samples, en integratie met deep learning-pipelines voor de constructie van warm-up sets.