RBF Kernel Parameter Formula for Data Classification Methods

Titel: Formule voor de RBF-kernparameter voor dataclassificatiemethoden

Auteur: Lakhdar Remaki (Alfaisal University, KSA)

---

1. Het Probleem

Radiale Basisfunctie (RBF) of Gaussische kernen zijn een van de meest gebruikte parametrische kernen in machine learning, met name voor methoden zoals Support Vector Machines (SVM) en subspace-benaderingen op basis van kernen (zoals KPCA). De prestaties van deze methoden zijn echter extreem gevoelig voor de keuze van de kernparameter $\gamma$ (of $\sigma$ in de Gaussische formulering).

• Huidige uitdaging: In de praktijk wordt deze parameter doorgaans bepaald via computationally expensive trainingprocedures zoals kruisvalidatie (cross-validation) of grid search.
• Nadelen: Deze methoden leiden tot aanzienlijke rekenkosten, zijn minder robuust (vooral bij grote datasets of multi-class problemen) en vereisen het splitsen van de dataset in trainings- en validatiesets, wat de bruikbare data voor het model verkleint.

2. Methodologie

De auteur stelt een efficiënte, analytische formule voor om de RBF-parameter $\gamma$ direct te schatten, zonder iteratieve zoektochten. De methode is gebaseerd op geometrische overwegingen in de afgebeelde feature space (kenruimte).

De Dual Min-Max (DMM) Benadering:
Het doel is om een mapping $\Phi$ te vinden die twee doelen simultaan optimaliseert:

1. Minimalisatie van de intra-class diameter: Het verkleinen van de diameter van elke klasse in de feature space (compactheid binnen een klasse).
2. Maximalisatie van de inter-class afstand: Het vergroten van de afstand tussen verschillende klassen in de feature space (scheidbaarheid tussen klassen).

Afhankelijkheid van de RBF-kern:
Voor een RBF-kern $K(x, y) = e^{-\gamma \|x-y\|^2}$ kan de afstand in de feature space direct worden uitgedrukt in termen van de afstand in de oorspronkelijke attribuutruimte:

• De kwadratische diameter van een klasse $k$ in de feature space is: $D_k^2(\gamma) = 2 - 2e^{-\gamma D_k^2}$, waarbij $D_k$ de diameter in de inputruimte is.
• De kwadratische afstand tussen twee klassen $l$ en $k$ in de feature space is: $d_{l,k}^2(\gamma) = 2 - 2e^{-\gamma d_{l,k}^2}$, waarbij $d_{l,k}$ de minimale afstand tussen klassen in de inputruimte is.

Afleiding van de Formule:
Om de scheidbaarheid te maximaliseren, moet men $D_{max}^2(\gamma)$ minimaliseren en $d_{min}^2(\gamma)$ maximaliseren. Dit wordt omgezet in een optimalisatieprobleem waarbij men de functies $F_1(\gamma) = \gamma D_{max}^2$ en $F_2(\gamma) = \gamma d_{min}^2$ simultaan optimaliseert.
Door een gewogen som te gebruiken en de afgeleide naar $\gamma$ gelijk te stellen aan nul (Pareto-optimaliteit), wordt de volgende gesloten-formule afgeleid:

$$\gamma = \frac{1}{D_{max} \cdot d_{min}}$$

waarbij:

• $D_{max}$ de maximale diameter van alle klassen in de inputruimte is.
• $d_{min}$ de minimale afstand tussen klassen in de inputruimte is.

Praktische aanpassing:
Om gevoeligheid voor outliers te voorkomen (waarbij $d_{min}$ per ongeluk zeer klein kan worden), wordt in de praktijk de minimale afstand vervangen door de gemiddelde inter-class afstand ($d_{avg}$). De gebruikte formule wordt dan:

$$\gamma = \frac{1}{D_{max} \cdot d_{avg}}$$

3. Belangrijkste Bijdragen

• Analytische Oplossing: De paper introduceert een gesloten-formule voor $\gamma$ die de noodzaak van dure hyperparameter-zoektochten elimineert.
• Geometrische Basis: De formule is strikt afgeleid uit de optimalisatie van de geometrie van klassen in de feature space (minimale diameter, maximale afstand).
• Universele Toepasbaarheid: De methode is getest op zowel SVM als op een subspace-methode genaamd Kernel Optimization Subspaces (KOS), die gebaseerd is op Proper Orthogonal Decomposition (POD).
• Robuustheid: Door de volledige trainingsset te gebruiken in plaats van een gesplitste validatieset, wordt de robuustheid van het proces verbeterd.

4. Resultaten

De formule is gevalideerd op diverse real-world datasets uit de LIBSVM en OpenML repositories (bijv. Leukemia, DNA, USPS, Letter Recognition) voor zowel binaire als multi-class classificatie.

• Prestatie (Nauwkeurigheid): De resultaten tonen aan dat de DMM-formule vergelijkbare nauwkeurigheid en precisie bereikt als de standaard leerprocessen (grid search/cross-validation). In sommige gevallen (zoals bij het DNA-dataset) is de prestatie zelfs iets beter.
• Rekentijd: Er is een drastische reductie in rekentijd.
  • Voorbeeld SVM: Voor het USPS-dataset (10 klassen) daalde de tijd van 81 minuten en 18 seconden (standaard leerproces) naar 2 minuten en 39 seconden met de DMM-formule.
  • Voorbeeld KOS: Voor hetzelfde dataset daalde de tijd van 6,3 seconden naar 0,75 seconden.
• Conclusie: De methode behoudt de classificatiekwaliteit terwijl de computatiekosten met een factor 10 tot 50 worden verlaagd, afhankelijk van de datasetgrootte.

5. Betekenis en Conclusie

Dit paper biedt een significante verbetering voor de implementatie van kernel-methoden in machine learning. Door de RBF-parameter analytisch te bepalen op basis van de datastructuur zelf:

1. Wordt de barrière voor het toepassen van SVM en KOS op grote datasets verlaagd door de enorme besparing in rekentijd.
2. Wordt het proces robuuster omdat geen validatieset nodig is, waardoor meer data beschikbaar blijft voor het trainen van het model.
3. Biedt het een theoretisch onderbouwde, reproduceerbare methode die minder afhankelijk is van toevallige zoekresultaten van grid searches.

De voorgestelde formule is dus een krachtig alternatief voor traditionele tuning-methoden, vooral in scenario's waar snelheid en efficiëntie cruciaal zijn zonder in te leveren op classificatiekwaliteit.