Technische Samenvatting: Spectrale Chirurgie

Probleemstelling

Diepe neurale netwerken die getraind zijn op classificatietaken vertonen een karakteristiek Hessiaans spectrum: een continue massa van bijna-nul eigenwaarden en een klein aantal grote uitbijter-eigenwaarden (spikes). Theoretisch werk (Papyan et al.) heeft vastgesteld dat deze $C-1$ spikes overeenkomen met inter-klassenrichtingen in de kenmerkruimte, waarbij $C$ het aantal klassen is. Echter, eerder onderzoek heeft deze structuur puur beschrijvend behandeld. Geen enkele bestaande methode heeft operationeel gebruik gemaakt van deze spike-eigenvectoren om de modelprestaties te verbeteren, specifiek om ongelijkheden in per-klassen nauwkeurigheid (klassenongelijkheid) aan te pakken zonder hertraining.

Methodologie: Spectrale Chirurgie

De auteurs stellen Spectrale Chirurgie voor, een post-hoc optimalisatiemethode die modelgewichten direct verstoort langs Hessiaanse spike-eigenvectoren om de per-klassen nauwkeurigheid te herbekken. De methode werkt uitsluitend op een getraind model, en vereist slechts een kleine mini-batch voor Hessiaan-schatting en een vastgehouden evaluatieset.

De kerncomponenten van de methode zijn:

1. Spike-Klassen Gevoeligheidsmatrix ($S$):
   De methode kwantificeert de richting-afgeleide van de nauwkeurigheid van elke klasse langs elke spike-eigenvector. Voor $K$ spike-eigenvectoren $\{q_1, \dots, q_K\}$ en een proefamplitude $\epsilon$, wordt de gevoeligheid $S_{i,j}$ berekend als:
   $$S_{i,j} = \frac{\text{acc}_j(\theta + \epsilon q_i) - \text{acc}_j(\theta - \epsilon q_i)}{2\epsilon}$$
   Deze matrix vangt op hoe het bewegen langs een specifieke spike-richting specifieke klassen verbetert of verslechtert.

2. Gecombineerde Coëfficiëntenoptimalisatie:
   De methode zoekt een lineaire combinatie van spike-verstoringen $\delta\theta = \sum \alpha_i q_i$ om de nauwkeurigheid van zwakke klassen te maximaliseren terwijl sterke klassen worden beschermd. Dit wordt geformuleerd als een geconstrueerd optimalisatieprobleem:
   $$\max_{\alpha} \sum_{j=1}^C w_j (S^\top \alpha)_j$$
   Onder de voorwaarden:

   • $\|\alpha\| \le \alpha_{\max}$ (om in het lineaire regime te blijven).
   • $(S^\top \alpha)_j \ge -0.01$ voor sterke klassen (geen-verslechtering-beperking).
   • Gewichten $w_j$ zijn afgeleid van klassenfouten, met een exponent $p$ die de concentratie van druk op de zwakste klassen regelt (bijv. $p=2$ voor ernstige focus, $p=1/2$ voor het spreiden van druk).

3. Iteratief Adaptief Lus:
   De optimalisatie wordt iteratief uitgevoerd. Bij elke stap:

   • De Hessiaanse eigenvectoren worden opnieuw berekend (aangezien het spectrum verschuift met gewichtsupdates).
   • De gevoeligheidsmatrix $S$ wordt herbouwd.
   • De coëfficiënten $\alpha$ worden opgelost via Sequential Least-Squares Programming (SLSQP).
   • Adaptieve Amplitudecontrole: Een Adam-achtig mechanisme past de verstooringsbegroting $\alpha_{\max}$ aan op basis van een signaal-ruisverhouding (SNR) van verbeteringssignalen, waardoor de stapgrootte dynamisch kan groeien of krimpen.
   • Terugdraaimechanisme: Als een stap de standaardafwijking van klassennauwkeurigheden verhoogt of een grote daling in een enkele klasse veroorzaakt, worden de gewichten teruggezet.

4. Schaalbaarheid (Sequentiële Gedeflateerde Chirurgie):
   Voor datasets met veel klassen (bijv. CIFAR-100 met 99 spikes) verhinderen geheugenbeperkingen het gelijktijdig terugvinden van alle spikes. De auteurs stellen Sequentiële Gedeflateerde Spectrale Chirurgie voor, die meerdere fasen uitvoert. In elke fase worden eerder teruggevonden eigenvectoren uit de Hessiaan-vectorproduct-orakel geprojecteerd (gedeflateerd), waardoor het terugvinden van de volgende groep spikes mogelijk is zonder de volledige basis op te slaan.

Belangrijkste Bijdragen

• Operationeel Gebruik van Hessiaanse Spikes: Het artikel is het eerste dat Hessiaanse spike-eigenvectoren gebruikt als een operationele hefboom voor gerichte klassenverbetering, verdergaand dan beschrijvende analyse van het spectrum.
• Post-hoc Herbekening: De methode bereikt aanzienlijke klassenherbekening zonder toegang tot de volledige trainingsset, zonder backpropagatie-updates en zonder hertraining. Het vereist slechts enkele honderden afbeeldingen voor Hessiaan-schatting.
• Nieuwe Componenten: Introductie van de spike-klassen gevoeligheidsmatrix, geconstrueerde optimalisatie met geen-verslechtering-beperkingen, en adaptieve amplitudecontrole op basis van iteratieniveau-signalen.
• Structurele Validatie: De auteurs leveren empirisch bewijs (via "bulk-walk"-experimenten) dat verstoringen orthogonaal op de spike-ruimte de prestaties op klassenniveau invariant laten, wat bevestigt dat klasse-discriminerende informatie geconcentreerd is in een tiny fractie van de parameterruimte.

Experimentele Resultaten

CIFAR-10 (ResNet-50)

• Prestaties: Verminderde de standaardafwijking ($\sigma$) van klassennauwkeurigheid met 36% (van 8,57% naar 5,52%).
• Klaswinsten: De zwakste klasse ("kat") won +7,5 procentpunten (pp), en "hond" won +5,9 pp.
• Globale Impact: De globale nauwkeurigheid nam verwaarloosbaar af met 0,2 pp.
• Vergelijking: Overtrof Focal Loss fine-tuning ($\Delta\sigma = -0,76$ pp) en Class-Balanced fine-tuning ($\Delta\sigma = -0,60$ pp) in herbekening, ondanks post-hoc opereren.
• Efficiëntie: Voltooid in ongeveer 25 minuten op een enkele CPU.

CIFAR-100 (ResNet-50)

• Schaalbaarheid: Met sequentiële gedeflateerde chirurgie benaderden de auteurs 45 van de 99 theoretische spikes.
• Prestaties: Verminderde $\sigma$ met 1,6% op de vastgehouden set. De relatieve reductie was kleiner dan bij CIFAR-10 vanwege partiële dekking van de spike-ruimte.

ISIC-2019 (Medische Imaging)

• Context: Een ernstig onbalans 8-klasse dataset (frequenties over twee ordes van grootte).
• Samenstelling:
  • SS alleen: Net iets beter dan Focal Loss fine-tuning in herbekening ($\sigma$: 19,6% vs. 20,8%) met vergelijkbare gebalanceerde nauwkeurigheid.
  • FL + SS: Verbeterde gebalanceerde nauwkeurigheid naar 51,5% (vs. 49,2% voor FL alleen) en verlaagde $\sigma$ naar 16,4%.
  • CB + SS: Toegepast bovenop Class-Balanced fine-tuning (die 57,7% gebalanceerde nauwkeurigheid bereikte), verlaagde SS $\sigma$ verder met 3,5 pp (naar 11,3%) terwijl de gebalanceerde nauwkeurigheid behouden bleef (58,0%).
• Inzichten: Zeldzame maar visueel onderscheidende klassen (bijv. Vasculaire laesies) reageerden sterk op Chirurgie. Verwarbare paren (bijv. Melanoom vs. Nevi) toonden beperkte verbetering door spectrale verstrengeling.

Theoretische Analyse: Effectieve Rang

De auteurs introduceren de entropische effectieve rang ($r_{eff}$) van de gevoeligheidsmatrix $S$ als diagnose.

• Bij CIFAR-10 is $r_{eff} \approx 4$, wat multiasiale afwegingen en aanzienlijke winsten mogelijk maakt.
• Bij ISIC-2019 (na Class-Balanced fine-tuning) is $r_{eff} \approx 2$, wat aangeeft dat de trainingsmethode al veel van de oplosbare spectrale vrijheidsgraden had opgenomen. Dit verklaart de verminderde (maar nog steeds positieve) winst van SS bovenop CB.

Betekenis en Beweringen

Het artikel beweert dat Spectrale Chirurgie de praktische bruikbaarheid van Hessiaanse spectrale structuur voor modelverbetering aantoont. Belangrijke beweringen zijn:

1. Post-hoc Effectiviteit: Het is mogelijk om de klassenprestaties op een getraind model aanzienlijk te herbekken zonder hertraining, met gebruik van slechts een kleine subset van data.
2. Complementariteit: Spectrale Chirurgie werkt op een ander "vlak" dan op verlies gebaseerde herbekening (Focal Loss, Class-Balanced). Wanneer trainingsmethoden de beschikbare spectrale vrijheidsgraden niet hebben uitgeput, zijn de methoden additief.
3. Beperkingen: De methode wordt beperkt door de effectieve rang van de gevoeligheidsmatrix. Als het trainingsproces de klassenasymmetrieën al heeft opgelost (lage $r_{eff}$), of als klassen spectraal verstrengeld zijn (bijv. visueel vergelijkbare klassen die spike-richtingen delen), zijn de winsten beperkt.
4. Eindstap: De methode wordt het beste toegepast als een laatste post-hoc stap; daaropvolgende fine-tuning (zelfs geprojecteerd in de massa) erodeert de herbekeningwinsten.

De auteurs blijven bescheiden wat betreft de hypothese van de effectieve rang, en merken op dat het momenteel een "werkhypothese" is gebaseerd op twee gemeten regimes (CIFAR-10 en ISIC-2019) en verdere testen vereist op diverse architecturen en datasets om als numerieke drempel te worden gevestigd.