Training Deep Visual Networks Beyond Loss and Accuracy Through a Dynamical Systems Approach

Probleemstelling

Traditionele methoden voor het trainen en evalueren van diepe visuele herkenningssystemen vertrouwen bijna uitsluitend op scalair gemeten waarden zoals verlies (loss) en nauwkeurigheid (accuracy). Hoewel deze metrieken aangeven of een model presteert, geven ze geen inzicht in de interne dynamische evolutie van de representaties binnen het netwerk tijdens het trainingsproces.

• Een model kan in nauwkeurigheid stagneren terwijl de dynamiek tussen de lagen nog in beweging is.
• Omgekeerd kan de representatieve structuur stabiliseren lang voordat het verliesplateau wordt bereikt.
  Deze informatiekloof beperkt het begrip van het leerproces en de noodzaak voor rijkere, laag-bewuste karakteriseringen. Bestaande methoden (zoals loss-landschap-analyse of neural collapse) bieden slechts fragmentarisch inzicht en missen een unificerend dynamisch meetkader op het niveau van laag-activaties.

Methodologie

De auteurs passen een wiskundig kader toe dat oorspronkelijk is ontwikkeld voor de analyse van biologische neurale signalen (bewustzijnsonderzoek) op de trainingsdynamiek van diepe neurale netwerken. Het idee is dat de lagen van een diep netwerk analoog zijn aan kanalen in een EEG-opname, en dat trainingsepochen analoog zijn aan tijdstappen in een biologisch signaal.

Experimenteel Opzet:

• Modellen: Negen architectuur-dataset-combinaties, waaronder ResNet-varianten (18, 34, 50, 101, 152), DenseNet-121, MobileNetV2, VGG-16 en een voorgetrainde Vision Transformer (ViT).
• Datasets: CIFAR-10 (eenvoudiger) en CIFAR-100 (moeilijker).
• Data-extractie: Activaties worden verzameld op vier representatieve diepteniveaus per architectuur aan het einde van elke epoch (op een validatiebatch).

De drie dynamische metrieken:

1. Hieraarchische Integratie ($H_{eff}$):
   • Gebaseerd op Detrended Fluctuation Analysis (DFA).
   • Berekent de Hurst-exponent ($H$) voor het gemiddelde activatiesignaal van elke laag over de tijd (epochen).
   • Een $H > 0.5$ duidt op persistente langeafstands-correlaties.
   • De ruwe $H$ wordt getransformeerd via een Gaussische functie rond een optimale exponent ($H_{opt} = 0.7$) om $H_{eff}$ te krijgen. Dit meet hoe goed de lagen gecoördineerd zijn in een fractale, langdurige correlatiestructuur.
2. Metastabiliteit ($M$):
   • Gebaseerd op de Kuramoto ordeparameter.
   • Bepaalt de fase-synchronisatie tussen de lagen op elk moment.
   • Metastabiliteit is de standaardafwijking van deze synchronisatie over de tijd. Een hoge metastabiliteit betekent dat het netwerk flexibel schakelt tussen gesynchroniseerde en desynchroniseerde toestanden (een teken van rijke dynamiek).
3. Composiet Stabiliteitsindex ($\Psi$):
   • Een gewogen som van de genormaliseerde $H_{eff}$ en $M$.
   • De volatiliteit (rolgende standaardafwijking) van $\Psi$ over een venster van 5 epochen ($\sigma_\Psi$) wordt gebruikt als indicator voor convergentie.

Belangrijkste Bijdragen

1. Adaptatie van het Heff-M-Ψ Kader: De eerste toepassing van dit dynamische complexiteitskader (oorspronkelijk voor EEG) op diepe visuele netwerken, met een formele definitie van hoe deze metrieken worden berekend uit laag-activaties.
2. Empirische Observaties: Het presenteren van resultaten over negen configuraties die drie patronen blootleggen:
   • Een robuust onderscheid tussen datasets op basis van integratie.
   • Een potentiële vroege convergentie-indicator via volatiliteit.
   • Een relatie tussen integratie en metastabiliteit die verschillende trainingsstijlen definieert.
3. Taxonomie van Trainingsstaten: Een retrospectieve indeling van trainingsdynamica in vier staten, gekenmerkt door meetbare handtekeningen in de metrieken.

Resultaten

De analyse leidt tot drie hoofdbevindingen:

1. Integratie als Maatstaf voor Taakcomplexiteit:

   • De $H_{eff}$-waarde onderscheidt consistent de eenvoudigere CIFAR-10 (waarden tussen 0.83 en 0.98) van de moeilijkere CIFAR-100 (waarden tussen 0.04 en 0.30).
   • Dit patroon is robuust voor verschillende architecturen. Modellen op CIFAR-10 bereiken een hoge, persistente langeafstands-correlatie, terwijl CIFAR-10-modellen vastlopen in een regime met lage integratie (een "integratieplafond").
   • De voorgetrainde ViT behaalt de hoogste $H_{eff}$ (0.98), wat suggereert dat pre-training de bereikbare integratieniveaus verhoogt.

2. Volatiliteit als Vroege Convergentie-indicator:

   • De volatiliteit van de index $\Psi$ ($\sigma_\Psi$) daalt vaak voordat de nauwkeurigheid volledig plateaut.
   • Bijvoorbeeld: Bij DenseNet-121 daalt de volatiliteit onder een drempelwaarde van 0.30 ongeveer 7 epochen voordat de nauwkeurigheid stabiliseert. Dit suggereert dat $\sigma_\Psi$ een vroege waarschuwing kan zijn voor convergentie, onafhankelijk van de loss-curve.

3. Inter-veld Synchronie en Representatieve Flexibiliteit:

   • De correlatie tussen de genormaliseerde integratie ($H_z$) en metastabiliteit ($M_z$) verdeelt de modellen in twee groepen:
     • Hoog gekoppeld (Rigid): CIFAR-100 ResNets tonen een sterke positieve correlatie ($r > 0.8$). Integratie en metastabiliteit fluctueren samen; het systeem is "vastgeketend" in een lage-complexiteit attractor.
     • Ongekoppeld (Decoupled): DenseNet-121 toont een negatieve correlatie. Integratie en metastabiliteit evolueren onafhankelijk, wat toestaat dat beide dimensies worden geoptimaliseerd voor een rijkere attractor.

Taxonomie van Trainingsstaten:
Op basis van deze bevindingen wordt een vier-staten taxonomie voorgesteld:

1. Stabiel Convergent: Hoge integratie, snel dalende volatiliteit, ongekoppeld (bijv. DenseNet-121). Dit is de ideale staat.
2. Metastabiel Hoge-Integratie: Hoge integratie maar aanhoudend hoge volatiliteit (bijv. ViT, ResNet-152). Het netwerk exploreert veel maar stabiliseert niet.
3. Partiële Integratie: Matige integratie, langzame stabilisatie (bijv. VGG-16 op CIFAR-100). Een gestructureerde maar onvolledige attractor.
4. Rigid Gesynchroniseerd: Zeer lage integratie, vlakke volatiliteit, sterk gekoppeld (bijv. ResNet-50/101 op CIFAR-100). Het systeem is vastgelopen in een star, lage-complexiteit toestand.

Betekenis en Conclusie

Dit onderzoek biedt een nieuw, exploratief perspectief om diep leren te begrijpen bovenop verlies en nauwkeurigheid.

• Praktische Implicatie: Het biedt potentiële tools voor practitioners om te begrijpen hoe en wanneer interne representaties stabiliseren, wat nuttig is voor complexe toepassingen zoals forensische gezichtsherkenning of kunstattributie.
• Theoretische Bijdrage: Het verbindt concepten uit de neurowetenschap (complexiteit, metastabiliteit, edge-of-chaos) met de training van kunstmatige neurale netwerken.
• Beperkingen: De studie is beperkt tot één willekeurige seed per configuratie en een klein aantal modellen op CIFAR-datasets. De taxonomie is retrospectief afgeleid en vereist prospectieve validatie met meerdere seeds en grotere benchmarks (zoals ImageNet) om algemeen geldig te zijn.

Samenvattend stelt de paper dat training een gestructureerd, gefaseerd proces is dat zichtbaar wordt door dynamische systemen te analyseren, en dat deze methode waardevolle inzichten biedt die traditionele metrieken missen.