OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

Technische Samenvatting: OUI als Structureel Waarneembaar

Probleemstelling
Huidige diagnostiek voor het trainen van neurale netwerken is sterk afhankelijk van externe metrieken zoals verlies, nauwkeurigheid en uiteindelijke kalibratie. Deze metrieken zijn vaak vertraagd, comprimeren het interne verhaal van het trainingsproces en falen in het onthullen van de specifieke structurele regimes waarin een model tijdens het leerproces terechtkomt. Hoewel activatiefuncties de bron zijn van de expressieve kracht van een netwerk—waardoor de invoerruimte via activatiepatronen kan worden opgesplitst in distincte functionele regio's—monitoren standaarddiagnostiek zelden de evolutie van deze interne structuren. Deze kloof leidt tot kostbare hyperparameterzoektogten, late detectie van fouten en een gebrek aan interpreteerbaarheid met betrekking tot trainingsdynamiek.

Methodologie en Definitie
Het artikel concentreert zich op de Overfitting–Underfitting Indicator (OUI), hier herdefinieerd als een structureel waarneembaar van leer-dynamiek. De auteurs hanteren een op batches gebaseerde formulering (Fernández-Hernández et al., 2026) om training online te monitoren:

1. Activatiemasking: Voor een laag $l$ met $d_l$ eenheden en een batch $B_t$ wordt een binaire masker $m^{(l)}_{b,n}(t)$ gedefinieerd voor elke neuron $n$ en steekproef $x_b$, wat aangeeft of de preactivatie positief is.
2. Activatietelling: Voor elke neuron wordt het aantal actieve steekproeven in de batch, $s^{(l)}_n(t)$, berekend.
3. Minderheidstelling: De metriek $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$ wordt berekend. Deze waarde is hoog wanneer een neuron de batch op een gebalanceerde manier splitst en laag wanneer de neuron consequent aan of uit staat (bevooroordeeld).
4. OUI-berekening: De OUI voor de module is het gemiddelde van deze minderheidstellingen, genormaliseerd door $\lfloor B/2 \rfloor$.

Operationeel geeft een hoge OUI aan dat veel eenheden de proefbatch op een gebalanceerde manier partitioneren, wat een rijke interne activatiestructuur weerspiegelt. Een lage OUI suggereert dat de module bevooroordeeld is geworden, waarbij eenheden zich uniform gedragen over verschillende invoer.

Belangrijkste Resultaten en Bewijs
Het artikel synthetiseert bewijs uit drie verschillende domeinen om de bruikbaarheid van OUI als een vroeg, label-vrij signaal aan te tonen:

• Toezicht op Geleerdheid (Regularisatie): In DenseNet-BC-100-experimenten op CIFAR-100 scheidden OUI-trajecten zich vroeg (rond 15% van de training) voor verschillende waarden van gewichtsverval. Hoge OUI-waarden correleerden met betere generalisatie, terwijl lage waarden onderfitting of overfitting-regimes voorspelden voordat standaard validatiemetrieken deze konden onderscheiden.
• Versterkend Leren (PPO Actor-Critic): Herformuleerd voor PPO, discrimineerde OUI succesvol tussen leer-snelheidsregimes vroeg in de training. Cruciaal observeert het artikel een structurele asymmetrie: optimale critici bezetten een intermediaire OUI-band, terwijl sterke acteurs de neiging hebben om te opereren bij hogere OUI-waarden. Dit suggereert dat het "goede" structurele regime contextafhankelijk is.
• Convergentie van Activatiepatronen: Met verwijzing naar recent werk (Pérez-Corral et al., 2026) merkt het artikel op dat activatiepatronen vaak aanzienlijk eerder stabiliseren dan parameterupdates. Bij ViT-B16-training verzadigden convergentiemetrieken voor activaties terwijl het verlies bleef verbeteren, wat een tweefasig tijdsbeeld ondersteunt waarbij netwerken gewichten verfijnen binnen stabiele activatieregimes.

Bijdragen
De primaire bijdrage van dit artikel is niet een nieuw algoritme, maar een conceptuele herformulering en synthese van bestaand bewijs:

1. Structureel Waarneembaar: Het artikel betoogt dat OUI moet worden begrepen als een eerste praktisch waarneembaar van de interne structurele dimensie van leren, in plaats van slechts een heuristiek voor het afstemmen van hyperparameters.
2. Activatie-gerichte Visie: Het stelt een "activatie-gerichte theorie van trainingsdynamiek" voor, die stelt dat interne activatiestructuren informatief en handelbaar worden vóór convergentie, en zo een dimensie van training bieden die niet wordt vastgelegd door eindpuntmetrieken.
3. Synthese van Bewijs: Het verenigt bevindingen uit toezicht op geleerdheid, versterkend leren en online besturing om een terugkerend patroon te tonen: op activatie gebaseerde waarneembaren kunnen het lot van een trainingsrun vroeg onthullen.
4. Onderzoeksrichting: Het identificeert open vragen die nodig zijn om dit perspectief te bevorderen, waaronder de "fase-structuur" van training (vroege structurele organisatie versus late verfijning), de "adequaatheid" van activatieregimes ten opzichte van specifieke rollen en taken, en de theoretische connectie tussen deze waarneembaren en formele noties van stabiliteit en generalisatie.

Betekenis en Claims
Het artikel claimt dat het bekijken van OUI als een structureel waarneembaar het perspectief van training verschuift van het monitoren van vertraagde externe uitkomsten naar het monitoren van interne structurele organisatie. Dit heeft directe praktische implicaties voor vroege screening bij het voortrainen van fundamentele modellen, waar fouten in een laat stadium kostbaar zijn. Bovendien suggereert het een verschuiving in functionele controle, waardoor training kan worden gereguleerd door signalen die dichter liggen bij wat het netwerk functioneel doet met de data, in plaats van alleen wat de optimizer doet met de parameters.

De auteurs handhaven een bescheiden standpunt, waarbij zij erkennen dat OUI momenteel een "empirisch voetsteun" is richting een bredere theorie. Zij wijzen op beperkingen, zoals de natuurlijke definitie van OUI voor ReLU-achtige patronen en het risico op verstorende feedbacklussen als het wordt gebruikt als een online besturingssignaal. Het artikel concludeert dat, als de verschuiving van het zien van activaties als verborgen bijproducten naar expliciete objecten van studie standhoudt, een activatie-gerichte theorie van training een noodzakelijke stap wordt voor het begrijpen van hoe neurale netwerken leren.