Technische Samenvatting: Het Propagatieveld: Een Geometrisch Substraattheorie van Deep Learning

1. Probleemstelling

Moderne deep learning behandelt neurale netwerken voornamelijk als eindpuntfuncties die invoer afbeelden op uitvoer, geoptimaliseerd via taakspecifieke verliezen (LeCun et al., 2015). Hoewel deze aanpak aanzienlijk succes heeft opgeleverd, blijven de interne mechanismen van informatiediffusie slecht begrepen. Standaard training beperkt het randgedrag (invoer-uitvoer-afbeelding), maar laat de geometrie van lagenrepresentaties en interne staatstrajecten onderbepaald. Deze kloof manifesteert zich in problemen variërend van adversarial robustness (Szegedy et al., 2013) en in-context learning (Brown et al., 2020) tot catastrofaal vergeten in continu leren (Kirkpatrick et al., 2017).

Het centrale probleem dat wordt aangepakt, is dat eindtoezicht het interne propagatieveld niet uniek identificeert. Twee modellen kunnen "eindpunt-equivalent" zijn (een bijna identiek taakverlies behalen) terwijl ze enorm verschillende interne geometrische structuren bezitten, waaronder verborgen-staatstrajecten en lokale Jacobiaan-operatoren. Bijgevolg karakteriseren standaard schaalwetten de schaling van het eindpuntverlies, maar niet noodzakelijk de schaling van de kwaliteit van interne diffusie.

2. Methodologie: Het Propagatieveldkader

De auteurs stellen een "Propagatieveld"-perspectief voor, geïnspireerd door de verschuiving van krachtgebaseerde mechanica naar geometrische veldtheorieën in de fysica (bijvoorbeeld Algemene Relativiteitstheorie en Yang-Mills-theorie). In plaats van lagen te zien als discrete rekenstappen, wordt het netwerk beschouwd als een veld gedefinieerd door de verzameling verborgen-staatstrajecten en lokale Jacobiaan-operatoren over de diepte.

2.1 Kerndefinities

• Propagatieveld ($\Phi_\theta$): Gedefinieerd als de set verborgen staten $\{h_0, \dots, h_L\}$ en lokale Jacobiaans $\{J_0, \dots, J_{L-1}\}$, waarbij $J_\ell = \partial h_{\ell+1} / \partial h_\ell$. Voor modellen met continue stroming omvat dit het traject $h(t)$ en het vectorveld $f_\theta(h, t)$.
• Eindpunt-equivalentie: Twee modellen zijn eindpunt-equivalent als hun taakverliezen minder dan een tolerantie $\epsilon$ verschillen. Het artikel bewijst (Propositie 2.3) dat eindpunt-equivalentie geen veld-equivalentie impliceert; modellen kunnen identieke nauwkeurigheid hebben maar verschillen met ordes van grootte in traject- en Jacobiaan-structuur.
• Veldafstand: Een metriek $d_{field}$ kwantificeert de discrepantie tussen de verborgen-staatstrajecten en Jacobiaan-structuren van twee modellen.

2.2 Waarneembare Metrieken

Om het propagatieveld meetbaar te maken, introduceren de auteurs discrete geometrische metrieken die in standaardnetwerken berekenbaar zijn:

• Padlengte: Totale verplaatsing van representatie over de diepte.
• Discrete Kromming: Een proxy voor de buiging van het verborgen traject.
• Snelheidsuitlijning: De consistentie van de propagatierichting over de lagen.
• Padgevoeligheid: De variantie in verborgen staten of uitvoer wanneer dezelfde invoer via verschillende waarnemingspaden wordt gepresenteerd (bijvoorbeeld verschillende volgorde van patches of temporele vensters).
• Oplosserconsistentie: De stabiliteit van terminale staten wanneer hetzelfde onderliggende veld wordt gediskretiseerd met verschillende stapgroottes of numerieke oplossers.
• Retentiesscores (FRS/JRS): In continu leren, metrieken die de drift van verborgen trajecten (FRS) en lokale Jacobiaans (JRS) meten tussen oude en nieuwe modellen.

2.3 Optimalisatiedoelen

Het artikel introduceert veldbewuste doelen om de interne geometrie te regulariseren:

• Meerpad-consistentie ($L_{reveal}$): Minimaliseert verschillen in verborgen staten/logits over verschillende waarnemingspaden.
• Oplosserconsistentie ($L_{solver}$): Zorgt ervoor dat terminale staten consistent blijven onder verschillende numerieke diskretisaties.
• Jacobiaan-gladheid ($L_{jac}$): Regulariseert de gladheid van lokale propagatie-operatoren.
• Veldbehoud-regularisatie (FPR): In continu leren voegt FPR beperkingen toe om de verborgen trajecten en Jacobiaan-velden van eerdere taken te behouden, wat standaard replay of distillatie aanvult.

3. Belangrijkste Bijdragen en Experimentele Resultaten

Het artikel levert empirisch bewijs in gecontroleerde systemen, real-world taken en continu leeromgevingen.

3.1 Gecontroleerde Systemen (Teacher-Flow & PDE's)

• Onderbepaling: In teacher-flow-experimenten vertoonden modellen met identieke eindnauwkeurigheid (0,9975) trajectherstel-fouten die 58,7x verschilden (3,52 versus 0,06) wanneer veldtoezicht werd toegepast.
• Wetsherstel: Bij PDE-extrapolatietaken faalde standaard eindpunt-aanpassing om de onderliggende diffusiewet te herstellen (MSE = 1,217 bij $T=2,0$), terwijl generator-stijl veldmodellen aanzienlijk lagere fouten bereikten (MSE = 0,195) en energie-evolutie behielden.
• Conclusie: Eindpunt-aanpassing identificeert een equivalentieklassen van gedrag, maar faalt om de onderliggende diffusiewet te herstellen.

3.2 Real Multi-Path Taken

• Taakuitlijning: Veldbewuste doelen verbeteren generalisatie (OOD-nauwkeurigheid, nauwkeurigheid op onzichtbare paden) en kalibratie alleen wanneer ze zijn uitgelijnd met de taakstructuur.
  • Succes: Op Tiny-ImageNet verbeterde het volledige veldbewuste doel de nauwkeurigheid (0,097 $\to$ 0,118), OOD-nauwkeurigheid en kalibratie, terwijl het de padgevoeligheid verminderde.
  • Mislukking (Ineenstorting): Op CIFAR-100 leidde het afdwingen van veldconsistentie tot verminderde padgevoeligheid, maar veroorzaakte veldineenstorting, waardoor de nauwkeurigheid daalde van 0,0405 naar 0,0093. Dit toont aan dat lage padgevoeligheid niet voldoende is voor discriminatieve prestaties; het veld moet voldoende directionele rijkdom behouden.
• Optimalisatie-trade-offs: Gradientanalyse onthult conflicten tussen taak- en veldoelen (tot 36% negatieve gradientfracties). Standaard backpropagation vindt niet automatisch de optimale taak-veld-trade-off; gespecialiseerde algoritmen (bijvoorbeeld LocalFieldMatch) zijn vereist om de Pareto-grens te navigeren.

3.3 Continu Leren

• Veld versus Functiebehoud: Bij Split CIFAR-100 behield standalone Field Preservation Regularization (FPR) succesvol interne veldmetrieken (JRS = 0,033), maar faalde het om eindnauwkeurigheid te behouden (AA = 0,037). Omgekeerd behielden standaard replay-methoden (DER++) de nauwkeurigheid (AA = 0,135), maar lieten velddrift toe (JRS = 0,177).
• Complementariteit: Het combineren van FPR met DER++ (DER++ + FPR-Full) verbeterde beide dimensies tegelijkertijd, waarbij de gemiddelde nauwkeurigheid toenam (0,125 $\to$ 0,136) en Backward Transfer, terwijl velddrift werd verminderd. Dit suggereert dat veldbehoud en functiebehoud complementaire, niet redundante doelen zijn.

4. Betekenis en Claims

Het artikel claimt kwaliteit van het propagatieveld te vestigen als een meetbare en trainbare eigenschap van neurale netwerken die bestaat buiten eindprestaties.

• Theoretische verschuiving: Het herformuleert deep learning van het optimaliseren van een statische invoer-uitvoer-kaart naar het beheren van een dynamisch intern geometrisch substraat.
• Identificeerbaarheid: Het demonstreert dat eindtoezicht onvoldoende is om het interne propagatieveld uniek te bepalen, wat expliciete veldbewuste doelen vereist voor taken die padafhankelijkheid of processen met lange horizon omvatten.
• Praktische bruikbaarheid: Veldbewuste doelen kunnen robuustheid en generalisatie verbeteren in specifieke regimes (bijvoorbeeld meerpad-taken), maar vereisen zorgvuldige afweging om "veldineenstorting" te voorkomen, waarbij het netwerk optimaliseert voor geometrische consistentie ten koste van discriminatieve kracht.
• Continu Leren: Het stelt voor dat vergeten plaatsvindt op veldniveau (herschrijven van interne diffusiewetten) en dat het behoud van deze geometrie traditionele strategieën voor behoud op functieniveau aanvult.

De auteurs sluiten af met een "Kakeya-achtig directioneel principe": nuttige propagatievelden moeten spurious padgevoeligheid verminderen, terwijl voldoende directionele rijkdom voor discriminatie wordt behouden. Dit werk suggereert dat toekomstig deep learning-onderzoek expliciet de geometrie van interne diffusie moet meten en optimaliseren, niet alleen de uiteindelijke uitvoer.