Technische Samenvatting: Neurale Slack-variabelen voor Vormrestricties

Probleemstelling

In wetenschappelijke berekeningen en industriële toepassingen (bijv. controlesystemen, kwantitatieve financiën), moeten neurale netwerken vaak functies benaderen die aan structurele wetten moeten voldoen, zoals monotoniciteit, convexiteit of de afwezigheid van arbitrage. Deze vereisten manifesteren zich als functionele ongelijkheidsrestricties (bijv. $C[f_\theta](x) \geq 0$) die over het gehele domein moeten gelden.

Bestaande benaderingen kampen met significante beperkingen:

1. Architecturale Restricties: Methoden zoals Input-Convex Neural Networks (ICNN) of Constrained Monotonic Neural Networks (CMNN) garanderen haalbaarheid door constructie, maar beperken de hypotheseklasse, wat vaak leidt tot trainingsstijfheid, een bias naar lage frequenties en een slechte fit op complexe data.
2. Zachte Restricties (Penalty & Primal-Dual): De standaard deep learning-benadering omvat het toevoegen van een penalty-term aan de loss of het gebruik van primal-dual (Lagrangiaanse) methoden. De paper identificeert echter een gedeelde faalmodus genaamd "constraint drifting" (restrictie-drift).
   • Bij penalty-methoden verdwijnt de schendingsterm zodra het netwerk haalbaar is op gesamplede punten, waardoor er geen gradiënt meer overblijft om haalbaarheid te handhaven. Vervolgtrajecten in de training kunnen schendingen opnieuw introduceren, die pas worden gecorrigeerd nadat ze zijn opgetreden.
   • Primal-dual methoden lijden er vergelijkbaar onder: onder complementaire slackness worden Lagrangiaanse multipliers nul in haalbare regio's, waardoor de restrictiegradiënt verdwijnt.
   • Het resultaat is een fragiele voldoening waarbij modellen spuurend schendingen vertonen, wat onacceptabel is in domeinen met hoge inzet zoals de financiële sector (waar arbitrage-vrije oppervlakken vereist zijn) of de regeltechniek (waar barrièrecertificaten exact moeten zijn).

Methodologie: Neurale Slack-variabelen

De auteurs stellen Neurale Slack-variabelen (NSV) voor, een primal-zijde zachte restrictiemethode die het afdwingen van restricties omzet in een regressieprobleem.

Kernmechanisme

In plaats van de schendingen van $C[f_\theta](x) \geq 0$ te bestraffen, introduceert de methode een hulp-neuraal netwerk $s_\phi$ (de "neurale slack-variabele") dat gezamenlijk wordt getraind met het primaire netwerk $f_\theta$.

1. Haalbaar Doel: Het hulpnetwerk $s_\phi$ is architecturaal beperkt tot het produceren van niet-negatieve waarden (bijv. via een activatie zoals $\epsilon + (\cdot)^2$), waardoor $s_\phi(x) \in K = [\epsilon, \infty)^m$ wordt gegarandeerd.
2. Matching Loss: Het restrictieprofiel van het primaire netwerk $c_\theta(x) = C[f_\theta](x)$ wordt getraind om overeen te komen met de slack-variabele $s_\phi(x)$ via een kwadratische matching loss:
   $$\mathcal{L}_{slack}(\theta, \phi) = \frac{1}{2} \mathbb{E}_{x \sim U(\Omega)} \left[ \| C[f_\theta](x) - s_\phi(x) \|_2^2 \right]$$
3. Gezamenlijke Optimalisatie: De totale loss is $\mathcal{L}(\theta, \phi) = \mathcal{L}_{data}(\theta) + \rho \mathcal{L}_{slack}(\theta, \phi)$.

Belangrijke Dynamiek

• Gradiëntpersistentie: In tegen tegenstelling tot penalty-methoden, waar gradiënten verdwijnen bij haalbaarheid, zorgt de eindige capaciteit van het geleerde slack-netwerk $s_\phi$ ervoor dat de matching-residuele $c_\theta - s_\phi$ over het algemeen niet volledig verdwijnt. Dit laat een persistente "anker"-gradiënt achter, zelfs wanneer $c_\theta \geq \epsilon$, wat voorkomt dat het restrictieprofiel terugdrift naar een schending.
• Interpretatie van Variabele Splitting: De methode kan worden gezien als een geleerde relaxatie van variabele splitting. In plaats van $c_\theta$ exact te projecteren op de haalbare verzameling (wat een onhandelbare architectuur vereist voor algemene restricties), leert de methode een haalbaar surrogaat $s_\phi$ en stuurt $c_\theta$ naar dit doel.
• Inductieve Bias: De architectuur van $s_\phi$ legt een expliciete inductieve bias op aan de vorm van het restrictieprofiel. Door spectraal expressieve architecturen voor $s_\phi$ te kiezen (bijv. SIRENs), kan de methode de restrictie-voldoening tussen collocatiepunten stabiliseren, zelfs wanneer het primaire netwerk $f_\theta$ zeer expressief is.

Implementatiedetails

• Schaal-gebalanceerde Matching: Om de brede dynamische reikwijdte van restricties te hanteren, gebruiken de auteurs een relatief schaalmechanisme waarbij de matching loss wordt genormaliseerd door de magnitude van $s_\phi$, om te voorkomen dat grote verzadigde marges de gradiënt domineren.
• Stabilisatie: Een $\text{asinh}$-transformatie wordt toegepast op de argumenten vóór de differentiatie om de trainingsstabiliteit te verbeteren.

Belangrijkste Bijdragen

1. Nieuwe Methode: Introductie van Neurale Slack-variabelen, een zachte restrictietechniek die het primaire netwerk koppelt aan een gezamenlijk geleerd, niet-negatief hulpnetwerk.
2. Diagnose van Drifting: Identificatie en visualisatie van de "constraint drifting" faalmodus in penalty- en primal-dual methoden, waarbij wordt aangetoond dat NSV dit overwint in data-gestuurde settings.
3. Regulariteitsoverdracht: Demonstratie dat de slack loss de regulariteit van $s_\phi$ overdraagt aan het restrictieprofiel $c_\theta$, wat het gebruik van spectraal expressieve primaire netwerken (SIRENs, Fourier-features) mogelijk maakt zonder de restrictie-voldoening te verliezen.
4. Empirische Superieuriteit:
   • Synthetische Benchmarks: Op taken voor monotoniciteit en convexiteit bereikt NSV nul gemeten schendingen op dichte grids, terwijl penalty- en Lagrangian-baselines residuele schendingen vertonen.
   • Data-vrije Certificering: In de FOSSIL Barr3 benchmark (neurale barrièrecertificaten) induceert NSV succesvol haalbaarheid waar penalty-methoden falen door het gebrek aan een data-fitting term om de oplossing te verankeren.
   • Industriële Toepassing: Toegepast op implied volatility surface modeling in kwantitatieve financiën. NSV is de enige geteste methode die robuust arbitrage-vrije oppervlakken produceert over train-, interpolatie- en prior-samplingregimes, terwijl het tegelijkertijd de laagste data-fit fout bereikt.

Resultatenoverzicht

• Monotoniciteit (1D): NSV bereikte 0 schendingen over 100 seeds, vergeleken met 2/100 voor penalty-methoden en 73/100 voor Augmented Lagrangian. Bij het gebruik van SIRENs voor het primaire netwerk presteerde NSV beter dan architecturale baselines (CMNN) op het gebied van data-fit, terwijl het 100% haalbaarheid behield.
• Convexiteit (Hoog-D): Naarmate de dimensionaliteit toenam ($d=2$ naar $5$), degradeerden penalty-methoden aanzienlijk door de vloek van dimensionaliteit op ijle grids. NSV behield de haalbaarheid langer dan penalty-methoden, hoewel beide uiteindelijk moeite hadden bij hogere dimensies ($d=5$), terwijl ICNNs haalbaar bleven maar de data onderfitten.
• Volatility Surfaces: Bij de generatieve modellering van NDX optie-oppervlakken elimineerde NSV arbitrage-schendingen ($\eta_{rate}=0$) in alle drie de evaluatieregimes (TRAIN, INTERPOLATION, PRIOR), terwijl penalty- en Augmented Lagrangian-methoden residuele schendingen vertoonden. NSV behaalde ook de laagste Mean Absolute Error (MAE) op de data-fit.

Betekenis en Claims

De paper claimt dat Neurale Slack-variabelen een robuust alternatief bieden voor zowel architecturale restricties als traditionele zachte restricties. Door de haalbaarheidsvereiste los te koppelen van de architectuur van het primaire netwerk en in plaats daarvan een geldig doelprofiel te leren, vermijdt NSV de "constraint drifting" die penalty- en primal-dual methoden teistert.

De auteurs positioneren dit als een oplossing voor een impactvolle industriële uitdaging: het genereren van arbitrage-vrije volatiliteitsoppervlakken in kwantitatieve financiën. Zij stellen dat hoewel architecturale restricties theoretisch solide zijn, ze vaak te rigide zijn voor complexe data, en zachte restricties te fragiel zijn. NSV overbrugt deze kloof door het gebruik van flexibele, hoog-capacitieve neurale architecturen mogelijk te maken, terwijl het (in de praktijk) strikte naleving van functionele ongelijkheden garandeert.

De paper erkent beperkingen: de methode schaalt slecht met de invoerdimensie vanwege de noodzaak voor dichte restrictiegrids, en het biedt geen formele off-grid certificering (in tegenstelling tot architecturale restricties). Echter, voor problemen met een lage tot gemiddelde dimensionaliteit waar zowel data-getrouwheid als restrictie-voldoening cruciaal zijn, presenteert NSV een superieure empirische prestatie.