Résumé Technique : Variables d'Écart Neurales pour les Contraintes de Forme

Énoncé du Problème

Dans le calcul scientifique et les applications industrielles (par exemple, les systèmes de contrôle, la finance quantitative), les réseaux de neurones doivent souvent approximer des fonctions qui doivent satisfaire des lois structurelles, telles que la monotonicité, la convexité ou l'absence d'arbitrage. Ces exigences se manifestent sous forme de contraintes d'inégalité fonctionnelles (par exemple, $C[f_\theta](x) \geq 0$) qui doivent être respectées partout sur le domaine.

Les approches existantes font face à des limitations significatives :

1. Contraintes Architecturales : Les méthodes comme les Réseaux de Neurones Invoques (ICNN) ou les Réseaux de Neurones Monotones Contraints (CMNN) garantissent la faisabilité par construction, mais restreignent la classe d'hypothèses, ce qui entraîne souvent une rigidité de l'entraînement, un biais de basse fréquence et un mauvais ajustement aux données complexes.
2. Contraintes Douces (Pénalité et Primal-Dual) : L'approche standard du deep learning consiste à ajouter un terme de pénalité à la perte ou à utiliser des méthodes primal-dual (Lagrangiennes). Cependant, l'article identifie un mode d'échec partagé appelé « dérive de contrainte » (constraint drifting).
   • Dans les méthodes de pénalité, une fois que le réseau est réalisable aux points échantillonnés, le terme de violation disparaît, ne fournissant plus de gradient pour maintenir la faisabilité. Les étapes d'entraînement ultérieures peuvent réintroduire des violations, qui ne sont corrigées qu'après leur apparition.
   • Les méthodes primal-dual souffrent de la même manière : sous la complémentarité de Karush-Kuhn-Tucker, les multiplicateurs de Lagrange deviennent nuls dans les régions réalisables, éliminant ainsi le gradient de la contrainte.
   • Le résultat est une satisfaction fragile où les modèles présentent des violations parasites, ce qui est inacceptable dans des domaines à enjeux élevés comme la finance (où des surfaces sans arbitrage sont requises) ou le contrôle (où les certificats de barrière doivent être exacts).

Méthodologie : Variables d'Écart Neurales (Neural Slack Variables - NSV)

Les auteurs proposent les Variables d'Écart Neurales (NSV), une méthode de contrainte douce du côté primal qui convertit l'application de la contrainte en un problème de régression.

Mécanisme Central

Au lieu de pénaliser les violations de $C[f_\theta](x) \geq 0$, la méthode introduit un réseau de neurones auxiliaire $s_\phi$ (la variable d'écart neurale) qui est entraîné conjointement avec le réseau primaire $f_\theta$.

1. Cible Réalisable : Le réseau auxiliaire $s_\phi$ est architecturalement contraint pour produire des valeurs non négatives (par exemple, via une activation de type $\epsilon + (\cdot)^2$), garantissant que $s_\phi(x) \in K = [\epsilon, \infty)^m$.
2. Perte d'Appariement : Le profil de contrainte du réseau primaire $c_\theta(x) = C[f_\theta](x)$ est entraîné pour correspondre à la variable d'écart $s_\phi(x)$ via une perte d'appariement quadratique :
   $$\mathcal{L}_{slack}(\theta, \phi) = \frac{1}{2} \mathbb{E}_{x \sim U(\Omega)} \left[ \| C[f_\theta](x) - s_\phi(x) \|_2^2 \right]$$
3. Optimisation Conjointe : La perte totale est $\mathcal{L}(\theta, \phi) = \mathcal{L}_{data}(\theta) + \rho \mathcal{L}_{slack}(\theta, \phi)$.

Dynamiques Clés

• Persistance du Gradient : Contrairement aux méthodes de pénalité où les gradients disparaissent lors de la faisabilité, la capacité finie du réseau d'écart appris $s_\phi$ garantit que le résidu d'appariement $c_\theta - s_\phi$ ne disparaît généralement pas complètement. Cela laisse un gradient d'« ancrage » persistant, même lorsque $c_\theta \geq \epsilon$, empêchant le profil de la contrainte de dériver à nouveau vers une violation.
• Interprétation de la Division de Variables : La méthode peut être vue comme une relaxation apprise de la division de variables. Au lieu de projeter $c_\theta$ exactement sur l'ensemble réalisable (ce qui nécessite une architecture intraitable pour des contraintes générales), la méthode apprend un substitut réalisable $s_\phi$ et dirige $c_\theta$ vers celui-ci.
• Biais Inductif : L'architecture de $s_\phi$ impose un biais inductif explicite sur la forme du profil de contrainte. En choisissant des architectures spectralement expressives pour $s_\phi$ (par exemple, les SIREN), la méthode peut stabiliser la satisfaction de la contrainte entre les points de collocation, même lorsque le réseau primaire $f_\theta$ est hautement expressif.

Détails d'Implémentation

• Appariement à Échelle Équilibrée : Pour gérer la large plage dynamique des contraintes, les auteurs utilisent un mécanisme de mise à l'échelle relative où la perte d'appariement est normalisée par la magnitude de $s_\phi$, empêchant les marges de satisfaction importantes de dominer le gradient.
• Stabilisation : Une transformation $\text{asinh}$ est appliquée aux arguments avant la différenciation pour améliorer la stabilité de l'entraînement.

Principales Contributions

1. Méthode Novatrice : Introduction des Variables d'Écart Neurales, une technique de contrainte douce qui couple le réseau primaire avec un réseau auxiliaire non négatif appris conjointement.
2. Diagnostic de la Dérive : Identification et visualisation du mode d'échec de « dérive de contrainte » dans les méthodes de pénalité et primal-dual, démontrant que NSV surmonte ce problème dans les contextes pilotés par les données.
3. Transfert de Régularité : Démonstration que la perte d'écart transfère la régularité de $s_\phi$ au profil de contrainte $c_\theta$, permettant l'utilisation de réseaux primaires spectralement expressifs (SIRENs, caractéristiques de Fourier) sans perdre la satisfaction des contraintes.
4. Supériorité Empirique :
   • Benchmarks Synthétiques : Sur les tâches de monotonicité et de convexité, NSV atteint zéro violation mesurée sur des grilles denses, contrairement aux baselines de pénalité et de Lagrangien qui laissent des violations résiduelles.
   • Certification Sans Données : Dans le benchmark FOSSIL Barr3 (certificats de barrière neurale), NSV parvient à induire la faisabilité là où les méthodes de pénalité échouent en raison de l'absence de terme d'ajustement de données pour ancrer la solution.
   • Application Industrielle : Appliquée à la modélisation de surfaces de volatilité implicite en finance quantitative. NSV est la seule méthode testée qui produit des surfaces robustement sans arbitrage à travers les régimes d'entraînement, d'interpolation et d'échantillonnage a priori, tout en atteignant simultanément l'erreur d'ajustement de données la plus faible.

Résumé des Résultats

• Monotonicité (1D) : NSV a obtenu 0 violation sur 100 graines (seeds), contre 2/100 pour les méthodes de pénalité et 73/100 pour l'Augmented Lagrangian. En utilisant des SIRENs pour le réseau primaire, NSV a surpassé les baselines architecturales (CMNN) en termes d'ajustement de données tout en maintenant une faisabilité de 100 %.
• Convexité (Haute Dimension) : À mesure que la dimension augmentait ($d=2$ à $5$), les méthodes de pénalité se dégradaient significativement en raison de la malédiction de la dimensionnalité sur les grilles creuses. NSV a maintenu la faisabilité plus longtemps que les méthodes de pénalité, bien que les deux aient fini par éprouver des difficultés à haute dimension ($d=5$), tandis que les ICNN restaient réalisables mais sous-ajustaient les données.
• Surfaces de Volatilité : Dans la modélisation générative des surfaces d'options NDX, NSV a éliminé les violations d'arbitrage ($\eta_{rate}=0$) dans les trois régimes d'évaluation (ENTRAÎNEMENT, INTERPOLATION, PRIOR), alors que les méthodes de pénalité et d'Augmented Lagrangian présentaient des violations résiduelles. NSV a également atteint l'erreur absolue moyenne (MAE) la plus faible sur l'ajustement des données.

Signification et Revendications

L'article affirme que les Variables d'Écart Neurales offrent une alternative robuste tant aux contraintes architecturales qu'aux contraintes douces traditionnelles. En découplant l'exigence de faisabilité de l'architecture du réseau primaire et en apprenant plutôt un profil cible valide, NSV évite la « dérive de contrainte » qui affecte les méthodes de pénalité et primal-dual.

Les auteurs positionnent cela comme une solution à un défi industriel à fort impact : la génération de surfaces de volatilité sans arbitrage en finance quantitative. Ils soutiennent que si les contraintes architecturales sont théoriquement saines, elles sont souvent trop rigides pour des données complexes, et que les contraintes douces sont trop fragiles. NSV comble ce fossé, permettant l'utilisation d'architectures de réseaux à haute capacité et très flexibles tout en garantissant (en pratique) un respect strict des inégalités fonctionnelles.

L'article reconnaît des limitations : la méthode passe mal à l'échelle avec la dimension d'entrée en raison de la nécessité de grilles de contraintes denses, et elle ne fournit pas de certification hors grille formelle (contrairement aux contraintes architecturales). Cependant, pour les problèmes de faible à moyenne dimensionnalité où la fidélité des données et la satisfaction des contraintes sont toutes deux critiques, NSV présente une performance empirique supérieure.