💻 computer science

Fixed Point Theory Beyond Contractions for Deep Equilibrium Models

Dit artikel breidt Deep Equilibrium Models uit door een vaste puntentheorie vast te stellen die de restrictieve eis van strikte contractie versoepelt, het bestaan en de uniciteit bewijst onder Wardowski $F$ -contracties, de convergentie van de Krasnoselskii–Mann-iteratie voor niet-expansieve operatoren demonstreert, en Lipschitz-stabiliteitsgrenzen afleidt voor robuuste training.

Oorspronkelijke auteurs: Milad tahavor, Tayyebe Haqiri, Reza Memarbashi

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Milad tahavor, Tayyebe Haqiri, Reza Memarbashi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Deep learning, de technologie achter moderne kunstmatige intelligentie, vertrouwt vaak op het stapelen van laag na laag wiskundige operaties om ruwe data te transformeren naar een definitief antwoord. Stel je een fabriekslijn voor waarbij een product door honderden stations gaat, waarbij elk station het item een klein beetje verandert voordat het naar het volgende wordt doorgegeven. Decennialang hebben onderzoekers geprobeerd deze lijnen steeds dieper te maken om moeilijkere problemen op te lossen. Het bouwen van een lijn met duizenden stations is echter rekentechnisch duur en moeilijk te beheren. Een slim alternatief, bekend als een Deep Equilibrium Model, vervangt deze lange assemblageband door één enkele station die zijn eigen werk herhaaldelijk uitvoert totdat het product een stabiele staat bereikt. In plaats van het aantal stations te tellen, wacht het systeem simpelweg tot de output niet meer verandert, waardoor het effectief een oneindig diep netwerk simuleert met slechts één set instructies.

Het succes van deze aanpak hangt volledig af van het vermogen van het systeem om die stabiele staat, of evenwicht, betrouwbaar te vinden. Als de herhalende instructies te chaotisch zijn, kan het product uit de controle raken of nooit tot rust komen. Jarenlang waren de wiskundige regels die garandeerden dat een stabiele staat bestaat zeer strikt. Ze vereisten dat de herhalende instructies een "contractie" waren, wat betekende dat de afstand tussen elke twee mogelijke uitkomsten bij elke keer dat het systeem draaide, aanzienlijk moest krimpen. Dit verzekerde dat het systeem, ongeacht waar je begon, altijd zou convergeren naar een enkel, uniek antwoord. Hoewel dit werkte, dwong het ingenieurs om hun netwerken op zeer specifieke, beperkende manieren te ontwerpen, wat vaak de kracht van de modellen beperkte.

Een team van onderzoekers van de Semnan Universiteit en de Damghan Universiteit in Iran heeft nu een nieuw wiskundig kader ontwikkeld dat deze strikte beperkingen wegneemt. Hun werk, gepubliceerd in een recent wetenschappelijk artikel, laat zien dat deze evenwichtsmodellen stabiel en oplosbaar kunnen zijn, zelfs wanneer de herhalende instructies de afstand tussen uitkomsten niet verkleinen. Ze bewezen dat het systeem nog steeds een uniek, stabiel antwoord kan vinden met behulp van een bredere klasse van wiskundige regels genaamd F-contracties, die minder veeleisend zijn dan de oude strikte regels. Bovendien toonden ze aan dat zelfs wanneer de instructies de afstand helemaal niet verkleinen — wat betekent dat het systeem slechts "niet-expansief" is, zoals een perfecte spiegel die zonder vervorming reflecteert — het systeem nog steeds tot een stabiele oplossing kan worden bewogen. Dit wordt bereikt, niet door de instructies blindelings uit te voeren, maar door een specifieke, gedempte gemiddelde techniek te gebruiken die het systeem zachtjes naar evenwicht leidt, vergelijkbaar met een zware deur die langzaam tot stilstand komt in plaats van dicht te klappen.

De onderzoekers hebben deze ideeën niet alleen op papier bewezen; ze hebben ze getest met concrete computerexperimenten om te zien hoe de theorie in de praktijk standhoudt. In één test creëerden ze een scenario waarin de oude, strikte regels een mislukking zouden voorspellen. Ze zetten een systeem op dat data in een cirkel roteerde zonder het te verkleinen. Wanneer ze probeerden dit met de standaardmethode op te lossen, bleef het systeem eeuwig op zijn plek draaien zonder een oplossing te vinden. Echter, toen ze hun nieuwe gemiddelde techniek toepasten, convergeerde het systeem succesvol naar het juiste antwoord, waarbij de fout gestaag afnam over de tijd. Dit bevestigde dat hun nieuwe methode werkt, zelfs in gevallen waarin de traditionele aanpak wiskundig gezien gegarandeerd zou falen.

Interessant genoeg ontdekten het team ook een nuance in hoe deze modellen zich in real-world toepassingen gedragen. In een tweede experiment met een complexer, niet-lineair systeem dat een typische neurale netwerklaag nabootst, ontdekten ze dat de standaardmethode eigenlijk prima werkte, zelfs zonder de strikte inkrimpelingsregels. Dit kwam doordat de specifieke wiskundige functie die ze gebruikten het gedrag van het systeem van nature dempte, waardoor het gedrag als een contractie op zich vertoonde. Deze bevinding is waardevol omdat het verduidelijkt wanneer de nieuwe, complexere methode precies nodig is: het is essentieel voor systemen die een gebrek hebben aan deze natuurlijke demping, zoals die met bepaalde typen lineaire of bijna-lineaire operaties, maar het is mogelijk niet altijd nodig voor elk type netwerk.

Naast het vinden van de oplossing, bewezen de onderzoekers ook dat deze nieuwe modellen stabiel zijn wanneer hun interne instellingen worden aangepast. In machine learning moet het systeem zijn interne knoppen tijdens de training aanpassen om te leren van data. Het team toonde aan dat als het systeem volgens hun nieuwe regels is gebouwd, kleine veranderingen aan deze knoppen resulteren in slechts kleine, voorspelbare veranderingen aan het uiteindelijke antwoord. Dit biedt een veiligheidsgarantie dat het model niet erratisch zal reageren tijdens het leerproces, een cruciale vereiste voor het trainen van betrouwbare kunstmatige intelligentie.

Door het wiskundige instrumentarium voor deze modellen uit te breiden, opent dit werk de deur naar het ontwerpen van diepere, flexibelere en krachtigere systemen voor kunstmatige intelligentie. Het stelt ingenieurs in staat om architecturale keuzes te maken die voorheen als te riskant werden beschouwd omdat ze niet voldeden aan de oude, strikte wiskundige vormen. De onderzoekers boden een volledige set instructies voor hoe deze modellen getraind kunnen worden met hun nieuwe methoden, inclusief een aangepaste manier om de noodzakelijke aanpassingen tijdens het leren te berekenen. Hun werk suggereert dat de toekomst van deep learning wellicht niet vereist dat elk systeem in een nauwe box van strikte beperkingen wordt gedwongen, maar eerder het begrijpen en benutten van de bredere, flexibelere wiskundige eigenschappen die deze complexe systemen in staat stellen hun balans te vinden.

Technische Samenvatting: Vaste Punt Theorie voorbij Contracties voor Deep Equilibrium Models

1. Probleemstelling

Deep Equilibrium Models (DEQs) definiëren de output van een neuraal netwerk als het vaste punt $z^*(x)$ van een enkele gewichtsgebonden laag $f_\theta$ , die voldoet aan $z^* = f_\theta(z^*, x)$ . Deze aanpak vervangt het expliciet stapelen van $L$ lagen door een impliciete evenwichtsformulering, wat een oneindige diepte van netwerken mogelijk maakt met een constante geheugenkosten.

De theoretische garanties voor DEQs—met name de existentie, uniciteit en berekenbaarheid van het evenwicht $z^*$ —leunen echter bijna uitsluitend op de Banach Contractieprincipe. Dit vereist dat de operator $f_\theta(\cdot, x)$ een strikte Lipschitz-contractie is (d.w.z. Lipschitz-constante $k < 1$ ). De auteurs identificeren drie kritieke beperkingen van deze aanname:

Architecturale Beperking: Veel moderne stabiele architecturen maken gebruik van orthogonale of isometrische gewichtsmatrices, waardoor $f_\theta$ slechts niet-expansief is ( $k=1$ ) in plaats van strikt contractief. Strikt contractieve functies worden vaak vermeden om gedrag zoals verdwijnende of exploderende gradiënten te voorkomen en om de expressiviteit te behouden.
Trainingsbeperkingen: Het afdwingen van een strikte contractieconstante $k < 1$ via spectrale normalisatie met een harde marge is moeilijk te handhaven onder stochastische gradiëntupdates en kan het model wegsturen van nuttige configuraties.
Gebrek aan Stabiliteitsanalyse: Bestaande convergentiebewijzen bieden geen kwantitatieve grenzen voor hoe het evenwicht $z^*$ verschuift wanneer parameters $\theta$ worden bijgewerkt wanneer $k=1$ is toegestaan.

Het artikel adresseert de kloof in het toepassen van vaste punt theorie voorbij strikte contracties in de DEQ-setting.

2. Methodologie

De auteurs ontwikkelen een framework dat de eis van strikte contractie versoepelt door gebruik te maken van twee verschillende klassen operatoren uit de vaste punt theorie:

A. Wardowski F-contracties

In plaats van een globale Lipschitz-constante $k < 1$ te vereisen, maken de auteurs gebruik van F-contracties. Een operator $T$ is een F-contractie als er een functie $F: (0, \infty) \to \mathbb{R}$ bestaat die voldoet aan specifieke monotoniciteit en limietcondities, en een constante $\tau > 0$ , zodanig dat:
$\|Tx - Ty\| > 0 \implies \tau + F(\|Tx - Ty\|) \leq F(\|x - y\|)$
Deze klasse bevat strikt de Lipschitz-contracties (bijv. door $F(t) = \ln t$ te kiezen) maar staat operatoren toe die niet globaal Lipschitz-contractief zijn.

B. Krasnoselskii–Mann (KM) Iteratie voor Niet-Expansieve Operatoren

Voor operatoren die louter niet-expansief zijn (waarbij het Banach-principe faalt en standaard Picard-iteratie $z_{n+1} = f(z_n)$ mogelijk niet convergeert), stellen de auteurs voor om de forward solver te vervangen door de Krasnoselskii–Mann iteratie:
$z_{n+1} = (1 - \lambda)z_n + \lambda f(z_n)$
waarbij $\lambda \in (0, 1)$ een stapgrootte is. Deze "gedempte" iteratie is ontworpen om te convergeren naar een vast punt voor de bredere klasse van niet-expansieve operatoren.

C. Metrische Subregulariteit voor Stabiliteit

Om de gevoeligheid van het evenwicht voor parameterwijzigingen ( $\theta \to z^*(\theta)$ ) te analyseren zonder een contractieconstante, introduceren de auteurs Metrische Subregulariteit. Deze aanname stelt dat de afstand tot het vaste punt begrensd wordt door de residu:
$\|z - z^*(\theta)\| \leq \mu \|f_\theta(z, x) - z\|$
Deze conditie is zwakker dan het vereisen van een contractie en staat stabiliteitsanalyse toe in het niet-contractieve regime.

3. Belangrijkste Bijdragen en Theoretische Resultaten

I. Existentie en Uniciteit onder F-contracties (Theorem 5.1)

De auteurs bewijzen dat als $f_\theta$ een F-contractie is op een gesloten verzameling $D \subseteq \mathbb{R}^n$ :

Een uniek vast punt $z^*$ bestaat.
Standaard Picard-iteratie convergeert naar $z^*$ .
Convergentiesnelheid: Convergentie wordt gegarandeerd met een polynomiale snelheid van $O(n^{1-1/k})$ (waarbij $k \in (0,1)$ afkomstig is van de F-contractie definitie), wat over het algemeen trager is dan de geometrische snelheid van strikte contracties, maar voldoende is voor existentie.

II. Convergentie voor Niet-Expansieve Operatoren (Theorem 5.5)

Voor operatoren die louter niet-expansief zijn (bijv. orthogonale lagen):

Existentie: Als $D$ compact en convex is, bestaat er een vast punt (via Brouwer's stelling).
Convergentie: De KM-iteratie convergeert naar een vast punt.
Snelheid: De auteurs stellen een niet-asymptotische convergentiesnelheid vast voor het residu $\|f(z_n) - z_n\|$ van $O(1/\sqrt{n})$ .
Algoritmische Implicatie: Dit biedt een berekenbare forward solver voor architecturen waar een strikte contractie niet gegarandeerd kan worden.

III. Stabiliteit en Datadependentie (Theorem 5.10)

Onder de aanname dat $f_\theta$ niet-expansief is en voldoet aan metrische subregulariteit:

De evenwichtsmap $\theta \mapsto z^*(\theta)$ is Lipschitz stabiel.
Specifiek, $\|z^*(\theta_1) - z^*(\theta_2)\| \leq \mu L \|\theta_1 - \theta_2\|$ , waarbij $L$ de Lipschitz-constante van de operator met betrekking tot de parameters is.
Dit biedt een fundamentele robuustheidsgrens voor DEQ-training in het niet-contractieve regime.

IV. KM-Compatibel Trainingsalgoritme (Sectie 6)

De auteurs stellen een aangepast trainingsalgoritme voor:

Forward Pass: Gebruikt KM-iteratie in plaats van de Broyden-methode of standaard Picard-iteratie.
Backward Pass: Lost de adjoint-vergelijking op $v = \lambda (\frac{\partial f}{\partial z})^\top v + (1-\lambda)v + \frac{\partial L}{\partial z^*}$ op met hetzelfde gedempte iteratieschema. Dit voorkomt de noodzaak om $(I - \frac{\partial f}{\partial z})$ te inverteren, wat singular kan zijn wanneer de spectrale radius 1 is.

4. Experimentele Resultaten

De auteurs valideren de theorie met synthetische numerieke experimenten (NumPy, double precision):

Affiene Tegenvoorbeeld (E1):
- Setup: Een 20D affiene kaart $f(z) = Rz + c$ waarbij $R$ een blokdiagonaal rotatiematrix is (orthogonaal, niet-contractief).
- Resultaat: Standaard Picard-iteratie slaagde er niet in te convergeren (residu bleef constant). KM-iteratie convergeerde met een residu dat afnam naar $10^{-3}$ , waarbij strikt werd voldaan aan de theoretische $O(1/\sqrt{n})$ grens.
- Significantie: Bevestigt dat KM-iteratie noodzakelijk is voor isometrische operatoren.
Nietlineaire DEQ Laag (E1'):
- Setup: Een laag $f(z) = \tanh(Wz + Ux)$ met $W$ orthogonaal (niet-contractief) versus $W' = 0.9W$ (strikt contractief).
- Resultaat: Verrassend genoeg convergeerde Picard-iteratie in beide gevallen (gemiddeld 52,6 iteraties voor orthogonaal $W$ ), wat beter presteerde dan KM-iteratie.
- Inzicht: De verzadigende niet-lineariteit ( $\tanh$ ) zorgde voor lokale contractie nabij het evenwicht, waardoor de strikte contractie-aanname van het lineaire deel overbodig werd in dit specifieke niet-lineaire regime. De auteurs beschouwen dit als een "eerlijk negatief resultaat", waarbij zij verduidelijken dat de KM-vervanging vooral "belangrijk" is voor bijna-lineaire regimes of niet-verzadigende activatiefuncties (zoals ReLU).
Stabiliteitscontrole (E3):
- Setup: Geperturbeerde parameters $U$ in de orthogonal- $W$ $\tanh$ -laag en het meten van de ratio van de outputverandering ten opzichte van de parameterverandering.
- Resultaat: De ratio bleef begrensd (gemiddeld 0,716) over verschillende perturbatie-ordes, consistent met de Lipschitz-stabiliteit voorspeld door Theorem 5.10.

5. Betekenis en Claims

Het artikel claimt het eerste vaste punt theoretische framework voor DEQs te bieden dat werkt voorbij strikte contracties. De significantie ligt in:

Theoretische Uitbreiding: Het breidt de DEQ-theorie uit om orthogonale en isometrische architecturen te omvatten, die steeds populairder worden vanwege hun stabiliteit, maar die voorheen werden uitgesloten door de Banach-contractievereiste.
Praktische Solver: Het biedt een concreet, bewezen convergerend alternatief (KM-iteratie) voor zowel de forward als de backward pass in niet-contractieve regimes.
Robuustheid: Het stelt een stabiliteitsgrens vast voor trainingsdynamica in de afwezigheid van een contractieconstante, vertrouwend op metrische subregulariteit.
Bescheidenheid: De auteurs erkennen expliciet dat hoewel hun theorie convergentie garandeert voor niet-expansieve operatoren, praktische niet-lineaire lagen (zoals $\tanh$ ) nog steeds via standaardmethoden kunnen convergeren door lokale contractie-eigenschappen. Het framework wordt gepresenten True als een noodzakelijk vangnet voor architecturen waar dergelijke lokale contractie niet gegarandeerd kan worden (bijv. in bijna-lineaire regimes of bij niet-verzadigende activaties).

De auteurs merken op dat toekomstig werk onder meer het uitbreiden van deze garanties naar spiking neural networks (tijd-dimensie vaste punten) en het toepassen van de KM-gebaseerde solver op grootschalige beeldclassificatie benchmarks (CIFAR-10/ImageNet) om de nauwkeurigheid en efficiëntie tegenover contractieve baselines te vergelijken.