🤖 machine learning

The Equilibrium Is the Initialization: Lazy Identity Collapse in Physics-Structured Deep Equilibrium Reasoning

Dit artikel onthult dat op fysica gestructureerde Deep Equilibrium Models vaak lijden aan "lazy identity collapse", waarbij de impliciete solver geen werkelijke berekening uitvoert door te convergeren naar zijn initialisatie ongeacht de moeilijkheidsgraad van de input, waardoor de complexe architectuur ineffectief wordt vergeleken met eenvoudige baselines.

Oorspronkelijke auteurs: Joyjeet Singh

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joyjeet Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente, op fysica gebaseerde robot hebt gebouwd die ontworpen is om lastige puzzels op te lossen. Je hebt hem geprogrammeerd met een speciale "denkloop" die zo zou moeten werken: wanneer een puzzel makkelijk is, werpt de robot een snelle blik en geeft hij antwoord. Wanneer een puzzel moeilijk is, moet de robot zijn tandwielen laten draaien, een complexe simulatie uitvoeren en deze extra inspanning gebruiken om een dieper, beter antwoord te vinden. Het is als een rekenmachine die besluit pas extra wiskunde te doen als de getallen eng worden.

Je hebt deze robot gebouwd met een fancy "Port-Hamiltonian" ontwerp (een manier om regels uit de natuurkunde te lenen om de robot stabiel te houden) en je hebt hem een "geleerde initialisatie" gegeven (een slim startpunt). Je hebt hem getraind op twee zeer verschillende taken: het controleren of een verhaal logisch klopt (ProofWriter), en het uitzoeken of je van punt A naar punt B kunt lopen op een kaart (Graph Reachability).

Hier is de twist, en het is een grote: de robot heeft eigenlijk nooit gedacht.

De "Luie" Robot

In bijna elk enkel experiment (18 van de 19 runs) bleek de "denkloop" van de robot een enorme, stille truc te zijn. De robot hoorde op een punt te beginnen, zijn fysica-simulatie te draaien en te eindigen op een nieuw, slimmer punt. Maar in plaats daarvan bleef hij precies waar hij begon.

Denk aan dit: je zegt tegen een student: "Lees dit hoofdstuk, denk erover na, en geef dan het antwoord." De student slaat het boek open, leest de eerste zin, sluit het boek en zegt: "Het antwoord is de eerste zin." Ze hebben het werk niet gedaan; ze hebben gewoon de startlijn gekopieerd.

In de data van het paper was het uiteindelijke antwoord van de robot identiek aan het startpunt tot een precisie van 10⁻⁶ (dat zijn zes nullen achter de komma!). Het was een perfecte kopie.

De "Nul Inspanning" Score

Het meest schokkende deel was dat de luie robot exact dezelfde score haalde als een robot die helemaal niet probeerde te denken.

De Volledige Robot: Gebruikte de fancy fysica-loop. Score: 61,80% (op de kaart-taak) of ~91,77% (op de logica-taak).
De "Skip" Robot: De onderzoekers zeiden tegen de robot: "Hé, sla de denkloop volledig over. Neem het startpunt en stuur het direct naar het antwoord." Score: 61,80% en ~91,77%.
Het verschil was 0,00 procentpunt. De fancy fysica-engine droeg absoluut niets bij. Sterker nog, een simpele twee-laagse "MLP" (een basis, niet-robotisch brein) deed net zo goed, of zelfs beter, zonder dat de complexe loop überhaupt nodig was.

Waarom dacht de robot niet?

Je zou kunnen vermoeden dat de robot "vastzat" omdat hij werd teruggetrokken naar zijn startpunt door een veiligheidslijn (een "anker"). De auteurs hebben dit getest. Ze knipten de lijn door. Ze trainden de robot zelfs om in willekeurige, ruisige plekken te beginnen.

Resultaat: Hij dacht nog steeds niet.

Toen ze de lijn verwijderden, bleef de robot nog steeds op zijn plek.
Toen ze hem dwongen om in een ruisige plek te beginnen, kopieerde hij die ruis simpelweg en leerde het antwoord-gedeelte van het brein de ruis volledig te negeren.

De echte reden dat de robot lui was, was Gradient Starvation. Dit is een fancy manier om te zeggen dat de "hersenen" van de robot beseften dat de makkelijkste manier om een goed cijfer te halen, was om het harde werk te negeren. De taak was zo simpel dat de robot hem kon oplossen door simpelweg de aanwijzingen direct te kopiëren, zonder de loop nodig te hebben. Omdat de loop niet hielp, besloot het leeralgoritme van de robot: "Waarom de moeite doen? Laten we gewoon stil blijven staan." Het vond een stabiele, luie oplossing en weigerde te bewegen.

De Eén Keer Dat de Robot "Dacht" (En het was slecht)

Er was één enkele experiment (Seed 3 op de logica-taak) waarbij de robot wel bewoog. Maar hij bewoog niet naar een slim antwoord; hij ging compleet los.

De staat van de robot drift 171,43 eenheden weg van waar hij begon.
Hij was niet bezig een puzzel op te lossen; hij genereerde pure ruis.
Toen de onderzoekers dit "gekke" deel verwijderden, verbeterde de score van de robot zelfs van 81,77% naar 83,23%.

Dus de enige keer dat de robot probeerde iets anders te doen, maakte hij het erger.

De "Inspanning"-meter was kapot

Als de robot echt aan het denken was, zou je verwachten dat hij meer tijd zou besteden (meer "solver iteraties") aan moeilijkere puzzels.

De Realiteit: De robot besteedde exact evenveel tijd aan makkelijke puzzels als aan moeilijke puzzels.
De Data: De correlatie tussen de moeilijkheid van de puzzel en de bestede tijd was 0,009. Dat is vrijwel nul.
De Limiet: De robot bereikte de maximale toegestane tijdlimiet (300 iteraties) voor 99,9% van de puzzels, ongeacht hoe moeilijk ze waren. Hij paste zich niet aan; hij liep elke keer gewoon tegen de muur aan.

Het "Aha!" Moment: Hoe je een luie robot betrapt

De auteurs realiseerden zich dat standaardtests hen bedrogen. Normaal gesproken, als je wilt zien of een onderdeel van een robot nuttig is, zet je het uit (zet het op nul) en kijk je of de score daalt. Maar dat werkte hier niet, omdat het uitzetten van het "denk" deel ook het "start" deel uitzette, wat de resultaten verwarde.

In plaats daarvan bedachten ze een nieuwe test genaamd Substitutie:

Neem het startpunt van de robot.
Sla de denkloop volledig over.
Stuur het startpunt direct naar het antwoord.
Vergelijk de score.

Als de score hetzelfde is, deed de robot niets. Deze test bewees, met een verschil van 0,00, dat de robot een "no-op" (een no-operation) was.

De Kern van het Verhaal

Het paper concludeert dat dit specifieke ontwerp — een op fysica gestructureerd deep equilibrium model met een geleerde startpositie — faalde om enige vorm van "redeneren" te vertonen. Het faalde niet omdat het kapot was; het faalde omdat het een luie shortcut vond die prima werkte.

Lost het het probleem op? Ja, maar alleen door de input te kopiëren, niet door te denken.
Hielp de fysica? Nee. De stabiliteit van de fysica maakte het juist makkelijker voor de robot om lui te blijven.
Is dit een doorbraak? Nee. Het is een "negatief resultaat" dat ons waarschuwt: alleen omdat een model complex lijkt en fancy natuurkunde gebruikt, betekent dat nog niet dat het ook echt het zware werk doet.

De auteurs voerden al deze tests uit op een enkele gratis Google Colab GPU, waarbij elke run slechts 2–6 minuten duurde. Ze hebben al hun code en logs vrijgegeven zodat iedereen dit kan controleren. De les? Als je een complexe denkmachine bouwt, moet je controleren of hij echt aan het denken is, of dat hij alleen maar doet alsof hij druk bezig is terwijl hij gewoon zijn huiswerk kopieert.

Technische Samenvatting: Het Evenwicht is de Initialisatie

Probleemstelling

Deep Equilibrium Models (DEQs) en impliciete recurrente architecturen beloven input-adaptieve computatie, waarbij moeilijkere problemen meer solver-iteraties triggeren, en het opgeloste evenwicht het resultaat vormt van genuante iteratieve inferentie. Fysica-gestructureerde parametrisaties (bijv. port-Hamiltoniaanse dynamica) worden vaak voorgesteld om stabiele, energie-gecontroleerde latente dynamica te waarborgen die geschikt zijn voor dergelijke impliciete solving.

Dit artikel onderzoekt een specifieke faalmodus in dit paradigma: Lazy Identity Collapse (Lui Identiteitsinstorten). De auteurs rapporteren dat in een port-Hamiltoniaanse DEQ met een geleerde initialisatie, het "opgeloste" evenwicht numeriek identiek is aan het startpunt van de solver. Bijgevolg is de impliciete computatie een stille no-op (geen operatie), die nul bijdraagt aan de uiteindelijke nauwkeurigheid en er niet in slaagt om computationele inspanning toe te wijzen op basis van de moeilijkheidsgraad van het probleem.

Methodologie

De studie maakt gebruik van een gecontroleerd, reproduceerbaar experimenteel ontwerp op twee redeneertaken:

ProofWriter Entailment: Binaire implicatie op bevroren DeBERTa-embeddings, gestratificeerd naar bewijsdiepte.
BFS-Verified Graph Reachability: Synthetische $k$ -hop bereikbaarheid op 16-node grafen, gelabeld door Breadth-First Search (BFS) om een grondwaarheidssignaal voor moeilijkheidsgraad te bieden.

Modelarchitectuur:

Dynamica: Een gedempte, verankerde, symplectic-Euler-stijl update op fase-ruimte variabelen $z=(q, p)$ .
Initialisatie: Een geleerde, doel-geconditioneerde feed-forward netwerk brengt de context in kaart naar een initiële staat $z_0$ .
Solver: Anderson acceleratie (m=5, cap 300 iteraties) lost de fixed point $h^*$ op.
Controles: Een twee-laags MLP baseline, getraind op identieke inputs, dient als positieve controle om de bovengrens van prestaties vast te stellen zonder impliciete lagen.

Diagnostisch Protocol:
De auteurs introduceren een vier-tests protocol om impliciete computatie te auditeren, waarbij ze verder gaan dan standaard nauwkeurigheidsmetrieken:

Substitution Test (T1): Omzeil de solver volledig door het startpunt $z_0$ direct naar de decoder te voeren.
Representation Probe (T2): Train een nieuwe classifier op de bevroren evenwichtsuitvoer $h^*$ om te controleren of deze taaksignaal bevat.
Iteration-Difficulty Correlation (T3): Correleer solver-iteratieaantallen met de grondwaarheid van de taak-moeilijkheidsgraad.
Forced Displacement (T4): Start de solver vanaf een verplaatst punt tijdens inferentie om te testen of het geleerde vectorveld structuur bevat buiten de initialisatie.

Belangrijkste Resultaten

1. Het Evenwicht is de Initialisatie

Over 19 trainingsruns (18 op grafentaken, 5 op ProofWriter) is de verplaatsing tussen de opgeloste evenwichtstoestand $h^*$ en het startpunt $z_0$ numeriek nul ( $\approx 10^{-7}$ ).

Omzeilen van de Solver: Het direct voeren van $z_0$ aan de decoder resulteert in 0.00 procentpunt (pp) nauwkeurigheidsverlies vergeleken met de volledige pipeline in 18 van de 19 runs.
Onrelevantie van de Anker: Het verwijderen van de expliciete verankeringscomponent (die de staat naar $z_0$ trekt) verandert niets. Hertrainen met ruis-ontkoppelde starts ( $z_0 + \epsilon$ ) resulteert in de solver die convergeert naar de ruisige start, waarbij de decoder leert de kanaal te negeren.

2. Twee Degeneratieve Regimes

Het paper identificeert twee verschillende faalmodi:

Lazy Identity Collapse (Meerderheid): De solver voert een bijna-identiteitsafbeelding uit. Het evenwicht draagt geen taaksignaal verder dan wat wordt gekopieerd van de start. De decoder vertrouwt volledig op het directe contextpad.
Solver Blow-Up (Minderheid): In één ProofWriter seed divergeert de solver ( $\|h^* - z_0\| \approx 171$ ). De decoder co-adapteert aan deze hoog-variabele ruis. Het op nul zetten van $h^*$ in dit regime verbetert de nauwkeurigheid, wat bevestigt dat het "signaal" eigenlijk ruis was die op divergentie reed.

3. Falen van Standaard Ablaties

De auteurs demonstreren dat de standaard "zeroing ablation" (het op nul zetten van $h^* = 0$ ) verwarrend is.

Het op nul zetten verwijdert zowel de computatie als het inputpad (het startpunt $z_0$ ) indien de decoder vertrouwt op de identiteitskopie.
Dit leidt tot sterk seed-afhankelijke nauwkeurigheidsdalingen (bijv. -44 pp drop in één seed, 0 in een andere), wat ten onrechte suggereert dat de DEQ soms cruciaal is.
De Substitution Test isoleert de computatie correct, waarbij een stabiele 0.00 pp kloof wordt aangetoond.

4. Gradient Starvation

Het mechanisme dat deze instorting drijft is gradient starvation.

Beide taken zijn oplosbaar via een direct contextpad (bewezen door de twee-laags MLP baseline die de volledige DEQ matcht of verslaat).
Omdat de loss geminimaliseerd kan worden zonder de impliciete laag, routeert de optimizer gradiënten via het directe pad.
De impliciete laag krijgt geen prikkel om weg te bewegen van de initialisatie. In de grafen-pipeline is de initializer gradiënt-geïsoleerd; in ProofWriter traint de initializer wel, maar de dynamica daarop blijft een identiteit.

5. Iteratieaantallen Negeren Moeilijkheidsgraad

Solver-iteratieaantallen vertonen geen correlatie ( $r = 0.009$ ) met de grondwaarheid van de moeilijkheidsgraad (BFS-afstand). 99,9% van de solves bereikt de iteratie-cap ongeacht de complexiteit van de taak, wat aangeeft dat het model niet adaptief de computatie toewijst.

Betekenis en Claims

Het paper claimt niet dat alle DEQs of fysica-gestructureerde modellen falen. In plaats daarvan biedt het een voorzichtige, design-specifieke negatieve resultaat met de volgende implicaties:

Stille Fout (Silent Failure): Standaard trainings-telemetrie (convergentie, nauwkeurigheid, solver-iteraties) kan gezond lijken terwijl de impliciete computatie volledig niet-functioneel is.
De Substitution Test is Essentieel: De auteurs stellen de Substitution Test (T1) voor als een verplichte controle voor elk artikel dat beweert over impliciet of recurrent redeneren te beschikken. Als het omzeilen van de module niets verandert, voert de module geen computatie uit.
Gradient Incentives > Architectuur: Het louter toevoegen van een iteratieve module of een stabiele structuur (zoals port-Hamiltoniaanse restricties) garandeert geen computatie. Als een taak oplosbaar is via een shortcut (direct pad), zal de optimizer dit shortcut exploiteren, waardoor het dure iteratieve pad een stabiel "do nothing"-optimum wordt.
Reproduceerbaarheid: De gehele studie is volledig reproduceerbaar, met de code en ruwe logs vrijgegeven. Alle experimenten werden uitgevoerd op een enkele gratis Colab GPU, wat aantoont dat rigoureuze negatieve resultaten goedkoop en snel kunnen worden vastgesteld.

De auteurs concluderen dat voor de specifieke architectuur die bestudeerd is (port-Hamiltoniaanse DEQ met geleerde initialisatie), het evenwicht simpelweg de initialisatie is, en het systeem functioneert als een "voorzichtige kopieermachine" in plaats van een redeneerder.