🤖 machine learning

LAWFUL: Law-Aligned Witness for Faithful Use of Latents

Het artikel introduceert LAWFUL, een fundamenteel kader dat de belangrijkste interpretatiekloven aanpakt om te verifiëren of neurale netwerken niet alleen leren, maar ook intern formele natuurwetten benutten, wat is aangetoond door te bevestigen dat de Mocap2Radar-transformer de Doppler-frequentiewet gebruikt ondanks de afwezigheid daarvan in de trainingsgegevens.

Oorspronkelijke auteurs: Kevin Chen, Kenneth W. Parker, Anish Arora

Gepubliceerd 2026-08-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kevin Chen, Kenneth W. Parker, Anish Arora

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een tovenaar kijelt die een konijn uit een hoed tovert. Je weet dat de truc werkt omdat het konijn verschijnt, maar je weet niet hoe het is gebeurd. Heeft de tovenaar echt een geheim spreuk geleerd, of heeft hij gewoon een specifieke handbeweging uit zijn hoofd geleerd die toevallig werkt voor konijnen? Dit is de grote vraag die wetenschappers vandaag de dag aan kunstmatige intelligentie stellen. We hebben computerehersenen (neurale netwerken) gebouwd die ongelooflijk goed zijn in het voorspellen van hoe de fysieke wereld werkt—zoals hoe een bal stuitert of hoe geluidsgolven zich verplaatsen. Maar zijn deze computers daadwerkelijk de natuurwetten aan het "leren", of zijn ze gewoon heel goed aan het raden op basis van patronen die ze eerder hebben gezien?

Om dit te begrijpen, moeten we naar twee dingen kijken. Ten eerste is er het idee van een "wet", wat een strikte regel is die het universum volgt, zoals zwaartekracht die altijd dingen naar beneden trekt. Ten tweede is er "interpreteerbaarheid", wat de kunst is om in de computerhersenen te gluren om te zien wat de computer eigenlijk denkt. Meestal, wanneer we proberen in te gluren, zien we alleen of de computer het juiste antwoord geeft. Maar dat is alsof je controleert of het konijn er is zonder te controleren of de tovenaar daadwerkelijk magie heeft gebruikt. De grote uitdaging is om te achterhalen of de computer de echte regel gebruikt of gewoon een gelukkige gok doet, vooral wanneer de regels gaan over dingen die vloeiend en eindeloos kunnen veranderen, zoals snelheid of tijd, in plaats van alleen simpele "aan/uit"-schakelaars.

Hier komt een nieuw framework genaamd LAWFUL om de hoek kijken. Denk aan LAWFUL als een superstrenge detective voor computerhersenen. In plaats van alleen te vragen: "Heb je het juiste antwoord gekregen?", vraagt het: "Heb je de juiste logica gebruikt om dat antwoord te krijgen, zelfs als we je met nieuwe situaties foppen?" De onderzoekers bouwden een systeem om te testen of een computermodel echt een specifieke natuurwet begrijpt: het Doppler-effect. Je kent deze wet van wanneer een ambulance je passeert; de sirene klinkt hoog terwijl hij naar je toe rijdt en laag terwijl hij van je wegrijdt. De wet zegt dat deze toonhoogteverandering exact afhangt van hoe snel de ambulance beweegt.

Het team testte een slim computermodel dat getraind was om deze toonhoogteverandering te voorspellen met behulp van video van een bewegend persoon (zoals een danser met lichtgevende stippen op de gewrichten) en radargegevens. Het lastige deel hiervan is: de computer kreeg nooit de snelheid van de persoon of de toonhoogte te horen. De computer moest dit allemaal zelf uitzoeken uit de ruwe video en de radarsignalen. De onderzoekers wilden weten: heeft de computer daadwerkelijk de wiskundige formule voor het Doppler-effect geleerd, of heeft hij alleen de specifieke dansbewegingen onthouden die hij tijdens de training zag?

Met hun LAWFUL detectivekit deden ze iets slims. Ze creëerden "wat als"-scenario's. Ze namen de video van de danser en versnelden of vertraagden mathematisch de beweging van de danser naar de radar toe, zonder de zijwaartse beweging te veranderen. Als de computer de wet echt begreep, zou de voorspelling van de toonhoogte perfect meeveranderen met de verandering in snelheid. Als de computer alleen maar aan het raden was, zou de voorspelling rommelig worden.

De resultaten waren fascinerend. Het computermodel leek inderdaad de wet te begrijpen. Toen ze het testten op snelheden die het nog nooit eerder had gezien, voorspelde het nog steeds de toonhoogte correct. Maar de echte magie gebeurde toen ze begonnen delen van de computerhersenen uit te schakelen om te zien welke delen het werk deden. Ze ontdekten dat de computer niet zijn hele brein nodig had om dit op te lossen. Sterker nog, ze identificeerden een kleine "circuit" binnen het model—slechts een paar specifieke onderdelen van zijn aandachtssysteem—dat verantwoordelijk was voor 91% van de correcte fysica. Het was alsof je ontdekt dat slechts drie specifieke tandwielen in een enorme klok daadwerkelijk de wijzers laten bewegen.

Nog cooler nog, ze ontdekten hoe die tandwielen werkten. De computer was niet alleen getallen aan het onthouden; hij gebruikte een specifiek patroon van "aandacht" om te vergelijken hoe ver de danser van het ene naar het andere frame bewoog. Het voerde in feite een realtime berekening van de snelheid uit, precies zoals een menselijke fysicus dat zou doen, maar dan binnen zijn eigen digitale brein. De studie suggereert dat de computer inderdaad de formele natuurwet heeft geleerd, en niet alleen een patroon. Echter, de onderzoekers merken er voorzichtig bij op dat dit een test was op één specifieke wet en één specifiek type computermodel. Hoewel het een enorme stap voorwaarts is in het bewijzen dat AI de fysica echt kan "begrijpen", is het een bewijs van concept voor dit specifieke geval, en geen garantie dat elke AI elke wet van het universum begrijpt. Maar voor nu hebben we een getuige die zegt: ja, soms doet de computer echt de wiskunde.

Technisch overzicht: LAWFUL – Law-Aligned Witness for Faithful Use of Latents

1. Probleemstelling

Wanneer een neuraal netwerk een fysisch systeem accuraat voorspelt, blijft het onduidelijk of het netwerk de onderliggende natuurwet als formele, gestructureerde kennis heeft geïnternaliseerd of slechts heeft geleerd om het input-outputgedrag binnen een nauwe trainingsdistributie na te bootsen. Specifiek rijzen drie vragen met betrekking tot modellen die opereren over continue fysische variabelen:

Representatie: Heeft het netwerk de wet geleerd als gestructureerde kennis?
Causaal Gebruik: Wordt deze representatie causaal benut door de interne berekening van het netwerk, of is deze slechts decodeerbaar door een externe probe?
Domeinvaliditeit: Houdt de representatie stand over het volledige geldigheidsdomein van de wet, of alleen binnen de empirische trainingsdistributie?

Huidige frameworks voor mechanistische interpreteerbaarheid staan voor vier specifieke hiaten bij het adresseren van deze vragen voor wetten over continue variabelen:

Dekking-bewuste Consistentie: Bestaande methoden voor causale abstractie kwantificeren consistentie alleen op nauw bemonsterde, discrete contrafeitelijke paren, en missen maten voor continue contrafeitelijke families.
Testen van het Geldigheidsdomein: Er is geen gevestigde procedure om te verifiëren of een geïdentificeerd "fysisch circuit" consistent opereert over het volledige theoretische bereik van de wet, in plaats van alleen binnen de trainingsdistributie.
Invariante Verificatie: Er is geen methode om de handhaving van fysische invarianten (verboden gedragingen) binnen het circuit te verifiëren, aangezien bestaande instrumenten zich richten op spuriële correlaties in plaats van verplichte fysische beperkingen.
Kwantificering van Signaalstroom: Hoewel attributiemethoden identificeren welke verbindingen ertoe doen, kwantificeren zij niet hoe continue signalen van afgeleide fysische grootheden door het circuit stromen (schrijven, transformeren, transmissie en lezen).

2. Methodologie: Het LAWFUL-framework

De auteurs stellen LAWFUL (Law-Aligned Witness for Faithful Use of Latents) voor, een fundamenteel framework dat een geleerd model afstemt op een expliciete natuurwet om hun overeenstemming over continue contrafeitelijke toestanden te getuigen.

2.1. Kerncomponenten

Het framework koppelt een geleerd model $f: \mathcal{X} \to \mathcal{Y}_f$ aan een fysisch model $g: \Omega \to \mathcal{Y}_g$ dat een bekende wet representeert. Het maakt gebruik van drie kernmechanismen:

Bruggen (Bridges):
- Input Brug ( $B$ ): Brengt ruwe modelinputs $\mathcal{X}$ in kaart naar de fysische ruimte $\Omega$ (bijv. het extraheren van radiale snelheid uit motion-capture data).
- Output Brug ( $D_f, D_g$ ): Projecteert de outputs van beide modellen naar een gedeelde observeerbare ruimte $\mathcal{Z}$ (bijv. Doppler-centroid).
Perturbatiefamilie ( $\mathcal{P}$ ): Een verzameling fysisch betekenisvolle operaties $p_\alpha$ die contrafeitelijke toestanden genereren in $\Omega$ . Dit maakt het mogelijk om de respons van het model te testen op continue variaties (bijv. het schalen van radiale snelheid) in plaats van discrete wisselingen.
Consistentiescore ( $M_P(f, g)$ ): Een scalaire functionaal $\Phi$ die de overeenstemming tussen de gebrugde outputs van $f$ en $g$ over de perturbatiefamilie meet. Een hogere score duidt op een nauwere naleving van de natuurwet.

2.2. Identificatie van Fysisch Consistente Circuits

Het framework definieert een fysisch consistent circuit als een subgraaf $C$ van de computationele graaf van het model die de consistentiescore herstelt onder activatie-patching.

Voldoendeheid (Sufficiency): Het routeren van de perturbatie alleen door $C$ (waarbij de rest van het netwerk op basisactivaties wordt gehouden) zou de fysische consistentie van het model moeten herstellen.
Noodzakelijkheid (Necessity): Het routeren van de perturbatie door het complement ( $V \setminus C$ ) terwijl $C$ op basisactivaties wordt gehouden, zou er juist niet in slagen de consistentie te herstellen.
Minimaliteit (Minimality): Een circuit is $\tau$ -consistent als het voldoet aan afwijkingsdrempels ten opzichte van de ongepatchte baseline, en het is minimaal als geen enkel strikt deelverzameling ook $\tau$ -consistent is.

3. Experimentele Instantiatie: MoCap-naar-Radar

Het framework wordt geïnstantieerd op de MoCap2Radar transformer, een model dat getraind is om radar-spectrogrammen te voorspellen vanuit 3D motion-capture (MoCap) data.

De Wet: De Doppler-frequentiewet $f(t) = \frac{2v(t)}{\lambda}$ , waarbij $f(t)$ de frequentie is, $v(t)$ de radiale snelheid en $\lambda$ de golflengte.
De Uitdaging: Noch $f(t)$ , noch $v(t)$ komt voor in de trainingsdata; het model moet de relatie afleiden uit ruwe 3D-markerbanen.
Perturbaties: De inputbrug extraheert radiale snelheden. De perturbatiefamilie schaalt deze radiale snelheden met een factor $\alpha$ (contrafeitelijke schaling), wat effectief verschillende snelheden simuleert terwijl de tangentiële beweging behouden blijft.
Geldigheidsdomein: Het perturbatiebereik is begrensd door de fysische resolutielimieten van de radar ( $\alpha \in [-1.16, 1.16]$ ).

4. Belangrijkste Resultaten

4.1. Circuitontdekking

Baseline: Het ongepatchte model bereikt een hoge consistentiescore ( $M_0 = 0.988$ ), wat bevestigt dat het de wet leert.
Circuitidentificatie: Een hongerige (greedy) bottom-up zoektocht identificeerde een minimaal $\tau=0.9$ consistent circuit ( $C^\dagger$ ) dat slechts 9 van de 18 totale componenten omvat (50% van het model).
Samenstelling: Het circuit wordt gedomineerd door de Temporal Transformer block (7 van de 9 componenten), specifiek inclusief de MLP en de attention heads $h_0, h_1, h_2, h_4, h_6, h_7$ . De Spatial Transformer draagt minimaal bij (MLP en head $h_4$ ).
Prestatie: Dit gereduceerde circuit herstelt 91% van de oorspronkelijke Doppler-consistentie van het model.

4.2. Domein van Geldigheid en Invariantie

Radiale Schaling: Binnen het radar-oplosbare domein ( $|\alpha| \le 1.16$ ) volgt het geïdentificeerde circuit $C^\dagger$ het fysische model $g$ nauwgezet en vertoont het een lineaire respons op snelheidschaling. Buiten dit domein verslechtert de prestatie, waarschijnlijk door de grenzen van fysische extrapolatie.
Tangentiële Invariantie: Wanneer de tangentiële snelheid (loodrecht op de radar-gezichtslijn) wordt geschaald, vertonen zowel het model als het circuit een bijna nul-respons, wat de naleving van het fysische principe bevestigt dat tangentiële beweging geen Doppler-verschuiving induceert.

4.3. Mechanistische Analyse

Emergentie van Snelheid: Lineaire probing onthult dat radiale snelheid niet expliciet gecodeerd is in individuele attention heads of de projectielaag in eerste instantie. In plaats daarvan emergeert het als een lineair decodeerbare representatie pas in de gecombineerde output van de temporele attention heads.
Werkingsmechanisme: Door aandachtspatronen (QK) versus waarde-transformaties (VAL) te patchen, vonden de auteurs dat aandachtspatronen (QK) de primaire drijvers van consistentie zijn. Het vervangen van enkel QK herstelt de consistentie, terwijl het vervangen van VAL dat niet doet.
Interpretatie: Dit suggereert dat het model adaptieve temporele differentiatie uitvoert. De aandachtspatronen selecteren dynamisch frameparen om te vergelijken, waardoor ze effectief snelheid berekenen op basis van de snelheid van het doelwit (kortere intervallen voor snelle beweging, langere voor langzame beweging), analoog aan multi-schaal signaalverwerking.

5. Betekenis en Claims

Het artikel claimt het eerste principiële framework te bieden voor het evalueren of neurale modellen fysische wetten belichamen over continue variabelen.

Hiaten overbruggen: LAWFUL vult de hiaten met betrekking tot dekking-bewuste causale consistentie en het testen van het geldigheidsdomein voor continue wetten.
Getrouwe Gebruik (Faithful Use): Het gaat verder dan "is het model accuraat?" naar "gebruikt het model de wet intern?" door specifieke subgrafen te identificeren die verantwoordelijk zijn voor fysische consistentie.
Fundament voor Toekomstig Werk: Hoewel de huidige instantiatie zich richt op een lineaire wet (Doppler) en een specifieke transformer-architectuur, legt het framework de basis voor het adresseren van invarianten en de kwantificering van signaalstroom in complexere fysische AI-systemen.

De auteurs blijven bescheiden over de beperkingen en merken op dat het framework momenteel afhankelijk is van een vooraf verstrekte grondwet, lineaire wetten behandelt in deze specifieke instantiatie, en complexe spectrogrammen reduceert tot een enkel centroid, wat fijnere structurele kenmerken zou kunnen missen.