Technische Samenvatting: Mechanismen van Misgeneralisatie in Fysieke Sequentiemodeling

1. Probleemdefinitie: Fysieke Misgeneralisatie

Generatieve sequentiemodellen worden steeds vaker gebruikt om beweging te plannen in fysieke domeinen, zoals robotica, autonoom rijden en moleculaire dynamica. Ingenieurs stellen vaak datasets samen om de gewenste verdelingen over fysieke grootheden (bijvoorbeeld afgelegde afstand, mechanische energie) te specificeren door demonstratietrajecten te selecteren die een bepaald bereik bestrijken. De verwachting is dat een model dat op deze trajecten is getraind, de beoogde verdeling van deze fysieke grootheden tijdens de generatie zal reproduceren.

Echter, de auteurs identificeren een faalmodus die fysieke misgeneralisatie wordt genoemd. In dit scenario genereert een model weliswaar plausibele individuele trajecten (bijvoorbeeld het oplossen van een doolhof), maar slaagt het er niet in om de geaggregeerde verdeling van de relevante fysieke grootheid te behouden. Bijvoorbeeld, een diffusieplanner die is getraind op doolhofnavigatiedata met een uniforme verdeling van afgelegde afstanden, kan paden genereren die systematisch langer zijn dan de trainingsdata, waardoor de waarschijnlijkheidsmassa verschuift naar grotere afstanden. Dit gebeurt ondanks dat het model de lokale structuur van de beweging heeft geleerd, wat suggereert dat de marginale doelstelling van het minimaliseren van trajectverlies lokale afwijkingen toestaat die, wanneer geaggregeerd via een fysieke meting, leiden tot een vervormde globale verdeling.

2. Methodologie en Mechanistische Interpretatie

Formalisering

De auteurs formaliseren het probleem door de scalaire fysieke grootheid $r$ te scheiden van het traject $x$. Data wordt gegenereerd uit een gezamenlijke verdeling $\rho(r, z)$, waarbij $z$ de resterende variatie vertegenwoordigt. Het model wordt marginale getraind op trajecten $q(x) = \int p(x|r,z)\rho(r,z)drdz$. Het doel is dat de door het model geïnduceerde marginale verdeling over $r$, aangeduid als $\bar{\pi}_{model}$, overeenkomt met de doelprior $\pi(r)$. Het falen wordt gekwantificeerd als kwaliteitsdrift, gemeten door de afstand (bijvoorbeeld Totale Variatie) tussen $\bar{\pi}_{model}$ en $\pi$.

De Data-Afwijkingskern

Om deze drift te verklaren en te voorspellen, stellen de auteurs een mechanistische interpretatie voor gebaseerd op lokale modelfouten. Zij betogen dat standaard generatieve modellen (specifiek diffusiemodellen) kleine, lokale afwijkingen introduceren in de trajectruimte (bijvoorbeeld modusinterpolatie, signaalllek, lokale recombinatie). Hoewel deze afwijkingen klein zijn in de trajectruimte, kunnen ze worden versterkt of verschoven wanneer ze worden gemapt via een fysieke meetfunctie $m(r|x)$.

Om dit operationeel te maken, introduceren zij de Data-Afwijkingskern ($D_{arch}^\sigma$):

• Definitie: Een conditionele verdeling over afwijkingen $\delta$ rond een datatraject $x$, die samenvat hoe een specifieke architectuurfamilie waarschijnlijkheidsmassa verspreidt.
• Constructie: Voor diffusiemodellen wordt deze kern geïnstancierd door kleine fragmenten van een traject te verwisselen met vergelijkbare fragmenten uit andere trainingsdata (gewogen op basis van Gaussische afstand) en Gaussisch ruis toe te voegen om niet verklaarde variantie te compenseren.
• Voorspelling: De kern wordt gebruikt om een kwaliteit-transportkern $K_{dev}(r'|r)$ te berekenen, die de waarschijnlijkheid vertegenwoordigt dat een traject geassocieerd met grootheid $r$ na een afwijking wordt hersteld als $r'$. De voorspelde verdeling is dan $\bar{\pi}_{dev}(r') = \int K_{dev}(r'|r)\pi(r)dr$.

Cruciaal is dat dit voorspellingsmechanisme geen getraind model vereist; het is uitsluitend afhankelijk van de dataverdeling, de bekende foutneigingen van de architectuur en de meetregel.

3. Experimentele Validatie

De auteurs valideren hun mechanisme met zowel gecontroleerde synthetische taken als toegepaste fysieke systemen.

Synthetische Taken

Zij construeerden drie families van 1D-trajecten die worden gedicteerd door een scalaire parameter $r$:

1. Sinusoïde: $x_t = \frac{1}{2}(\sin(2\pi t/r + \phi_0) + 1)$. Dit dient als een baseline met een nul Lyapunov-exponent (geen foutversterking).
2. Tent-kaart: $x_{t+1} = r \min\{x_t, 1-x_t\}$. Een stuksgewijs lineaire kaart waarbij de gevoeligheid toeneemt met $r$.
3. Logistische kaart: $x_{t+1} = r x_t(1-x_t)$. Een niet-lineaire kaart met complexe dynamiek.

In deze taken trainden zij onvoorwaardelijke 1D U-Net diffusiemodellen. De resultaten toonden aan dat de op kern gebaseerde voorspellingen de richting en grootte van de waargenomen verdelingsverschuiving (drift) in de getrainde modellen nauwkeurig voorspelden. Bijvoorbeeld, het model vertegenwoordigde intermediate $r$-waarden in de Tent-kaart oververtegenwoordigd en hoge $r$-waarden ondervertegenwoordigd, wat overeenkwam met de voorspelling van de kern.

Toegepaste Taken

Het mechanisme werd getest op:

• Dubbele-sleng-simulatie: Trainen op hoektrajecten om mechanische energie te herstellen. Het model verschuift de energieverdeling omhoog, een trend die nauwkeurig werd voorspeld door de kern.
• Maze2D-navigatie: Trainen op D4RL-data om padlengte te herstellen. Het model produceerde paden met systematisch langere lengtes, opnieuw overeenkomend met de voorspelling van de kern voor een naar rechts verschoven, versmalde verdeling.

4. Mitigatiestrategieën

Het artikel evalueert drie categorieën interventies om fysieke misgeneralisatie te verminderen:

1. Dataset-modificatie (Herverweging): Pogingen om de trainingsdataset te herbekken door ondervertegenwoordigde grootheden te oversamplen. De auteurs vonden dit ineffectief en soms contraproductief. Omdat de generator marginale wordt getraind op trajecten, voorkomt herverweging niet dat lokale trajectfouten waarschijnlijkheidsmassa verschuiven over kwaliteitswaarden.
2. Generatieve Interface-modificatie (Conditionele Modellering): Het conditioneren van het model op de gewenste grootheid $r$. Hoewel dit goed werkte voor eenvoudige synthetische taken, slaagde het er niet in om de drift in complexe fysieke systemen (dubbele-sleng, Maze2D) volledig te corrigeren. Dit komt omdat conditioneren geen compensatie biedt voor lokale fouten in de trajectruimte en niet de gezamenlijke verdeling specificeert tussen de gevraagde grootheid en de noodzakelijke fysieke structuur (bijvoorbeeld doolhofgeometrie).
3. Transformatie van Data-representatie: Het gebruik van de kern om een nieuw coördinatenstelsel (een "code-ruimte") voor de invoerdata te construeren. Door codepunten te koppelen aan trainingsstrajecten zodat lokale decoderingsbuurten een gebalanceerd mengsel van kwaliteitswaarden herstellen, trainden de auteurs een onvoorwaardelijk model op deze codes. Deze aanpak verminderde de drift consistent over alle synthetische en toegepaste taken, terwijl de steekproefkwaliteit en diversiteit behouden bleven.

5. Belangrijkste Bijdragen en Betekenis

Het artikel levert de volgende bijdragen:

• Identificatie en Formalisering: Het definieert "fysieke misgeneralisatie" als een specifieke faalmodus waarbij marginale trainingsdoelstellingen leiden tot onjuiste geaggregeerde verdelingen van fysieke grootheden.
• Mechanistische Interpretatie: Het stelt voor dat lokale, door het model geïnduceerde afwijkingen, die worden voortgeplant via fysieke meetregels, de oorzaak zijn van distributie-drift.
• Voorspellend Hulpmiddel: Het ontwikkelt de Data-Afwijkingskern, een methode om verdelingsverschuivingen te voorspellen zonder een model te trainen, door architectuurfouten te simuleren.
• Empirische Validatie: Het toont aan dat dit mechanisme drift nauwkeurig voorspelt in zowel synthetische dynamische systemen als real-world toepassingen zoals doolhofnavigatie en sleng-simulatie.
• Mitigatie via Representatie: Het stelt een door kern-informatie gedreven transformatie van data-representatie voor en valideert deze als een structureel veelbelovende mitigatiestrategie, die dataset-herbalancing en conditionele modellering overtreft.

Betekenis

De auteurs betogen dat fysieke misgeneralisatie een voorspelbaar gevolg is van de interactie tussen lokale modelfouten en de geometrie van fysieke metingen. Dit werk verlegt de focus van individuele steekproefkwaliteit (likelihood, FID) naar de geaggregeerde distributie-eigenschappen van gegenereerde steekproeven. Door een mechanistische rekening en een voorspellend hulpmiddel te bieden, biedt het artikel een weg naar het ontwerpen van veiligere en transparantere fysieke AI-systemen, waarbij ervoor wordt gezorgd dat gegenereerd gedrag niet alleen voldoet aan lokale plausibiliteit, maar ook aan globale fysieke beperkingen en beoogde verdelingen.

Het artikel merkt ook op dat hoewel het huidige kader is toegespitst op diffusiemodellen, het onderliggende principe – dat lokale fouten in een generatief proces geaggregeerde fysieke grootheden kunnen vervormen – mogelijk van toepassing is op andere architecturen (bijvoorbeeld Transformers, VAE's) en domeinen (bijvoorbeeld tekst-naar-spraak, waar verschuivingen in spreektempo werden waargenomen), wat wijst op een bredere scope voor toekomstig onderzoek naar samengestelde kernen voor meerstaps-pijplijnen.