🤖 machine learning

Implicit Neural Representations of Individual Behavior

Dit artikel introduceert Behavioral INR, een zelfgesuperviseerd generatief model dat impliciete neurale representaties aanpast om beleidsidentiteiten te leren van ongelabelde, heterogene gedragsdata door beleidsregels te representeren als staat-actiefuncties gemoduleerd door latente variabelen, waardoor de identificeerbaarheid van beleid in complexe continue omgevingen wordt verbeterd en variabele episode-lengtes en out-of-distribution verschuivingen worden afgehandeld.

Oorspronkelijke auteurs: Andrew Kang, Priya Narasimhan

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrew Kang, Priya Narasimhan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, chaotische dansstudio binnenloopt. Binnen zijn honderden mensen tegelijkertijd aan het dansen. Sommigen doen ballet, anderen doen aan breakdance en weer anderen schuifelen maar wat rond. Het probleem? Er zijn geen naamkaartjes, geen muziek cues en geen choreografiebladen. Je ziet alleen maar een waas van beweging.

Jouw doel is om uit te zoeken: Wie danst wat? En belangrijker nog: kun je herkennen dat "Balletdanseres A" dezelfde persoon is, zelfs als ze in een ander deel van de kamer danst of op een ander tempo beweegt?

Dit is exact het probleem dat Andrew Kang en Priya Narasimhan aanpakken in hun paper, "Implicit Neural Representations of Individual Behavior." Ze introduceren een nieuw hulpmiddel genaamd Behavioral INR om dit puzzelstukje op te lossen.

Hier is de uitleg in simpele termen:

1. De oude manier: De "Fotoalbum"-aanpak

Eerdere methoden probeerden dit op te lossen door een "fotoalbum" van de dans te maken. Ze keken naar een opeenvolging van bewegingen (Stap 1, Stap 2, Stap 3) en probeerden de hele dans te samenvatten in één enkel label.

De tekortkoming: Als de danser van snelheid verandert, de kamergrootte verandert of de verlichting anders is, ziet het "fotoalbum" er totaal anders uit. De computer raakt in de war en denkt dat het een nieuwe danser is, ook al is het dezelfde persoon. Het vertrouwt op shortcuts, zoals "Oh, deze danser begint altijd met een draai," in plaats van de stijl van de dans zelf te begrijpen.

2. De nieuwe manier: De "Recept"-aanpak (Behavioral INR)

De auteurs realiseerden zich dat de stijl van een danser niet alleen een lijst met bewegingen is, maar een regelboek of een recept.

De analogie: Denk aan een recept voor chocoladecake.
- De ingrediënten (Toestand/State): De huidige situatie (bijv. "Het beslag is dun" of "De oven is heet").
- De actie (Action): Wat je vervolgens doet (bijv. "Voeg meer bloem toe" of "Zet het vuur lager").
- De Chef (Het Beleid/Policy): De specifieke persoon die de cake maakt.

De oude methoden probeerden de volgorde van gemaakte cakes te onthouden. De nieuwe methode, Behavioral INR, probeert het unieke recept van de Chef te leren. Het vraagt: "Gezien deze specifieke situatie, wat gaat deze specifieke chef waarschijnlijk doen?"

Ze gebruiken een wiskundige truc genaamd een Implicit Neural Representation (INR).

In Visie: Normaal gesproken worden INRs gebruikt om coördinaten (x, y) om te zetten in een kleur (RGB). Het is als een magische functie die precies weet welke kleur elke pixel in een afbeelding moet hebben, ongeacht hoeveel je inzoomt.
In Gedrag: Zij draaien dit om. In plaats van coördinaten naar kleuren, mappen ze Toestanden naar Acties. Het model leert een continue "functie" die een specifiek beleid (het gedrag van een specifieke agent) vertegenwoordigt.

3. Het geheime ingrediënt: De "Latente Code"

Om dit werkend te krijgen voor veel verschillende dansers (of beleidssystemen), gebruikt het model een Latente Code.

Zie dit als een uniek ID-bewijs of een DNA-streng voor elke danser.
Wanneer het model naar een nieuwe reeks bewegingen kijkt, probeert het het juiste ID-bewijs te vinden dat, wanneer het in het "recept" wordt geplaatst, perfect verklaart waarom de danser zich zo bewoog als hij deed.
Cruciaal is dat het model niet verteld hoeft te worden: "Dit is Danser A." Het ontdekt het uit zichzelf door te zien welk ID-bewijs het beste bij de data past.

4. Waarom dit een groot ding is (De "Zoom"-test)

Het paper test dit in enkele zeer uitdagende scenario's:

Variabele Lengte: Net zoals je kunt inzoomen of uitzoomen op een afbeelding met een hoge resolutie zonder dat deze pixelig wordt, kan dit model een dans van 10 stappen of 1.000 stappen aan. De lengte maakt niet uit; het gaat om de onderliggende regel.
De "Out-of-Distribution"-test: Stel je voor dat je een danser traint in een kleine kamer, en je test diezelfde danser vervolgens in een gigantisch stadion.
- Oude methoden falen omdat de "foto" van de kamer er anders uitziet.
- Behavioral INR slaagt, omdat het het recept heeft geleerd. Het weet: "Als de kamer groot is, voegt deze chef nog steeds dezelfde hoeveelheid zout toe." Het identificeert de persoon, niet de omgeving.

5. Waar het het beste werkt

De auteurs ontdekten dat deze "Recept"-aanpak uitblinkt wanneer het gedrag complex is en de omgeving lastig.

Het wint in complexe, continue werelden (zoals Formule 1-racerij of robotarmen) waar de "regels" van het gedrag subtiel zijn en moeilijk te raden zijn door alleen naar een paar bewegingen te kijken.
Het doet gelijk of verliest in simpelere werelden (zoals Schaken of eenvoudige robottaken) waar het gedrag zo voor de hand liggend of repetitief is dat een simpel "fotoalbum" (kijken naar eerdere zetten) genoeg is om te raden wie er speelt.

Samenvatting

Het paper introduceert Behavioral INR, een hulpmiddel dat iemands gedrag niet behandelt als een lijst met eerdere acties, maar als een continue, onzichtbare functie (een recept) die bepaalt hoe zij op de wereld reageren.

Door dit "recept" te leren, kan de AI identificeren wie er handelt, zelfs als diegene handelt in een nieuwe omgeving, op een ander tempo, of een ander aantal stappen uitvoert. Het is also wordt het herkennen van de kookstijl van een chef door hun unieke manier van kruiden, in plaats van alleen de lijst met gerechten die ze gemaakt hebben te onthouden.

Technische Samenvatting: Impliciete Neurale Representaties van Individueel Gedrag

Probleemstelling

Het artikel behandelt de uitdaging van beleidsrepresentatie-leren van ongelabelde multi-policy gedragsdata. In veel reële domeinen—zoals robotica-spel, sport, racen en game-logs—bevatten datasets trajecten gegenereerd door meerdere verschillende beleidsregels (bijv. verschillende spelers, bestuurders of demonstranten), maar is de specifieke beleidsregel die verantwoordelijk is voor elke episode onbekend.

Het kernobjectief is het afleiden van een latente representatie $z_i$ voor elke episode om de onderliggende beleidsidentiteit te herstellen zonder supervisie. De auteurs gaan ervan uit dat binnen een enkele episode het beleid constant is, maar dat er tijdens de training geen beleidslabels, paargewijze beperkingen of omgevingsparameters beschikbaar zijn. De representatie moet offline en zelfgesuperviseerd worden afgeleid, uitsluitend op basis van de state-action structuur van de episode.

Een kritieke uitdaging die wordt geïdentificeerd is de beleidsniveau Out-of-Distribution (OOD) verschuiving. Standaard gedragsmatige OOD-settings variëren vaak in agenten of omgevingen. Echter, in multi-policy imitatie-data doen twee extra assen van verschuiving zich voor:

State-distributieverschuiving: Dezelfde beleidsregel wordt geëvalueerd op verschillende state-distributies.
Action-distributieverschuiving: Marginale actie-statistieken veranderen tussen train- en testsplits.

Het artikel betoogt dat veel bestaande methoden falen onder deze verschuivingen omdat ze vertrouwen op "shortcut learning"—het identificeren van beleidsregels op basis van marginale state-distributies $p(s)$ of actie-distributies $p(a)$ , in plaats van de ware conditionele beleidskaart $\pi(a|s)$ .

Methodologie: Behavioral INR

De auteurs introduceren Behavioral INR (Implicit Neural Representation), een zelfgesuperviseerd generatief model dat het concept van INR's uit de computer vision aanpast aan gedragsdata.

Kernconcept

In computer vision representeren INR's een afbeelding als een continue functie die ruimtelijke coördinaten naar RGB-waarden mapt. Behavioral INR representeert een beleidsregel als een functie die states naar acties mapt.

Functionele Representatie: Een episode wordt behandeld als een verzameling monsters van een onderliggende state-action functie.
Latente Modulatie: Een gedeelde state-naar-actie netwerk (een MLP) wordt gemoduleerd door een episode-niveau latente code $z_i$ via FiLM (Feature-wise Linear Modulation) lagen.
Objectief: De latente code $z_i$ moet verklaren hoe acties variëren als functie van states, in plaats van enkel de trajectgeschiedenis samen te vatten.

Architectuur en Training

Decoder: Een 3-block FiLM-gemoduleerde MLP die een state als input neemt en de daaropvolde actie voorspelt.
Latente Inferentie: In tegenstelling tot geamortiseerde encoders die geschiedenis direct naar een latente waarde mappen, behandelt Behavioral INR extractie van representaties als functie-fitting. Tijdens de testfase zijn de gedeelde INR-gewichten bevroren, en wordt de episode-latente $z_i$ geoptimaliseerd via gradiëntafdaling op de geobserveerde state-action paren van die specifieke episode om de voorspellingsfout te minimaliseren.
Training: Het model wordt getraind op batches van state-action geschiedenis, huidige states en volgende acties met behulp van regressieverlies (continu) of cross-entropy (discreet). Er worden geen beleidslabels gebruikt tijdens de training.

Baselines

Het artikel vergelijkt Behavioral INR met verschillende getrouwe adaptaties van bestaande representatiemechanismen die geen beleidslabels vereisen:

CVAE-Transf./RNN: Traject-autoencoders die Transformers of RNN's gebruiken om geschiedenis te encoderen en acties te decoderen.
VQ-VAE: Discrete traject-codering.
History-conditioned INR: Een INR-decoder waarbij de latente waarde nog steeds wordt geproduceerd door een standaard geamortiseerde geschiedenissen-encoder (wat het voordeel van de INR-decoder scheidt van het voordeel van de gefitte latente waarde).
Diffusiemodellen: Conditionele DDPM-stijl actie-voorspellers.
Behavior Embedding Maps (BEM): Niet-parametrische clustering van state-action paren.

Belangrijkste Bijdragen

Behavioral INR Framework: Een nieuwe formulering van beleidsrepresentatie als een impliciete neurale functie, waarbij de latente code een gedeelde state-action mapping moduleert.
Beleidsniveau OOD Definitie: Een formalisering van OOD-verschuivingen specifiek voor multi-policy datasets (state-distributie en actie-distributie verschuivingen), ontworpen om te testen of modellen de conditionele beleidskaart leren of marginale shortcuts.
Empirische Analyse van Shortcuts: Een systematische evaluatie die aantoont dat wanneer beleidsidentiteit kan worden teruggevonden uit marginale state/actie-verdelingen, symbolische repetitie of laag-dimensionale statistieken, geamortiseerde geschiedenis-encoders competitief blijven. Echter, Behavioral INR presteert significant beter in "harde" regimes waar de conditionele state-action functie moet worden teruggevormd.

Resultaten

De auteurs evalueren op synthetische Gaussian Random Field (GRF) data, MuJoCo (Minari en augmented Hopper), DM Lab Seek-Avoid, Lichess (schaken), DROID (robotica) en FastF1 (Formule 1).

Synthetische & MuJoCo Schaling: In gecontroleerde settings met langere episodes, meer beleidsregels en OOD-splits (bijv. Hopper 10x/20x), bereikt Behavioral INR consistent hogere linear probe accuratesse en kNN accuratesse voor het herstel van beleidsidentiteit vergeleken met geamortiseerde baselines. Terwijl baselines vaak degraderen naarmate episode-lengte en OOD-moeilijkheidsgraad toenemen, behoudt Behavioral INR een bijna perfecte probe-accuratesse.
Real-World Domeinen:
- FastF1: Behavioral INR is de sterkste performer, wat aantoont dat gefitte functionele representaties beter schalen wanneer het aantal beleidsregels toeneft en shortcuts zwak zijn.
- DROID: De resultaten zijn competitief, hoewel actie-marginalen sterke shortcuts bieden in deze laag-dimensionale setting.
- Lichess: De prestaties zijn lager dan die van baselines. De auteurs wijten dit aan de structuur van het domein: symbolische bord-states, herhaalde openingen en ijle (sparse) zet-distributies maken het mogelijk voor andere methoden om shortcuts te exploiteren waar Behavioral INR niet op vertrouwt.
OOD Robuustheid: Behavioral INR is het meest effectief wanneer de taak vereist de complexe conditionele map $\pi(a|s)$ af te leiden in plaats van te vertrouwen op $p(s)$ of $p(a)$ . In settings waar beleidsregels overlappen in states of acties, slaagt Behavioral INR erin identiteit te herstellen waar andere methoden falen.

Betekenis en Claims

Het artikel claimt dat Behavioral INR een robuustere representatie biedt voor beleidsidentiteit in continue, complexe state-action ruimtes, vooral wanneer data ongelabeld is en distributieverschuivingen aanwezig zijn.

De auteurs benadrukken dat hun resultaten niet suggereren dat Behavioral INR in elk domein domineert. In plaats daarvan identificeren zij een specifiek regime:

Wanneer het het best werkt: Wanneer beleidsidentiteit moet worden afgeleid uit een complexe, niet-lineaire state-geconditioneerde functie, en marginale shortcuts (state- of actie-frequenties) onvoldoende of misleidend zijn.
Wanneer het competitief is: Wanneer beleidsidentiteit kan worden teruggevonden via state/actie-shortcuts, symbolische repetitie of laag-dimensionale actie-statistieken, blijven geamortiseerde geschiedenis-encoders effectief.

Het werk suggereert dat het behandelen van gedrag als een functie die gefit moet worden, in plaats van een sequentie die samengevat moet worden, een duidelijk voordeel biedt voor het begrijpen van heterogene datasets in robotica, gaming en sport, mits de onderliggende beleidsstructuur voldoende complex is om shortcut-learning te voorkomen.