🤖 machine learning

Implicit Neural Representations of Individual Behavior

Dieses Paper führt Behavioral INR ein, ein selbstüberwachtes generatives Modell, das implizite neuronale Repräsentationen anpasst, um aus unbeschrifteten, heterogenen Verhaltensdaten Identitäten von Policies zu erlernen, indem es Policies als Zustands-Aktions-Funktionen darstellt, die durch latente Variablen moduliert werden, wodurch dadurch die Identifizierbarkeit von Policies in komplexen kontinuierlichen Settings verbessert und der Umgang mit variablen Episodenlängen sowie Out-of-Distribution-Shifts ermöglicht wird.

Ursprüngliche Autoren: Andrew Kang, Priya Narasimhan

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrew Kang, Priya Narasimhan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten ein riesiges, chaotisches Tanzstudio. Im Inneren tanzen hunderte Menschen gleichzeitig. Einige machen Ballett, einige Breakdance und andere bewegen sich einfach nur rhythmisch vor sich hin. Das Problem? Es gibt keine Namensschilder, keine Musiksignale und keine Choreografie-Blätter. Sie sehen nur ein Verschwimmen von Bewegungen.

Ihr Ziel ist es herauszufinden: Wer tanzt was? Und noch wichtiger: Können Sie erkennen, dass „Ballett-Tänzer A“ dieselbe Person ist, selbst wenn er in einem anderen Teil des Raumes oder mit einer anderen Geschwindigkeit tanzt?

Genau dieses Problem lösen Andrew Kang und Priya Narasimhan in ihrem Paper „Implicit Neural Representations of Individual Behavior.“ Sie führen ein neues Werkzeug namens Behavioral INR ein, um dieses Rätsel zu lösen.

Hier ist die Aufschlüsselung in einfachen Worten:

1. Der alte Weg: Der „Fotoalbum“-Ansatz

Frühere Methoden versuchten, dies zu lösen, indem sie ein „Fotoalbum“ des Tanzes erstellten. Sie betrachteten eine Sequenz von Bewegungen (Schritt 1, Schritt 2, Schritt 3) und versuchten, das Ganze in ein einzelnes Label zusammenzufassen.

Der Fehler: Wenn der Tänzer seine Geschwindigkeit ändert, die Raumgröße oder die Beleuchtung variiert, sieht das „Fotoalbum“ völlig anders aus. Der Computer wird verwirrt und denkt, es handele sich um einen neuen Tänzer, obwohl es dieselbe Person ist. Er verlässt sich auf Abkürzungen, wie zum Beispiel: „Oh, dieser Tänzer beginnt immer mit einer Drehung“, anstatt den eigentlichen Stil des Tanzes zu verstehen.

2. Der neue Weg: Der „Rezept“-Ansatz (Behavioral INR)

Die Autoren erkannten, dass der Stil eines Tänzers nicht nur eine Liste von Bewegungen ist, sondern ein Regelwerk oder ein Rezept.

Die Analogie: Denken Sie an ein Rezept für einen Schokoladenkuchen.
- Die Zutaten (Zustand/State): Die aktuelle Situation (z. B. „Der Teig ist flüssig“ oder „Der Ofen ist heiß“).
- Die Aktion (Action): Was man als Nächstes tut (z. B. „Mehr Mehl hinzufügen“ oder „Die Hitze reduzieren“).
- Der Koch (Die Policy): Die spezifische Person, die den Kuchen backt.

Die alten Methoden versuchten, die Sequenz der gemachten Kuchen auswendig zu lernen. Die neue Methode, Behavioral INR, versucht, das einzigartige Rezept des Kochs zu lernen. Sie fragt: „Was wird dieser spezifische Koch angesichts dieser spezifischen Situation wahrscheinlich als Nächstes tun?“

Sie verwenden einen mathematischen Trick namens Implicit Neural Representation (INR).

In der Bildverarbeitung: Normalerweise werden INRs verwendet, um Koordinaten (x, y) in eine Farbe (RGB) umzuwandeln. Es ist wie eine magische Funktion, die genau weiß, welche Farbe jeder Pixel in einem Bild haben muss, egal wie sehr man hineinzoomt.
Im Verhalten: Sie kehren dies um. Anstatt Koordinaten zu Farben, bilden sie Zustände auf Aktionen (States to Actions) ab. Das Modell lernt eine kontinuierliche „Funktion“, die eine spezifische Policy (das Verhalten eines spezifischen Agenten) repräsentiert.

3. Das Geheimrezept: Der „Latent Code“

Um dies für viele verschiedene Tänzer (oder Policies) zum Laufen zu bringen, nutzt das Modell einen Latent Code.

Betrachten Sie dies als eine einzigartige ID-Karte oder eine DNA-Struktur für jeden Tänzer.
Wenn das Modell eine neue Sequenz von Bewegungen sieht, versucht es, die richtige ID-Karte zu finden, die, wenn man sie in das „Rezept“ einfügt, perfekt erklärt, warum sich der Tänzer so bewegt hat, wie er es tat.
Entscheidend ist: Das Modell muss nicht gesagt bekommen: „Das ist Tänzer A“. Es findet es selbst heraus, indem es prüft, welche ID-Karte die Daten am besten erklärt.

4. Warum das eine große Sache ist (Der „Zoom“-Test)

Das Paper testet dies in einigen sehr schwierigen Szenarien:

Variable Länge: Genau wie man in ein hochauflösendes Bild hinein- oder herauszoomen kann, ohne dass es verpixelt, kann dieses Modell einen Tanz verarbeiten, der 10 Schritte lang ist oder 1.000 Schritte. Die Länge ist ihm egal; es interessiert sich für die zugrunde liegende Regel.
Der „Out-of-Distribution“-Test: Stellen Sie sich vor, Sie trainieren das Modell mit einem Tänzer in einem kleinen Raum und testen ihn dann in einem riesigen Stadion.
- Alte Methoden scheitern, weil das „Foto“ des Raumes anders aussieht.
- Behavioral INR ist erfolgreich, weil es das Rezept gelernt hat. Es weiß: „Wenn der Raum groß ist, fügt dieser Koch immer noch die gleiche Menge Salz hinzu.“ Es identifiziert die Person, nicht die Umgebung.

5. Wo es am besten funktioniert

Die Autoren fanden heraus, dass dieser „Rezept“-Ansatz besonders dann glänzt, wenn das Verhalten komplex ist und die Umgebung schwierig ist.

Es gewinnt in komplexen, kontinuierlichen Welten (wie Formel-1-Rennen oder Roboterarmen), in denen die „Regeln“ des Verhaltens subtil sind und man sie nicht einfach durch das bloße Ansehen weniger Bewegungen erraten kann.
Es kommt zum Gleichstand oder verliert in einfacheren Welten (wie Schach oder einfache Robotik-Aufgaben), in denen das Verhalten so offensichtlich oder repetitiv ist, dass ein einfaches „Fotoalbum“ (das Betrachten vergangener Züge) ausreicht, um zu erraten, wer spielt.

Zusammenfassung

Das Paper stellt Behavioral INR vor, ein Werkzeug, das das Verhalten eines Menschen nicht als eine Liste vergangener Handlungen betrachtet, sondern als eine kontinuierliche, unsichtbare Funktion (ein Rezept), die bestimmt, wie er auf die Welt reagiert.

Indem es dieses „Rezept“ lernt, kann die KI identifizieren, wer handelt – selbst wenn diese Person in einer neuen Umgebung, mit einer anderen Geschwindigkeit oder mit einer anderen Anzahl von Schritten handelt. Es ist, als würde man den Kochstil eines Chefs anhand seiner einzigartigen Art zu würzen erkennen, anstatt nur die Liste der Gerichte auswendig zu lernen, die er zubereitet hat.

Technisches Resümee: Implizite neuronale Repräsentationen von individuellem Verhalten

Problemstellung

Die Arbeit adressiert die Herausforderung der Lernen von Policy-Repräsentationen aus unbeschrifteten Multi-Policy-Verhaltensdaten. In vielen realen Domänen – wie etwa beim spielerischen Verhalten von Robotern, im Sport, beim Rennsport oder in Spielprotokollen – enthalten Datensätze Trajektorien, die von mehreren unterschiedlichen Policies generiert wurden (z. B. verschiedene Spieler, Fahrer oder Demonstranten), wobei die für jede Episode verantwortliche Policy unbekannt ist.

Das Kernziel besteht darin, eine latente Repräsentation $z_i$ für jede Episode zu inferieren, die die zugrunde liegende Policy-Identität ohne Überwachung wiederherstellt. Die Autoren gehen davon aus, dass innerhalb einer einzelnen Episode die Policy konstant ist, aber während des Trainings keine Policy-Labels, paarweisen Constraints oder Umgebungsparameter zur Verfügung stehen. Die Repräsentation muss offline und selbstüberwacht ausschließlich aus der State-Action-Struktur der Episode inferiert werden.

Eine kritische Identifizierte Herausforderung ist der Policy-bezogene Out-of-Distribution (OOD) Shift. Standardmäßige Verhaltens-OOD-Settings variieren oft Agenten oder Umgebungen. In Multi-Policy-Imitationsdaten entstehen jedoch zwei zusätzliche Achsen des Shifts:

State-Distribution Shift: Dieselbe Policy wird auf unterschiedlichen Zustandsverteilungen evaluiert.
Action-Distribution Shift: Marginale Aktionsstatistiken ändern sich zwischen Trainings- und Test-Splits.

Die Autoren argumentieren, dass viele bestehende Methoden unter diesen Shifts scheitern, da sie auf „Shortcut Learning“ zurückgreifen – also Identifizierung von Policies basierend auf marginalen Zustandsverteilungen $p(s)$ oder Aktionsverteilungen $p(a)$ , statt auf der wahren bedingten Policy-Map $\pi(a|s)$ .

Methodik: Behavioral INR

Die Autoren führen Behavioral INR (Implicit Neural Representation) ein, ein selbstüberwachtes generatives Modell, das das Konzept der INRs aus der Computer Vision auf Verhaltensdaten adaptiert.

Kernkonzept

In der Computer Vision repräsentieren INRs ein Bild als kontinuierliche Funktion, die räumliche Koordinaten auf RGB-Werte abbildet. Behavioral INR repräsentiert eine Policy als Funktion, die Zustände auf Aktionen abbildet.

Funktionsrepräsentation: Eine Episode wird als eine Menge von Stichproben aus einer zugrunde liegenden State-Action-Funktion behandelt.
Latente Modulation: Ein gemeinsam genutztes State-to-Action-Netzwerk (ein MLP) wird durch ein episodenweites latentes Kodierungsschema $z_i$ via FiLM (Feature-wise Linear Modulation)-Schichten moduliert.
Zielsetzung: Der latente Code $z_i$ muss erklären, wie Aktionen als Funktion von Zuständen variieren, anstatt lediglich die Trajektorienhistorie zusammenzufassen.

Architektur und Training

Decoder: Ein 3-Block umfassendes, FiLM-moduliertes MLP, das einen Zustand als Input nimmt und die darauffolgende Aktion vorhersagt.
Latente Inferenz: Im Gegensatz zu amortisierten Encodern, die die Historie direkt auf ein Latent abbilden, behandelt Behavioral INR die Extraktion der Repräsentation als Funktionsanpassung (Function Fitting). Zum Testzeitpunkt werden die geteilten INR-Gewichte eingefroren, und der latente Code $z_i$ der Episode wird mittels Gradientenabstieg auf den beobachteten State-Action-Paaren dieser spezifischen Episode optimiert, um den Vorhersagefehler zu minimieren.
Training: Das Modell wird auf Batches von State-Action-Historien, aktuellen Zuständen und nächsten Aktionen unter Verwendung eines Regressionsverlusts (kontinuierlich) oder Cross-Entropy (diskret) trainiert. Es werden keine Policy-Labels während des Trainings verwendet.

Baselines

Die Arbeit vergleicht Behavioral INR mit mehreren getreuen Adaptionen existierender Repräsentationsmechanismen, die keine Policy-Labels erfordern:

CVAE-Transf./RNN: Trajektorien-Autoencoder, die Transformer oder RNNs nutzen, um die Historie zu kodieren und Aktionen zu dekodieren.
VQ-VAE: Diskrete Trajektorien-Kodierung.
History-conditioned INR: Ein INR-Decoder, bei dem das Latent durch einen standardmäßigen amortisierten Historien-Encoder erzeugt wird (um den Vorteil des INR-Decoders vom Vorteil des angepassten Latents zu trennen).
Diffusion Models: Bedingte DDPM-ähnliche Action-Prädiktoren.
Behavior Embedding Maps (BEM): Nicht-parametrische Clusterung von State-Action-Paaren.

Wichtigste Beiträge

Behavioral INR Framework: Eine neuartige Formulierung der Policy-Repräsentation als implizite neuronale Funktion, bei der der latente Code eine gemeinsame State-Action-Abbildung moduliert.
Policy-bezogene OOD-Definition: Eine Formalisierung von OOD-Shifts spezifisch für Multi-Policy-Datensätze (State-Distribution- und Action-Distribution-Shifts), die darauf ausgelegt sind, zu testen, ob Modelle die bedingte State-Action-Map oder lediglich marginale Shortcuts lernen.
Empirische Analyse von Shortcuts: Eine systematische Evaluierung, die zeigt, dass Amortized History Encoder in Regimen, in denen die Policy-Identität aus marginalen Zustands-/Aktionsverteilungen, symbolischer Repetition oder niedrigdimensionalen Statistiken rekonstruiert werden kann, konkurrenzfähig bleiben. Behavioral INR hingegen übertrifft diese Baselines signifikant in „harten“ Regimen, in denen die bedingte State-Action-Funktion rekonstruiert werden muss.

Ergebnisse

Die Autoren evaluieren auf synthetischen Gaussian Random Field (GRF) Daten, MuJoCo (Minari und augmentierter Hopper), DM Lab Seek-Avoid, Lichess (Schach), DROID (Robotik) und FastF1 (Formel 1).

Synthetische & MuJoCo Skalierung: In kontrollierten Settings mit längeren Episoden, mehr Policies und OOD-Splits (z. B. Hopper 10x/20x) erreicht Behavioral INR konsistent höhere Linear Probe Accuracy und kNN Accuracy für die Wiederherstellung der Policy-Identität im Vergleich zu amortisierten Baselines. Während Baselines oft degradieren, wenn Episodenlänge und OOD-Schwierigkeit zunehmen, hält Behavioral INR eine nahezu perfekte Probe Accuracy.
Real-World Domänen:
- FastF1: Behavioral INR ist der stärkste Performer und demonstriert, dass angepasste funktionale Repräsentationen besser skalieren, wenn die Anzahl der Policies steigt und Shortcuts schwach sind.
- DROID: Die Ergebnisse sind konkurrenzfähig, obwohl Aktions-Marginalen in diesem niedrigdimensionalen Setting starke Shortcuts bieten.
- Lichess: Die Performance ist niedriger als bei Baselines. Die Autoren führen dies auf die Struktur der Domäne zurück: Symbolische Board-Zustände, wiederholte Eröffnungen und spärliche Zugverteilungen erlauben es anderen Methoden, Shortcuts zu nutzen, auf die Behavioral INR nicht angewiesen ist.
OOD Robustheit: Behavioral INR ist am effektivsten, wenn die Aufgabe die Inferenz der komplexen bedingten Map $\pi(a|s)$ erfordert, anstatt sich auf $p(s)$ oder $p(a)$ zu verlassen. In Settings, in denen sich Policies in Zuständen oder Aktionen überschneiden, stellt Behavioral INR die Identität erfolgreich wieder her, wo andere Methoden versagen.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass Behavioral INR eine robustere Repräsentation für die Policy-Identität in kontinuierlichen, komplexen State-Action-Räumen bietet, insbesondere wenn die Daten unbeschriftet sind und Verteilungsverschiebungen vorliegen.

Die Autoren betonen, dass ihre Ergebnisse nicht implizieren, dass Behavioral INR in jeder Domäne dominiert. Stattdessen identifizieren sie ein spezifisches Regime:

Wann es am besten funktioniert: Wenn die Policy-Identität aus einer komplexen, nicht-linearen, zustandsbedingten Funktion abgeleitet werden muss und marginale Shortcuts (State- oder Action-Frequenzen) unzureichend oder irreführend sind.
Wann es konkurrenzfähig ist: Wenn die Policy-Identität über State/Action-Shortcuts, symbolische Repetition oder niedrigdimensionale Aktionsstatistiken rekonstruiert werden kann, bleiben amortisierte Historien-Encoder effektiv.

Die Arbeit legt nahe, dass die Behandlung von Verhalten als eine anzupassende Funktion – statt als eine zu zusammenfassende Sequenz – einen deutlichen Vorteil für das Verständnis heterogener Datensätze in Robotik, Gaming und Sport bietet, sofern die zugrunde liegende Policy-Struktur ausreichend komplex ist, um Shortcut-Learning zu verhindern.