🤖 machine learning

Implicit Neural Representations of Individual Behavior

Ce document introduit Behavioral INR, un modèle génératif auto-supervisé qui adapte les représentations neurales implicites pour apprendre des identités de politiques à partir de données comportementales non étiquetées et hétérogènes en représentant les politiques comme des fonctions état-action modulées par des variables latentes, améliorant ainsi l'identifiabilité des politiques dans des contextes continus complexes et gérant les longueurs d'épisodes variables ainsi que les décalages de distribution hors échantillon.

Auteurs originaux : Andrew Kang, Priya Narasimhan

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrew Kang, Priya Narasimhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entriez dans un immense studio de danse chaotique. À l'intérieur, des centaines de personnes dansent simultanément. Certaines font du ballet, d'autres du breakdance, et d'autres ne font que dandiner. Le problème ? Il n'y a pas de badges nominatifs, pas de signaux musicaux, ni de feuilles de chorégraphie. Vous ne voyez qu'un flou de mouvements.

Votre objectif est de comprendre : Qui danse quoi ? Et plus important encore, pouvez-vous dire que « Danseur de Ballet A » est la même personne, même s'il danse dans une autre partie de la pièce ou à une vitesse différente ?

C'est exactement le problème que Andrew Kang et Priya Narasimhan abordent dans leur article, « Implicit Neural Representations of Individual Behavior ». Ils introduisent un nouvel outil appelé Behavioral INR pour résoudre ce casse-tête.

Voici la décomposition en termes simples :

1. L'ancienne méthode : L'approche de l'« album photo »

Les méthodes précédentes tentaient de résoudre cela en prenant un « album photo » de la danse. Elles regardaient une séquence de mouvements (Étape 1, Étape 2, Étape 3) et tentaient de résumer l'ensemble en une étiquette unique.

La faille : Si le danseur change de vitesse, de taille de pièce ou d'éclairage, l'« album photo » semble totalement différent. L'ordinateur est confus et pense qu'il s'agit d'un nouveau danseur, même s'il s'agit de la même personne. Il s'appuie sur des raccourcis, comme « Oh, ce danseur commence toujours par un tour », plutôt que de comprendre le style de la danse elle-même.

2. La nouvelle méthode : L'approche de la « recette » (Behavioral INR)

Les auteurs ont réalisé que le style d'un danseur n'est pas seulement une liste de mouvements ; c'est un livre de règles ou une recette.

L'analogie : Pensez à une recette de gâteau au chocolat.
- Les ingrédients (État) : La situation actuelle (ex : « La pâte est liquide » ou « Le four est chaud »).
- L'action : Ce que vous faites ensuite (ex : « Ajouter plus de farine » ou « Baisser le feu »).
- Le Chef (La Politique/Policy) : La personne spécifique qui prépare le gâteau.

Les anciennes méthodes essayaient de mémoriser la séquence des gâteaux préparés. La nouvelle méthode, Behavioral INR, essaie d'apprendre la recette unique du Chef. Elle demande : « Étant donné cette situation spécifique, que est-ce que ce chef particulier est susceptible de faire ensuite ? »

Ils utilisent un tour mathématique appelé Représentation Neurale Implicite (INR).

En vision : Habituellement, les INR sont utilisées pour transformer des coordonnées (x, y) en une couleur (RVB). C'est comme une fonction magique qui sait exactement quelle couleur chaque pixel doit avoir, peu importe le niveau de zoom.
En comportement : Ils inversent cela. Au lieu de coordonnées vers des couleurs, ils mappent des États vers des Actions. Le modèle apprend une « fonction » continue qui représente une politique spécifique (le comportement d'un agent spécifique).

3. La recette secrète : Le « Code Latent »

Pour que cela fonctionne pour de nombreux danseurs différents (ou politiques), le modèle utilise un Code Latent.

Considérez cela comme une carte d'identité unique ou une empreinte ADN pour chaque danseur.
Lorsque le modèle observe une nouvelle séquence de mouvements, il essaie de trouver la bonne carte d'identité qui, lorsqu'elle est injectée dans la « recette », explique parfaitement pourquoi le danseur s'est déplacé de cette manière.
Crucialement, le modèle n'a pas besoin qu'on lui dise « C'est le Danseur A ». Il le découvre par lui-même en voyant quelle carte d'identité correspond le mieux aux données.

4. Pourquoi c'est important (Le test du « Zoom »)

L'article teste cela dans des scénarios très difficiles :

Longueur variable : Tout comme vous pouvez zoomer ou dézoomer sur une image haute résolution sans qu'elle devienne pixelisée, ce modèle peut gérer une danse de 10 étapes ou de 1 000 étapes. Il ne se soucie pas de la longueur ; il se soucie de la règle sous-jacente.
Le test « Hors Distribution » (Out-of-Distribution) : Imaginez que vous entraîniez le modèle sur un danseur dans une petite pièce, puis que vous le testiez dans un immense stade.
- Les anciennes méthodes échouent car la « photo » de la pièce est différente.
- Behavioral INR réussit car il a appris la recette. Il sait que « Si la pièce est grande, ce chef ajoute toujours la même quantité de sel ». Il identifie la personne, pas l'environnement.

5. Là où cela fonctionne le mieux

Les auteurs ont découvert que cette approche de la « Recette » excelle lorsque le comportement est complexe et l'environnement difficile.

Elle gagne dans des mondes complexes et continus (comme la Formule 1 ou les bras robotiques) où les « règles » du comportement sont subtiles et difficiles à deviner simplement en regardant quelques mouvements.
Elle égale ou perd dans des mondes plus simples (comme les échecs ou des tâches robotiques simples) où le comportement est si évident ou répétitif qu'une simple « album photo » (regarder les mouvements passés) suffit pour deviner qui joue.

Résumé

L'article présente le Behavioral INR, un outil qui traite le comportement d'une personne non pas comme une liste d'actions passées, mais comme une fonction continue et invisible (une recette) qui dicte comment ils réagissent au monde.

En apprenant cette « recette », l'IA peut identifier qui agit, même si cette personne agit dans un nouvel environnement, à une vitesse différente ou effectue un nombre différent d'étapes. C'est comme reconnaître le style de cuisine d'un chef grâce à sa façon unique d'assaisonner, plutôt que de simplement mémoriser la liste des plats qu'il a préparés.

Résumé Technique : Représentations Neurales Implicites du Comportement Individuel

Énoncé du Problème

Le papier traite du défi de l'apprentissage de la représentation de politique à partir de données comportementales multi-politiques non étiquetées. Dans de nombreux domaines du monde réel — tels que le jeu en robotique, le sport, la course automobile et les journaux de jeux — les ensembles de données contiennent des trajectoires générées par plusieurs politiques distinctes (par exemple, différents joueurs, conducteurs ou démonstrateurs), mais la politique responsable de chaque épisode est inconnue.

L'objectif central est d'inférer une représentation latente $z_i$ pour chaque épisode afin de récupérer l'identité de la politique sous-jacente sans supervision. Les auteurs supposent qu'au sein d'un même épisode, la politique est fixe, mais qu'aucune étiquette de politique, aucune contrainte par paire, ni aucun paramètre d'environnement n'est disponible pendant l'entraînement. La représentation doit être inférée de manière hors ligne et auto-supervisée, uniquement à partir de la structure état-action de l'épisode.

Un défi critique identifié est le décalage de distribution (OOD) au niveau de la politique. Les réglages OOD comportementaux standards varient souvent selon les agents ou les environnements. Cependant, dans les données d'imitation multi-politiques, deux axes supplémentaires de décalage apparaissent :

Décalage de distribution d'état : La même politique est évaluée sur différentes distributions d'états.
Décalage de distribution d'action : Les statistiques marginales des actions changent entre les divisions d'entraînement et de test.

Le papier soutient que de nombreuses méthodes existantes échouent face à ces décalages car elles reposent sur l'« apprentissage par raccourcis » (shortcut learning) — l'identification des politiques basée sur les distributions marginales d'états $p(s)$ ou d'actions $p(a)$ plutôt que sur la véritable carte de la politique conditionnelle $\pi(a|s)$ .

Méthodologie : Behavioral INR

Les auteurs introduisent le Behavioral INR (Représentation Neurale Implicite Comportementale), un modèle génératif auto-supervisé qui adapte le concept des INR de la vision par ordinateur aux données comportementales.

Concept Central

En vision, les INR représentent une image comme une fonction continue faisant correspondre des coordonnées spatiales à des valeurs RGB. Le Behavioral INR représente une politique comme une fonction faisant correspondre des états à des actions.

Représentation de fonction : Un épisode est traité comme un ensemble d'échantillons provenant d'une fonction état-action sous-jacente.
Modulation Latente : Un réseau état-vers-action partagé (un MLP) est modulé par un code latent au niveau de l'épisode $z_i$ via des couches FiLM (Feature-wise Linear Modulation).
Objectif : Le code latent $z_i$ doit expliquer comment les actions varient en fonction des états, plutôt que de simplement résumer l'historique de la trajectoire.

Architecture et Entraînement

Décodeur : Un MLP modulé par FiLM à 3 blocs qui prend un état en entrée et prédit l'action suivante.
Inférence Latente : Contrairement aux encodeurs amortis qui cartographient l'historique directement vers un latent, le Behavioral INR traite l'extraction de la représentation comme un ajustement de fonction (function fitting). Au moment du test, les poids partagés de l'INR sont gelés, et le latent de l'épisode $z_i$ est optimisé via la descente de gradient sur les paires état-action observées de cet épisode spécifique pour minimiser l'erreur de prédiction.
Entraînement : Le modèle est entraîné sur des lots d'historiques état-action, d'états actuels et d'actions suivantes en utilisant une perte de régression (continue) ou d'entropie croisée (discrète). Aucune étiquette de politique n'est utilisée pendant l'entraînement.

Baselines (Modèles de référence)

Le papier compare le Behavioral INR à plusieurs adaptations fidèles de mécanismes de représentation existants qui ne nécessitent pas d'étiquettes de politique :

CVAE-Transf./RNN : Auto-encodeurs de trajectoire utilisant des Transformers ou des RNN pour encoder l'historique et décoder les actions.
VQ-VAE : Codage de trajectoire discret.
INR conditionné par l'historique : Un décodeur INR où le latent est toujours produit par un encodeur d'historique amorti standard (séparant le bénéfice du décodeur INR du bénéfice du latent ajusté).
Modèles de Diffusion : Prédicteurs d'actions de type DDPM conditionnel.
Behavior Embedding Maps (BEM) : Clustering non paramétrique de paires état-action.

Contributions Clés

Cadre Behavioral INR : Une formulation novatrice de la représentation de politique en tant que fonction neurale implicite, où le code latent module une correspondance état-action partagée.
Définition de l'OOD au niveau de la politique : Une formalisation des décalages OOD spécifiques aux jeux de données multi-politiques (décalages de distribution d'état et d'action) conçue pour tester si les modèles apprennent la carte conditionnelle de la politique ou les raccourcis marginaux.
Analyse Empirique des Raccourcis : Une évaluation systématique montrant que lorsque l'identité de la politique peut être récupérée à partir des marginales d'état/action, des répétitions symboliques ou des statistiques de faible dimension, les encodeurs d'historique amortis restent compétitifs. Cependant, le Behavioral INR surpasse significativement ces baselines dans les régimes « difficiles » où la fonction état-action conditionnelle doit être récupérée.

Résultats

Les auteurs évaluent le modèle sur des données synthétiques de Champ Aléatoire Gaussien (GRF), MuJoCo (Minari et Hopper augmenté), DM Lab Seek-Avoid, Lichess (échecs), DROID (robotique) et FastF1 (Formule 1).

Scaling Synthétique & MuJoCo : Dans des environnements contrôlés avec des épisodes plus longs, plus de politiques et des divisions OOD (ex: Hopper 10x/20x), le Behavioral INR atteint systématiquement une précision de probe linéaire et une précision kNN plus élevées pour la récupération de l'identité de la politique par rapport aux baselines amorties. Alors que les baselines se dégradent souvent à mesure que la longueur de l'épisode et la difficulté OOD augmentent, le Behavioral INR maintient une précision de probe quasi parfaite.
Domaines du Monde Réel :
- FastF1 : Le Behavioral INR est le performeur le plus fort, démontant que les représentations fonctionnelles ajustées scalent mieux lorsque le nombre de politiques augmente et que les raccourcis sont faibles.
- DROID : Les résultats sont compétitifs, bien que les marginales d'action fournissent des raccourcis puissants dans ce cadre de faible dimension.
- Lichess : La performance est inférieure aux baselines. Les auteurs attribuent cela à la structure du domaine : les états de plateau symboliques, les ouvertures répétées et les distributions de mouvements éparses permettent aux autres méthodes d'exploiter des raccourcis sur lesquels le Behavioral INR ne repose pas.
Robustesse OOD : Le Behavioral INR est plus efficace lorsque la tâche nécessite d'inférer la carte conditionnelle complexe $\pi(a|s)$ plutôt que de s'appuyer sur $p(s)$ ou $p(a)$ . Dans les configurations où les politiques se chevauchent dans les états ou les actions, le Behavioral INR réussit à récupérer l'identité là où les autres méthodes échouent.

Signification et Revendications

Le papier affirme que le Behavioral INR fournit une représentation plus robuste pour l'identité de la politique dans les espaces état-action continus et complexes, particulièrement lorsque les données ne sont pas étiquetées et que des décalages de distribution sont présents.

Les auteurs soulignent que leurs résultats ne suggèrent pas que le Behavioral INR domine dans tous les domaines. Ils identifient plutôt un régime spécifique :

Quand il fonctionne le mieux : Lorsqu'il faut inférer l'identité de la politique à partir d'une fonction conditionnée à l'état complexe et non linéaire, et que les raccourcis marginaux (fréquences d'état ou d'action) sont insuffisants ou trompeurs.
Quand il est compétitif : Lorsque l'identité de la politique peut être récupérée via des raccourcis état/action, des répétitions symboliques ou des statistiques d'action de faible dimension, les encodeurs d'historique amortis restent efficaces.

Ce travail suggère que traiter le comportement comme une fonction à ajuster, plutôt que comme une séquence à résumer, offre un avantage distinct pour comprendre les ensembles de données hétérogènes en robotique, en jeu et dans le sport, à condition que la structure de la politique sous-jacente soit suffisamment complexe pour empêcher l'apprentissage par raccourcis.