🤖 machine learning

Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

Ce papier aborde le problème des observations manquantes dans les jeux de données comportementaux réels qui peuvent induire en erreur l'apprentissage par renforcement inverse (IRL) en proposant un algorithme pour quantifier les perturbations minimales requises pour rendre les actions de l'expert optimales, aidant ainsi à identifier d'éventuelles lacunes dans les données dans des applications telles que la santé.

Auteurs originaux : Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de comprendre pourquoi un chef étoilé ajoute toujours une pincée spécifique de sel à un moment précis. Vous disposez d'une vidéo du chef en train de cuisiner, mais il y a un piège : l'appareil photo est cassé. Il enregistre les ingrédients sur le comptoir et les mouvements des mains du chef, mais il échoue à enregistrer le nez du chef qui renifle l'air ou ses yeux qui vérifient un minuteur.

Dans le monde réel, le chef pourrait sentir que la soupe devient trop salée (une information cachée) et décider de ne pas ajouter plus de sel. Mais dans votre vidéo défectueuse, il semble que le chef ignore l'état de la soupe et agisse au hasard. Si vous essayez de deviner la « recette » du chef (ses objectifs) simplement en regardant la vidéo cassée, vous pourriez conclure que le chef est mauvais en cuisine ou qu'il a une recette étrange et incohérente.

Ce papier traite de la réparation de ce travail de détective. Il introduit une nouvelle méthode appelée MP-IRL (Apprentissage par Renforcement Inverse à Perturbation Minimale) pour répondre à une question simple : « Quelle quantité d'informations manquantes devons-nous supposer exister pour que les actions de l'expert paraissent parfaitement logiques ? »

Voici une décomposition du fonctionnement, en utilisant des analogies du quotidien :

1. Le Problème : L'Effet « Appareil Photo Cassé »

Dans de nombreux domaines, comme la santé, nous essayons d'apprendre des experts (comme les médecins) en examinant leurs dossiers passés.

Le Scénario : Un médecin traite un patient avec une tension artérielle élevée avec le Médicament A, et un patient avec une tension artérielle basse avec le Médicament B.
Les Données Manquantes : La base de données de l'hôpital enregistre uniquement le traitement, pas la mesure de la tension artérielle à ce moment précis.
L'Erreur : Si un ordinateur tente d'apprendre la « fonction de récompense » du médecin (ce qu'il cherche à accomplir) à partir de ces données incomplètes, il se perd. Il voit le médecin administrer le Médicament B à certains patients et le Médicament A à d'autres, sans motif évident. Il pourrait penser que le médecin commet des erreurs ou que la fonction de récompense est désordonnée.

2. La Solution : La « Variable Invisible »

Au lieu de simplement dire « les données sont mauvaises », ce papier demande : « Quelle est la plus petite et la plus simple « variable invisible » que nous puissions inventer pour faire de nouveau du médecin un génie ? »

Pensez-y ainsi :

Vous voyez une personne courir vers la gauche à un passage piéton.
Vous voyez aussi la même personne courir vers la droite à un passage piéton plus tard.
Sans contexte, elles semblent incohérentes.
L'Approche du Papier : Il invente une minuscule « étiquette de contexte » invisible pour chaque trajet.
- Trajet 1 : [Contexte : « Feu Rouge »] -> Action : Courir vers la gauche.
- Trajet 2 : [Contexte : « Feu Vert »] -> Action : Courir vers la droite.
En ajoutant simplement ces minuscules étiquettes, le comportement de la personne prend soudainement un sens parfait. Le papier calcule la taille nécessaire de ces étiquettes. Si les étiquettes sont énormes, cela signifie qu'une grande quantité d'informations manque. Si elles sont minuscules, les informations manquantes ne sont pas un gros problème.

3. Comment l'Algorithme Fonctionne (La Danse en Deux Temps)

Les auteurs ont construit un processus en deux étapes pour trouver ces étiquettes invisibles :

Étape 1 : Le « Meilleur Supposé » (IRL de Base)
D'abord, l'ordinateur tente d'expliquer le comportement de l'expert en utilisant uniquement les données dont il dispose (la vidéo cassée). Il construit un modèle de « récompense de base ». C'est comme dire : « D'accord, basé sur ce que nous voyons, voici la meilleure recette que nous puissions deviner. »
- Résultat : L'ordinateur réalise : « Je continue de me tromper. L'expert fait des choses que je ne peux pas expliquer. »
Étape 2 : La « Correction Minimale » (MP-IRL)
Maintenant, l'ordinateur fige cette recette de base. Il demande : « Quelle est la plus petite quantité d'informations supplémentaires et invisibles que j'ai besoin d'ajouter pour que les actions de l'expert s'adaptent parfaitement à cette recette ? »
- Il ne tente pas de deviner les données manquantes exactes (comme le chiffre exact de la tension artérielle).
- Il calcule simplement l'ampleur du manque. C'est comme mesurer la « taille du trou » dans les données sans avoir besoin de remplir le trou avec la brique manquante exacte.

4. Ce Qu'ils Ont Découvert (Les Expériences)

L'équipe a testé cela sur trois types de « jeux » :

Jeux de Navigation : Ils ont créé un labyrinthe où un robot devait choisir entre gauche ou droite. Parfois, le choix dépendait d'une couleur cachée que le robot pouvait voir, mais pas les chercheurs.
- Résultat : Lorsque les chercheurs cachaient la couleur, la méthode standard échouait. MP-IRL a identifié avec succès qu'un « contexte caché » était nécessaire et a mesuré exactement combien de « caché » était requis pour rétablir la logique. Il a même déterminé que s'il y avait deux choix cachés, la « taille du manque » était plus grande.
Simulateur de Traitement du Cancer : Ils ont simulé un médecin traitant une tumeur.
- Résultat : Lorsqu'ils cachaient des données importantes (comme les types de tissus), la « taille du manque » augmentait. Lorsqu'ils cachaient des données sans importance, la taille restait petite. Cela prouve que la méthode peut distinguer les « informations manquantes critiques » des « informations manquantes non pertinentes ».
Données Réelles de Soins Intensifs (MIMIC-IV) : Ils ont utilisé de vraies données d'une unité de soins intensifs concernant la gestion de la tension artérielle.
- Résultat : Même avec toutes les données enregistrées, la méthode a découvert qu'une quantité significative de « contexte invisible » (comme l'intuition au chevet d'un médecin ou des signes vitaux non enregistrés) était probablement nécessaire pour expliquer pourquoi les médecins prenaient certaines décisions. Cela suggère que si nous essayons d'entraîner une IA sur ces données sans tenir compte des informations manquantes, nous pourrions mal comprendre les véritables objectifs des médecins.

La Conclusion

Ce papier ne vous rend pas les données manquantes. Au lieu de cela, il vous donne une règle pour mesurer le manque.

Il nous dit : « Si vous voulez faire confiance aux décisions prises par les experts dans votre jeu de données, vous devez savoir quelle partie de l'image manque. Si la « taille du manque » est énorme, vous ne pouvez pas faire confiance aux données pour enseigner à une IA comment agir, car l'IA apprendra à partir d'une image brisée. Si la taille est petite, vous pouvez être plus confiant. »

C'est un outil de contrôle de qualité des données, aidant les chercheurs à décider si leur jeu de données est suffisamment bon pour en apprendre ou s'ils doivent revenir en arrière et enregistrer plus de détails.

Résumé technique : Quantification de l'absence potentielle d'observations dans l'apprentissage par renforcement inverse

Énoncé du problème
L'apprentissage par renforcement inverse (IRL) infère des fonctions de récompense à partir de démonstrations d'experts pour modéliser les comportements de prise de décision. Bien que des variantes de l'IRL aient été développées pour gérer les croyances subjectives, la planification imparfaite et les objectifs changeants, un problème critique souvent négligé dans les jeux de données réels (particulièrement dans le domaine de la santé) est l'absence d'observations. Dans de nombreux scénarios, les données enregistrées manquent d'observations qui étaient disponibles pour le décideur original au moment de l'action.

Lorsque de telles informations manquent, les actions d'experts peuvent apparaître sous-optimales à un algorithme IRL standard, conduisant à des inférences de récompense trompeuses. Par exemple, si la décision d'un clinicien dépend d'un biomarqueur non enregistré, l'IRL standard pourrait conclure que le clinicien agit de manière sous-optimale ou que la fonction de récompense est incohérente, plutôt que de reconnaître que la décision était optimale étant donné le contexte non observé. L'article postule que, au lieu d'essayer d'imputer les données manquantes ou de retrouver les valeurs exactes manquantes, il est plus pertinent de quantifier l'étendue minimale de l'absence requise pour expliquer le comportement observé comme optimal.

Méthodologie : IRL à perturbation minimale (MP-IRL)
Les auteurs proposent le MP-IRL, un cadre en deux phases conçu pour trouver la plus petite perturbation des observations enregistrées nécessaire pour aligner les actions d'experts avec une politique optimale.

Formulation du problème :
- Le cadre suppose un jeu de données comportementales $D = \{x_{nt}, a_{nt}\}$ où $x_{nt}$ sont les états enregistrés et $a_{nt}$ les actions. L'état réel comprend des composantes non enregistrées $\tilde{x}_{nt}$ .
- Au lieu de modéliser la dynamique des données manquantes, la méthode introduit un facteur latent statique $z_n$ pour chaque trajectoire $n$ , représentant le contexte manquant.
- L'objectif est de minimiser l'amplitude de ces facteurs latents $\{z_n\}$ sous la contrainte que les actions d'experts soient quasi-optimales selon une fonction de récompense $r_\theta(z_n, x_{nt}, a_{nt})$ .
- Pour garantir que l'amplitude de $z_n$ soit significative, les auteurs paramètrent la récompense à l'aide de fonctions noyau. La récompense est la somme d'une récompense de base partagée $\bar{r}_\theta(x_{nt}, a_{nt})$ et d'un terme de perturbation spécifique à la trajectoire défini par des centres de noyau $\mu_k$ et des coefficients $z_n$ . La taille de l'absence est mesurée par la norme $\ell_1$ des coefficients $\|z_n\|_1$ .
Algorithme (Optimisation en deux phases) :
- Phase 1 (IRL de base) : L'algorithme effectue un IRL standard sur les seules données enregistrées (en fixant tous les $z_n = 0$ ). Cela extrait la meilleure récompense de base possible $\bar{r}_\theta$ expliquant le comportement sans aucun contexte manquant.
- Phase 2 (MP-IRL) : Les paramètres de la récompense de base sont figés. L'algorithme optimise ensuite le réseau critique et les coefficients latents spécifiques à la trajectoire $z_n$ (et optionnellement les centres de noyau $\mu$ ).
- Régularisation : La fonction objectif de la Phase 2 inclut des pénalités de parcimonie (normes $\ell_1$ et $\ell_2$ sur $z_n$ ) pour imposer le principe de « perturbation minimale ». Cela garantit que les variables latentes n'expliquent que la variance que la récompense de base ne peut pas expliquer, empêchant le modèle de surajuster ou d'expliquer le comportement par des changements arbitraires de la structure de récompense partagée.

Contributions clés

Conceptuelle : L'article introduit une nouvelle perspective sur l'absence dans l'IRL : quantifier le contexte non observé minimal requis pour rendre les actions observées optimales, plutôt que d'essayer de récupérer les données manquantes elles-mêmes.
Technique : Le développement du MP-IRL, un algorithme qui formule cela comme un problème d'optimisation sous contrainte utilisant des perturbations basées sur des noyaux et une procédure d'entraînement en deux phases pour séparer la structure de récompense partagée du contexte manquant spécifique à la trajectoire.
Empirique : Démonstration que l'amplitude des perturbations apprises corrèle avec la quantité d'informations manquantes et que la méthode peut localiser où le contexte manquant est critique (par exemple, des régions de décision spécifiques).

Résultats expérimentaux
Les auteurs évaluent le MP-IRL sur trois tâches de navigation continues synthétiques, un simulateur de traitement du cancer, et un jeu de données réel de gestion de l'hypotension en unité de soins intensifs (MIMIC-IV).

Tâches de navigation : Dans des tâches où des variables binaires cachées déterminent les actions dans des « régions de décision » spécifiques, l'IRL standard échoue à correspondre aux actions d'experts dans ces régions (précision ~60 %). Le MP-IRL restaure la précision à près de 98-99 %. Crucialement, la taille de la perturbation apprise ( $\|z_n\|_1$ ) évolue avec la complexité de l'information manquante : les tâches nécessitant un bit caché génèrent des perturbations plus petites que les tâches nécessitant deux bits cachés indépendants.
Simulateur de cancer : La méthode a été testée avec divers degrés de masquage de caractéristiques (de « toutes les caractéristiques » à « temps uniquement »). À mesure que plus de caractéristiques étaient cachées, les performances de l'IRL standard se dégradaient (précision plus faible, log-vraisemblance négative plus élevée). Le MP-IRL a maintenu une haute précision, et la taille de perturbation requise a augmenté de manière monotone avec la quantité d'informations manquantes (par exemple, de 0,54 à 1,65 à mesure que les caractéristiques étaient supprimées).
Tâche d'hypotension en USI : Sur des données cliniques réelles, le MP-IRL a considérablement amélioré la précision de correspondance des actions par rapport à l'IRL standard (par exemple, de ~55 % à ~90 %). La taille de la perturbation est restée stable lorsque des caractéristiques à faible pouvoir prédictif ont été ajoutées, indiquant que la métrique reflète l'absence pertinente pour la décision plutôt que simplement le volume de données observées.

Importance et affirmations
L'article affirme que le MP-IRL fournit un outil de diagnostic pour les jeux de données comportementaux. En quantifiant la perturbation minimale nécessaire pour expliquer le comportement d'experts, les chercheurs peuvent évaluer si une sous-optimalité apparente dans un jeu de données est due à une mauvaise prise de décision ou simplement à un contexte clinique manquant.

Utilité pratique : Si l'absence potentielle est substantielle, cela suggère que les tâches en aval (comme l'évaluation de politiques ou l'apprentissage par renforcement hors ligne) doivent être abordées avec prudence ou que les processus de collecte de données doivent être améliorés.
Interprétabilité : La méthode localise l'absence vers des régions spécifiques de l'espace d'état (par exemple, des étapes temporelles spécifiques dans le traitement du cancer ou des frontières de décision spécifiques dans la navigation), offrant des perspectives sur où les données enregistrées sont insuffisantes.
Limites : Les auteurs reconnaissent que la représentation basée sur les noyaux peut avoir des difficultés dans des espaces d'état de très haute dimension en raison des besoins en données pour optimiser les noyaux localisés.

L'ouvrage ne prétend pas récupérer les valeurs exactes manquantes mais plutôt fournir une borne quantitative sur l'étendue de l'absence requise pour maintenir l'hypothèse d'optimalité de l'expert.