Causal Imitation Learning Under Measurement Error and Distribution Shift

1. Énoncé du problème

L'article traite de l'apprentissage par imitation hors ligne (offline imitation learning - IL) dans des contextes où deux défis critiques coexistent :

1. Erreur de mesure : L'état réellement pertinent pour la décision n'est pas observé directement. Au lieu de cela, l'apprenant observe des proxys bruités (mesures) d'une composante d'état latente.
2. Décalage de distribution (Distribution Shift) : La distribution jointe de l'état latent et du processus de mesure peut changer entre le domaine d'entraînement (où les démonstrations de l'expert sont collectées) et le domaine de déploiement.

Dans ces régimes, le Clonage Comportemental (Behavioral Cloning - BC) standard échoue. Le BC apprend typiquement une politique $\pi(a|o)$ en minimisant la probabilité conditionnelle observationnelle des actions données les observations. Les auteurs soutiennent que sous un décalage de distribution, ces corrélations observationnelles deviennent spécieuses. Plus précisément :

• Conditionner sur les mesures brutes ($\pi_{BC2}$) rend la politique fragile aux changements du mécanisme de mesure (par exemple, des dérives de calibration des capteurs).
• Ignorer les mesures et conditionner uniquement sur les états observés ($\pi_{BC1}$) rend la politique fragile aux changements des dynamiques latentes ou des noyaux de transition d'état.
• Crucialement, ce biais est systématique et ne disparaît pas, même avec des données infinies ou des trajectoires plus longues.

2. Méthodologie

A. Cadre causal et politique cible

Les auteurs proposent une nouvelle politique cible, CausIL, définie non pas par un conditionnement observationnel mais par une intervention contrefactuelle.

• Modèle : Le système se compose d'un état observé $S_t$, d'un état latent $U_t$ (non observé), d'une mesure bruitée $W_t$ (proxy de $U_t$), et d'une action d'expert $A_t$. L'expert agit en fonction de $S_t$ et d'un état latent retardé $U_{t-1}$ (c'est-à-dire $A_t \sim \pi_E(S_t, U_{t-1})$).
• Définition de la cible : Au lieu d'imiter $p(A_t | S_t, W_{t-1})$, l'objectif est d'apprendre la politique causalement optimale $\pi_{opt}(s)$, qui maximise la probabilité de l'action de l'expert sous l'intervention $do(S_t = s)$ :
  $$\pi_{opt}(s) := \arg\max_{a \in \mathcal{A}} p(A_t^{(s)} = a)$$
  où $A_t^{(s)}$ est le résultat potentiel de l'action si l'état était fixé à $s$.
• Robustesse : Cette cible dépend uniquement de la distribution marginale de l'état latent $U_{t-1}$ et du mécanisme d'expert invariant $\pi_E$. Elle est robuste aux changements du canal de mesure $p(W_{t-1}|U_{t-1})$ et, sous certaines conditions, robuste aux changements des noyaux de transition d'état qui préservent la distribution marginale de $U_{t-1}$.

B. Identification

Puisque $U_{t-1}$ est non observé, les auteurs dérivent les conditions sous lesquelles $\pi_{opt}$ est identifiable à partir de données observationnelles seules. Ils adaptent le cadre de l'Inférence Causale Proximale (Proximal Causal Inference - PCI), en traitant l'état retardé observé $Z_t = S_{t-1}$ comme un « proxy induisant le traitement » et la mesure bruitée $W_{t-1}$ comme un « proxy induisant le résultat » pour le confondant latent $U_{t-1}$.

• Cas discret : L'identification est réalisée via l'inversion de matrice. Si les proxys $Z_t$ et $W_{t-1}$ sont suffisamment informatifs (satisfaisant une condition de rang), la distribution interventionnelle est identifiée comme :
  $$p(A_t^{(s)}) = P_{A|Z',s} (P_{W'|Z',s})^{-1} P_{W'}$$
  où les matrices $P$ représentent les probabilités conditionnelles et marginales des proxys.
• Cas continu : L'identification repose sur les hypothèses de complétude et de pont de confusion (confounding bridge). Les auteurs montrent qu'il existe une « fonction de pont » $h_a(w, s)$ satisfaisant une équation intégrale de Fredholm de première espèce, reliant les données observées à la distribution contrefactuelle :
  $$p(A_t^{(s)} = a) = \int h_a(w, s) p(w) dw$$

C. Estimation

L'article propose des estimateurs pour les contextes discrets et continus :

1. Estimateur discret : Un estimateur de type « plug-in » utilisant des fréquences empiriques pour construire les matrices de probabilité et effectuer l'inversion de matrice dérivée du théorème d'identification.
2. Estimateur continu : Une procédure d'estimation antagoniste sur des Espaces de Hilbert à Noyau Reproduisant (RKHS). La fonction de pont $h_a$ est apprise en résolvant un problème minimax régularisé (optimisation de point-selle) qui impose la restriction du moment conditionnel $E[Y - h(W, S) | Z, S] = 0$.

3. Contributions clés

• Formulation théorique : L'article définit formellement le régime où l'erreur de mesure et le décalage de distribution coexistent et démontre que les cibles de BC standard sont fondamentalement biaisées dans ce contexte.
• Cible causale : Il introduit $\pi_{opt}$, une cible de politique qui est robuste aux changements du processus de mesure et des dynamiques latentes, à condition que le mécanisme de l'expert soit invariant.
• Résultats d'identification : Il fournit de nouvelles conditions d'identification pour l'IL hors ligne avec des confondants non observés et des erreurs de mesure, en exploitant les idées de l'inférence causale proximale (notamment l'utilisation d'états retardés et de mesures bruitées comme proxys).
• Algorithmes : Il développe des stratégies d'estimation pratiques pour les espaces d'états discrets et continus, incluant une solution en forme close pour le cas discret et un estimateur antagoniste basé sur les RKHS pour le cas continu.

4. Résultats expérimentaux

Les auteurs évaluent CausIL par rapport aux bases de référence de BC standard ($\pi_{BC1}$ et $\pi_{BC2}$) dans deux contextes :

1. Données longitudinales semi-simulées (PhysioNet 2019) :

   • Configuration : Utilisation des signes vitaux en soins intensifs comme états observés ($S_t$) et du taux de lactate comme contexte latent retardé ($U_t$). Les actions de l'expert (intensité du support hémodynamique) sont simulées en fonction de $S_t$ et $U_{t-1}$.
   • Décalages : L'étude introduit des « décalages de population » (différentes compositions de trajectoires) et des « décalages de mesure » (changements de bruit/biais du proxy du lactate).
   • Résultat : CausIL a systématiquement obtenu une erreur quadratique moyenne (MSE) plus faible et est resté stable face aux décalages. En revanche, $\pi_{BC2}$ s'est fortement dégradé sous les décalages de mesure, et $\pi_{BC1}$ a montré une erreur accrue sous les décalages de population.

2. Étude de simulation :

   • Configuration : Données synthétiques générées à partir du modèle de la section 2.
   • Résultat : Les expériences ont confirmé les affirmations de robustesse théorique. $\pi_{opt}$ est resté invariant lorsque le canal de mesure changeait, tandis que $\pi_{BC2}$ a échoué. De même, $\pi_{opt}$ était plus stable que $\pi_{BC1}$ lorsque les noyaux de transition d'état changeaient, mais que la distribution marginale latente restait fixe.

5. Signification et affirmations

L'article affirme que CausIL offre une solution fondée sur des principes au problème de la « illusion causale » (causal delusion) dans l'apprentissage par imitation hors ligne lorsque les données sont bruitées et que les environnements changent.

• Robustesse : La principale signification est la démonstration que cibler des quantités interventionnelles (via l'identification proximale) produit des politiques qui généralisent mieux à de nouveaux domaines que les cibles observationnelles, même sans signaux de récompense ou requêtes interactives auprès de l'expert.
• Praticité : La méthode fonctionne dans des contextes entièrement hors ligne, ce qui est crucial pour les domaines à enjeux élevés comme la santé (ex: support de décision en soins intensifs) et la robotique, où l'exploration interactive est impossible ou dangereuse.
• Limites : L'approche repose sur des hypothèses d'identification spécifiques (ex: existence de proxys valides et conditions de rang/complétude). Les auteurs notent que ces conditions ne sont pas triviales mais sont satisfaites dans de nombreux scénarios pratiques impliquant des états latents retardés et des capteurs bruités.

Les auteurs concluent que dans des environnements réalistes et changeants avec des erreurs de mesure, l'apprentissage de politiques à partir de démonstrations purement observationnelles nécessite de dépasser le clonage comportemental pour adopter des cadres causaux qui modélisent explicitement la relation entre les états latents, les proxys et les actions.