Partial Identification under Missing Data Using Weak Shadow Variables from Pretrained Models

Résumé Technique : Utilisation des LLM pour les résultats manquants non aléatoires (MNAR) : Une approche par variable d'ombre faible

1. Énoncé du problème

L'article traite du défi de l'estimation des quantités de population, spécifiquement la moyenne de l'effet $\theta = E[Y]$, lorsque les données sont manquantes non aléatoirement (MNAR - Missing Not at Random). Dans de nombreux contextes numériques et de sciences sociales (par exemple, les commentaires des utilisateurs, les avis sur le service client), la probabilité qu'un résultat soit observé dépend de la valeur non observée elle-même. Par exemple, les utilisateurs ayant des opinions extrêmes sont plus susceptibles de laisser un commentaire que ceux ayant des expériences modérées.

Sous l'hypothèse MNAR, les estimateurs standards basés uniquement sur les données observées sont biaisés, et la moyenne de la population n'est pas identifiée de manière ponctuelle sans hypothèses paramétriques fortes (et souvent invérifiables, comme les modèles de sélection de Heckman) ou des conditions de variables auxiliaires restrictives (comme les variables d'ombre classiques nécessitant la complétude). Les auteurs proposent un cadre d'identification partielle pour caractériser les bornes nettes de l'estimand sous des hypothèses minimales, tout en exploitant les prédictions de l'apprentissage automatique moderne pour resserrer ces bornes.

2. Méthodologie

2.1. Identification partielle via la programmation linéaire (LP)
Les auteurs établissent d'abord un cadre de référence pour identifier les bornes nettes de la moyenne de l'effet sans informations auxiliaires.

• Décomposition : La moyenne de la population est décomposée en probabilités conjointes observées $\alpha(y) = P(Y=y, R=1)$ et en probabilités de réponse non observées $\pi(y) = P(R=1|Y=y)$.
• Ensemble admissible : Puisque $\pi(y)$ est inconnu, les auteurs définissent un ensemble admissible de distributions de probabilité cohérentes avec les données observées.
• Formulation LP : Le problème de trouver les bornes inférieures et supérieures nettes ($\theta_{min}, \theta_{max}$) est reformulé en une paire de programmes linéaires. La fonction objectif représente la moyenne, et les contraintes encodent la structure probabiliste des données observées. Sans variables auxiliaires, ces bornes sont dérivées analytiquement et évoluent linéairement avec la probabilité de l'absence de données.

2.2. Variables d'ombre faibles (Weak Shadow Variables)
Pour resserrer les bornes d'identification, les auteurs introduisent des variables d'ombre faibles ($F$), telles que les prédictions de modèles de langage de grande taille (LLM).

• Définition : Une variable $F$ est une variable d'ombre faible si elle satisfait une restriction d'exclusion : $F \perp\!\!\!\perp R \mid Y, X$. C'est-à-dire que, conditionnellement à la véritable issue $Y$ et aux covariables $X$, la variable d'ombre ne fournit aucune information supplémentaire sur le mécanisme de l'absence de données.
• Relâchement de la complétude : Contrairement aux méthodes classiques de variables d'ombre, cette approche ne nécessite pas de condition de complétude (qui exige que $F$ identifie pleinement la distribution de $Y$). Cela permet l'utilisation de prédicteurs imparfaits (comme les LLM) qui peuvent n'être que faiblement corrélés avec l'issue.
• LP raffiné : L'inclusion de $F$ introduit des contraintes linéaires supplémentaires dans la formulation LP. La région d'identification nette est l'intersection des ensembles admissibles définis par ces contraintes. Si la variable d'ombre est suffisamment informative (satisfaisant une condition de rang), les bornes convergent vers un point unique (identification ponctuelle) ; sinon, elles restent un intervalle resserré.

2.3. Estimation en échantillon fini et inférence
Les estimateurs par substitution directe (plug-in) pour les bornes LP sont problématiques en échantillon fini en raison d'une potentielle infaisabilité (les contraintes de l'échantillon peuvent être incohérentes avec la population) et de la non-linéarité (de petits changements dans les estimations peuvent modifier les contraintes actives).

• Estimateur pénalisé localisé : Les auteurs proposent un programme linéaire pénalisé localisé. Cette méthode relâche les contraintes d'égalité en ajoutant un terme de pénalité $L_1$ ($K\|Aw - \beta\|_1$) et restreint les variables de décision à un intervalle borné $[0, K]$. Cela garantit la faisabilité et la continuité de Lipschitz de la fonction de valeur.
• Réglage piloté par les données : Un algorithme piloté par les données sélectionne le rayon de localisation $K$ en minimisant un « écart de certification », garantissant que l'estimateur est cohérent avec la cible de la population tout en évitant une variance inutile.
• Inférence par sous-échantillonnage : Comme la fonction de valeur de la LP est non lisse (en raison de multiples solutions optimales potentielles), les méthodes de bootstrap standard échouent. Les auteurs proposent un bootstrap par sous-échantillonnage (Politis et Romano, 1994) pour construire des intervalles de confiance valides pour les extrémités de la région d'identification. Cette méthode tient compte du comportement de « changement d'optimiseur » inhérent à la LP.

2.4. Analyse de sensibilité
Le cadre comprend une analyse de sensibilité (Hypothèse 2) pour quantifier la robustesse face aux violations de la restriction d'exclusion. En introduisant un paramètre de sensibilité $\rho$, les auteurs permettent à l'hypothèse d'indépendance conditionnelle de tenir approximativement, élargissant la région d'identification de manière monotone à mesure que $\rho$ augmente.

3. Contributions clés

1. Nouveau cadre LP : L'article introduit un cadre de programmation linéaire pour l'identification partielle sous MNAR qui unifie les contextes avec et sans prédictions auxiliaires. Il fournit des solutions en forme close pour le cas de base et des résultats analytiques sur la manière dont les signaux auxiliaires resserrent les bornes.
2. Variables d'ombre faibles : Les auteurs généralisent l'approche des variables d'ombre en relaxant la condition de complétude. Cela permet l'utilisation de signaux auxiliaires « imparfaits » (ex: prédictions de LLM) qui satisfont la restriction d'exclusion mais peuvent ne pas produire d'identification ponctuelle à eux seuls.
3. Estimation et inférence robustes : L'article développe un estimateur réalisable en échantillon fini utilisant la pénalisation localisée et établit une procédure d'inférence par sous-échantillonnage. Cette approche garantit des taux de convergence en $\sqrt{n}$ et des régions de confiance valides, même lorsque la LP sous-jacente possède plusieurs solutions ou lorsque les méthodes de bootstrap standard échouent.

4. Résultats expérimentaux

Les auteurs évaluent la méthode via des simulations et des expériences semi-synthétiques utilisant des données réelles de dialogue de service client (jeu de données USS).

• Simulations :

  • L'estimateur pénalisé localisé atteint le taux de convergence paramétrique en $\sqrt{n}$.
  • Le sélecteur piloté par les données pour le rayon de localisation $K$ récupère systématiquement le rayon optimal de la population.
  • L'inférence par sous-échantillonnage approxime correctement la distribution limite non gaussienne de l'estimateur, là où les méthodes de bootstrap standard présentent un biais significatif et une couverture incorrecte (ex: 82 % contre une cible de 90 %).

• Expériences semi-synthétiques (Variables d'ombre basées sur les LLM) :

  • Conception de prompts : L'étude teste diverses stratégies de prompt pour les LLM (Jumeau Numérique, Utilisateur Générique, Auditeur de Service) afin de générer des variables d'ombre. Les résultats indiquent que les prompts dépersonnalisés et axés sur la tâche (ex: un « Auditeur de Service » évaluant la « Réalisation de l'Objectif ») offrent le meilleur compromis entre pertinence (corrélation avec $Y$) et indépendance (satisfaisant la restriction d'exclusion).
  • Performance : L'incorporation de variables d'ombre faibles basées sur les LLM a réduit la largeur des intervalles d'identification de 83 % par rapport au modèle LP de base sans variables d'ombre.
  • Comparaison : La méthode proposée (utilisant le point milieu de l'intervalle de la variable d'ombre) a obtenu une erreur absolue moyenne de 0,06, surpassant nettement les bases MNAR classiques comme l'Analyse de Cas Complet (CCA), l'Imputation Naïve, les Modèles de Sélection de Heckman et les modèles de mélange de motifs (Pattern-Mixture). En termes d'estimation d'ensemble (distance de Hausdorff par rapport à la vérité), la méthode de la variable d'ombre a réduit la distance de 1,07 (LP agrégé) à 0,18.

5. Signification et affirmations

L'article affirme que son cadre offre une alternative robuste et traitable aux méthodes MNAR traditionnelles.

• Robustesse : En adoptant une perspective d'identification partielle, la méthode évite les risques de spécification erronée des modèles inhérents aux modèles de sélection paramétriques.
• Praticité : Elle exploite la disponibilité croissante des LLM comme signaux auxiliaires sans exiger qu'ils soient des prédicteurs parfaits. La nature « faible » de l'hypothèse de la variable d'ombre rend cette approche plus plausible en pratique que les conditions strictes de complétude des méthodes classiques.
• Validité : La procédure d'inférence proposée offre des garanties de couverture valides pour la région d'identification, répondant aux défis statistiques posés par la non-linéarité des estimateurs basés sur la LP.

Les auteurs concluent que même des prédictions de LLM binaires ou de faible dimension peuvent considérablement resserrer les bornes d'identification, rendant cette approche extrêmement précieuse pour l'évaluation des plateformes et la recherche en sciences sociales où les retours sont systématiquement manquants.