🤖 machine learning

Cross-Head Attention Uplift Network with Inverse Propensity Score under Unobserved Confounding

Ce document propose le réseau d'attention cross-tête (Cross-Head Attention Uplift Network ou CHAUN) et la méthode de score de propension inverse adversaire robuste (Robust Adversarial Inverse Propensity Score ou RA-IPS) afin d'améliorer l'estimation de l'effet de traitement individuel en modélisant dynamiquement les corrélations inter-groupes et en atténuant le biais provenant des facteurs de confusion non observés, réalisant ainsi des améliorations de performance significatives sur des ensembles de données publics et de production.

Auteurs originaux : Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigiez une boutique en ligne massive. Vous voulez envoyer un coupon spécial aux clients qui n'achèteront que s'ils reçoivent le coupon. Si vous l'envoyez à tout le monde, vous gaspillez de l'argent pour des personnes qui auraient acheté de toute façon. Si vous ne l'envoyez pas, vous manquez des ventes. C'est le cœur de l'Uplift Modeling : déterminer exactement qui a besoin de ce « coup de pouce » pour passer à l'action.

Cependant, il existe deux grands problèmes pour tenter de résoudre cela à l'aide de données réelles :

Le problème du « Group Hug » (l'étreinte collective) : Les personnes que vous traitez (celles qui reçoivent les coupons) et celles que vous ne traitez pas (le groupe de contrôle) sont souvent très différentes. Mais leurs comportements sont aussi secrètement liés. Les modèles existants sont soit trop rigides pour voir ces connexions, soit trop désordonnés pour séparer l'« effet coupon » de l'« effet personnalité ».
Le problème du « Hidden Puppet » (le marionnettiste caché) : Dans le monde réel, nous ne savons pas tout sur nos clients. Des facteurs cachés (comme l'humeur d'un client, la vente secrète d'un concurrent ou un bug dans le système publicitaire) décident à la fois de qui reçoit le coupon et si cette personne achète. Nous appelons cela des Variables de Confusion Non Observées (Unobserved Confounders). Ils agissent comme des marionnettistes invisibles tirant les ficelles, faisant croire que le coupon a fonctionné alors qu'il ne l'a pas fait, ou vice versa.

Ce document présente deux nouveaux outils pour résoudre ces problèmes : CHAUN et RA-IPS.

1. CHAUN : Le réseau de « Cross-Head Attention » (Attention entre têtes)

Considérez un modèle d'IA standard comme un étudiant passant deux examens distincts : un pour « Que se passe-t-il si je reçois un coupon ? » et un autre pour « Que se passe-t-il si je n'en reçois pas ? ». Habituellement, ces deux étudiants étudient de manière isolée.

CHAUN est comme un groupe d'étude où les deux étudiants sont autorisés à se chuchoter des informations.

La configuration : Il possède deux « têtes » (une pour le groupe de traitement, une pour le groupe de contrôle) qui apprennent de la même information de base (le profil du client).
La magie : Il utilise un mécanisme appelé Cross-Head Attention. Imaginez l'« Étudiant de Traitement » regardant les notes de l'« Étudiant de Contrôle » et disant : « Hé, tu es doué pour prédire cette partie, laisse-moi emprunter cette idée. »
Le résultat : Au lieu de simplement deviner, le modèle mélange dynamiquement les deux perspectives. Il apprend les similitudes entre les groupes (le « group hug ») tout en gardant les différences uniques bien claires. Cela le rend bien plus apte à repérer qui a réellement besoin du coupon.

2. RA-IPS : Le filet de sécurité « Robuste »

Parlons maintenant du « Marionnettiste Caché » (Unobserved Confounders).

Habituellement, les statisticiens utilisent un outil appelé Inverse Propensity Score (IPS) pour corriger cela. Considérez l'IPS comme une balance qui tente d'équilibrer les poids des groupes traités et de contrôle afin qu'ils ressemblent à une expérience randomisée équitable.

La faille : L'IPS standard suppose que nous savons tout sur les raisons pour lesquelles un client a reçu un coupon. Mais en réalité, il nous manque les variables du « Marionnettiste Caché ». Si nous utilisons cette balance standard, elle peut être parfaitement équilibrée pour ce que nous voyons, mais totalement déséquilibrée pour ce que nous ne voyons pas.

RA-IPS est une version « paranoïaque » de cette balance.

La stratégie : Au lieu de supposer que nous connaissons le poids exact du marionnettiste caché, RA-IPS dit : « D'accord, le marionnettiste caché pourrait tirer les ficelles un peu plus fort ou un peu plus faiblement que nous ne le pensons. Partons du pire scénario. »
Le jeu Adversaire : Il joue un jeu contre lui-même. Il essaie de trouver l'arrangement le plus dangereux et le pire des scénarios pour ces variables cachées dans une plage raisonnable. Ensuite, il ajuste son modèle pour survivre à ce pire scénario.
Le résultat : Même s'il existe des marionnettistes cachés que nous ne pouvons pas voir, RA-IPS construit un modèle suffisamment robuste pour ne pas être trompé par eux. Il garantit que l'« effet coupon » que nous calculons est réel, et non une simple illusion causée par des variables cachées.

La preuve par l'exemple

Les auteurs ont testé ces outils sur des données réelles provenant de plateformes d'e-commerce massives (comme Criteo et Lazada) ainsi que sur un ensemble de données de production privé.

CHAUN a battu presque tous les autres modèles existants. Dans certains cas, il a amélioré la capacité à trouver les bons clients de 25,6 % par rapport aux meilleures méthodes précédentes.
RA-IPS a prouvé que lorsque des variables cachées sont présentes, il est nettement meilleur (d'environ 5,4 %) pour corriger le biais que les méthodes standard.

L'essentiel à retenir

Ce document ne se contente pas de dire « nous avons un meilleur algorithme ». Il affirme que :

CHAUN est une manière plus intelligente d'apprendre de deux groupes de personnes en les laissant se « parler », capturant des schémas que les autres modèles ignorent.
RA-IPS est un mécanisme de sécurité qui admet « nous ne savons pas tout » et construit un modèle qui reste précis même lorsque des facteurs invisibles tentent de le tromper.

Ensemble, ils créent un système qui est à la fois plus précis pour cibler les bonnes personnes et plus honnête vis-à-vis des forces cachées en jeu dans le monde réel.

Résumé Technique : Réseau d'Attention Cross-Head avec Score de Propension Inverse sous Confusion Non Observée

1. Définition du Problème

La modélisation de l'uplift vise à estimer l'Effet de Traitement Individuel (ITE, Individual Treatment Effect), défini comme l'effet marginal d'un traitement sur le comportement d'un individu. Ce document traite de deux défis primordiaux dans ce domaine :

Modélisation Inter-Groupes Inflexible : Les méthodes existantes peinent à exploiter simultanément la similitude intrinsèque entre les groupes de traitement et de contrôle tout en maintenant une discrimination suffisante pour les variations induites par le traitement. De nombreuses approches traitent soit les groupes de manière indépendante (ignorant les structures partagées), soit utilisent des architectures multi-tâches rigides qui manquent de mécanismes d'interaction dynamique.
Confusion Non Observée : Les modèles d'uplift standards reposent souvent sur l'hypothèse d'« ignorabilité forte », postulant que tous les facteurs de confusion sont observés. Cependant, dans les systèmes réels complexes (par exemple, les enchères publicitaires), des facteurs de confusion latents influencent à la fois l'attribution du traitement et les résultats. Sous une telle confusion non observée, le pondération standard par Score de Propension Inverse (IPS) échoue à fournir des estimations non biaisées, et l'identifiabilité de l'ITE est compromise sans hypothèses ou données supplémentaires.

2. Méthodologie

Le cadre proposé se compose de deux composantes centrales : le Réseau d'Attention Cross-Head Uplift (CHAUN) pour l'architecture et le Score de Propension Inverse Adversaire Robuste (RA-IPS) pour le débaisage sous confusion non observée.

2.1 Réseau d'Attention Cross-Head Uplift (CHAUN)

CHAUN est conçu pour modéliser de manière flexible les corrélations inter-groupes via une architecture à double tête enrichie par des mécanismes d'attention.

Plongement de Caractéristiques Partagé (Shared Feature Embedding) : Les caractéristiques continues et éparses sont traitées en une représentation partagée unifiée ( $x_{rep}$ ).
Encodage à Double Branche : Le réseau utilise des MLP parallèles pour générer des représentations latentes spécifiques au traitement ( $x^t_{rep}$ ) et au contrôle ( $x^c_{rep}$ ).
Attention Cross-Head : Au lieu de têtes de prédiction indépendantes, CHAUN utilise un mécanisme de fusion par porte d'attention (attention-gated fusion). Il calcule des poids d'attention basés sur la similitude du produit scalaire entre les représentations de traitement et de contrôle. Cela permet au modèle d'intégrer dynamiquement l'information inter-groupe, où la prédiction finale pour chaque groupe est une combinaison pondérée des deux représentations. Cette conception exploite explicitement la similitude inter-groupe tout en préservant l'hétérogénéité spécifique au traitement.
Apprentissage de la Propension : Un apprenant de propension distinct estime le score de propension nominal $\hat{p}(x)$ en utilisant la représentation partagée. Pour éviter les solutions pathologiques (ex: $\hat{p}(x) = t$ ), une contrainte de régularisation globale est imposée basée sur la propriété théorique selon laquelle l'espérance des poids d'inverse de propension est égale à 1.

2.2 Score de Propension Inverse Adversaire Robuste (RA-IPS)

Pour traiter les facteurs de confusion non observés sans nécessiter l'accès aux véritables scores de propension $\pi(x, u)$ , les auteurs proposent le RA-IPS.

Fondement Théorique : Le document prouve (Théorème 1) que si les scores de propension réels (incluant les facteurs de confusion non observés) étaient connus, l'ITE serait identifiable et l'estimateur IPS serait non biaisé, même sans observer directement les facteurs de confusion.
Formulation Adversaire : Puisque les scores de propension réels sont indisponibles, le RA-IPS suppose que le véritable score de propension se situe dans un voisinage du score de propension nominal $\tilde{\pi}(x)$ . Le score réel est modélisé comme une perturbation du score nominal dans l'espace logit, bornée par un hyperparamètre $\Gamma$ représentant l'intensité de la confusion non observée.
Ensemble d'Incertitude et Optimisation : La méthode définit un ensemble d'incertitude pour les poids de propension. Contrairement aux méthodes robustes précédentes (ex: RD-IPS) qui peuvent mener à des configurations de poids infaisables, le RA-IPS introduit une contrainte globale garantissant que la somme des vrais poids converge vers la somme des poids nominaux (basé sur la Loi des Grands Nombres).
Optimisation du Pire Cas : Le modèle optimise pour le pire scénario au sein de cet ensemble d'incertitude contraint. Cela est réalisé en maximisant la perte IPS sur les poids admissibles tout en pénalisant les écarts par rapport à la distribution de poids nominale, renforçant ainsi la robustesse contre la confusion non observée.

3. Principales Contributions

Architecture CHAUN : Un nouveau cadre de modélisation d'uplift qui utilise l'attention cross-head pour médier dynamiquement les interactions entre les représentations de traitement et de contrôle, équilibrant efficacement la similitude inter-groupe et la discrimination spécifique au traitement.
Identifiabilité sous Confusion Non Observée : Une preuve théorique démontrant que l'accès aux véritables scores de propension est une condition suffisante pour l'identifiabilité de l'ITE et une estimation IPS non biaisée, même lorsque des facteurs de confusion non observés existent.
Méthode RA-IPS : Une technique de débaisage robuste qui ne nécessite pas les véritables scores de propension. Elle exploite l'apprentissage adversaire sur un ensemble d'incertitude théoriquement fondé pour atténuer le biais provenant des facteurs de confusion non observés.
Validation Empirique : Expérimentations approfondies sur des jeux de données publics (CRITEO-UPLIFT, LAZADA) et un jeu de données d'e-commerce de production.

4. Résultats Expérimentaux

Les auteurs ont évalué CHAUN et RA-IPS par rapport aux meilleures méthodes de référence (incluant S-Learner, T-Learner, TARNet, CFRNet, DragonNet, et autres).

Performance Globale : CHAUN a atteint des résultats de pointe sur les trois jeux de données, obtenant les premières places sur 9 des 12 métriques d'évaluation (LIFT@30, AUUC, QINI, PUC). Il a démontré des améliorations relatives allant jusqu'à 25,6 % des scores QINI par rapport à la base de référence DragonNet.
Robustesse à la Confusion Non Observée : Dans les expériences simulant des facteurs de confusion non observés (via le masquage de caractéristiques), le RA-IPS a surpassé l'IPS standard et la méthode RD-IPS. Le RA-IPS a obtenu une amélioration allant jusqu'à 5,4 % des scores QINI par rapport à l'IPS standard dans des scénarios de confusion non observée.
Études d'Ablation : Le retrait du module d'attention cross-head (BaseNet) ou son remplacement par MMoE a entraîné une dégradation des performances, particulièrement sur les jeux de données à haute dimension, validant l'efficacité du mécanisme d'attention spécifique dans CHAUN.
Analyse de Sensibilité : La performance du RA-IPS s'est révélée stable pour de petites valeurs de l'hyperparamètre de force de confusion $\Gamma$ , avec une performance fluctuant à mesure que $\Gamma$ augmentait, suggérant la nécessité d'un réglage minutieux lorsque la force de la confusion est inconnue.

5. Signification et Revendications

Le document affirme que ses méthodes proposées répondent à des limitations critiques de la modélisation d'uplift actuelle :

Flexibilité Architecturale : CHAUN fournit un cadre généralisé qui surpasse la rigidité des architectures multi-têtes existantes en modélisant dynamiquement les corrélations inter-groupes via l'attention.
Rigueur Théorique du Débaisage : En établissant la suffisance des véritables scores de propension pour l'identifiabilité, le document fournit une base théorique pour un débaisage robuste.
Robustesse Pratique : Le RA-IPS offre une solution pratique pour les scénarios réels où les facteurs de confusion non observés sont prévalents et où les véritables scores de propension sont inaccessibles, améliorant significativement la stabilité et la précision du modèle dans les tâches d'inférence causale.

Les auteurs concluent que leur approche valide l'efficacité de la combinaison d'architectures flexibles basées sur l'attention et de techniques de robustesse adversaire pour l'inférence causale en conditions réelles.