🤖 machine learning

Cross-Head Attention Uplift Network with Inverse Propensity Score under Unobserved Confounding

Dit artikel stelt het Cross-Head Attention Uplift Network (CHAUN) en de Robust Adversarial Inverse Propensity Score (RA-IPS) methode voor om de schatting van individuele behandelingseffecten te verbeteren door intergroepcorrelaties dynamisch te modelleren en bias door niet-geobserveerde confounders te mitigeren, waarbij significante prestatieverbeteringen worden behaald op zowel publieke als productie-datasets.

Oorspronkelijke auteurs: Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme webshop runt. Je wilt een speciale kortingscode sturen naar klanten die alleen iets zullen kopen als ze die korting krijgen. Als je het naar iedereen stuurt, verspil je geld aan mensen die sowieso wel hadden gekocht. Als je het niet stuurt, mis je verkopen. Dit is de kern van Uplift Modeling: precies uitzoeken wie die "duwtje" nodig heeft om actie te ondernemen.

Echter, er zijn twee grote problemen bij het proberen op te lossen van dit vraagstuk met echte wereldgegevens:

Het "Groepsomhelzing"-probleem: De mensen die je behandelt (wel een coupon krijgen) en de mensen die je niet behandelt (de controlegroep) zijn vaak heel verschillend. Maar hun gedrag is ook geheimzinnig met elkaar verbonden. Bestaande modellen zijn ofwel te rigide om deze connecties te zien, ofwel te rommelig om het "coupon-effect" te scheiden van het "persoonlijkheidseffect".
Het "Verborgen Poppenspeler"-probleem: In de echte wereld weten we niet alles over onze klanten. Er zijn verborgen factoren (zoals de stemming van een klant, een geheime uitverkoop van een concurrent, of een fout in het advertentiesysteem) die zowel bepalen wie de coupon krijgt als of ze iets kopen. We noemen dit Unobserved Confounders (niet-geobserveerde verstorende variabelen). Ze fungeren als onzichtbare poppenspelers die aan de touwtjes trekken, waardoor het lijkt alsof de coupon werkte terwijl dat niet zo was, of andersom.

Dit artikel introduceert twee nieuwe instrumenten om deze problemen op te lossen: CHAUN en RA-IPS.

1. CHAUN: Het "Cross-Head Attention" Netwerk

Beschouw een standaard AI-model als een student die twee aparte examens aflegt: één voor "Wat gebeurt er als ik een coupon krijg?" en één voor "Wat gebeurt er als ik geen coupon krijg?". Meestal studeren deze studenten in isolatie.

CHAUN is als een studiegroep waar de twee studenten met elkaar mogen fluisteren.

De Opzet: Het heeft twee "koppen" (één voor de behandelde groep, één voor de controlegroep) die leren van dezelfde basisinformatie (het profiel van de klant).
De Magie: Het gebruikt een mechanisme genaamd Cross-Head Attention. Stel je voor dat de "Behandelings-student" naar de aantekeningen van de "Controle-student" kijkt en zegt: "Hé, jij bent goed in het voorspellen van dit deel, laat me dat idee eens lenen."
Het Resultaat: In plaats van simpelweg te gokken, mengt het model de twee perspectieven dynamisch. Het leert de overeenkomsten tussen de groepen (de "groepsomhelzing") terwijl het de unieke verschillen helder houdt. Dit maakt het veel beter in het opsporen van wie er daadwerkelijk een coupon nodig heeft.

2. RA-IPS: Het "Robuuste" Veiligheidsnet

Laten we het nu hebben over de "Verborgen Poppenspeler" (Unobserved Confounders).

Meestal gebruiken statistici een hulpmiddel genaamd Inverse Propensity Score (IPS) om dit op te lossen. Beschouw IPS als een weegschaal die probeert de gewichten van de behandelde en de controlegroep in balans te brengen, zodat ze lijken op een eerlijk, gerandomiseerd experiment.

De Fout: Standaard IPS gaat ervan uit dat we alles weten over waarom een klant een coupon kreeg. Maar in de werkelijkheid missen we de "Verborgen Poppenspeler"-variabelen. Als we de standaard weegschaal gebruiken, is deze misschien perfect in balans voor wat we zien, maar volkomen uit balans voor wat we niet zien.

RA-IPS is een "paranoïde" versie van deze weegschaal.

De Strategie: In plaats van aan te nemen dat we de exacte waarde van de verborgen poppenspeler kennen, zegt RA-IPS: "Oké, de verborgen poppenspeler trekt misschien een beetje harder of zachter aan de touwtjes dan wij denken. Laten we uitgaan van het slechtste scenario."
Het Adversariële Spel: Het speelt een spel tegen zichzelf. Het probeert de meest gevaarlijke, slechtst denkbare arrangement van die verborgen variabelen te vinden binnen een redelijke marge. Vervolgens past het zijn model aan om dat slechtste scenario te overleven.
Het Resultaat: Zelfs als er verborgen poppenspelers zijn die we niet kunnen zien, bouwt RA-IPS een model dat robuust genoeg is om niet door hen misleid te worden. Het zorgt ervoor dat het "coupon-effect" dat we berekenen echt is, en niet slechts een illusie veroorzaakt door verborgen variabelen.

Het Bewijs in de Pudding

De auteurs hebben deze instrumenten getest op echte gegevens van enorme e-commerce platforms (zoals Criteo en Lazada) en een privé productiedataset.

CHAUN versloeg bijna alle andere bestaande modellen. In sommige gevallen verbeterde het het vermogen om de juiste klanten te vinden met 25,6% vergeleken met de beste voorgaande methoden.
RA-IPS bewees dat wanneer verborgen variabelen aanwezig zijn, het aanzienlijk beter is (met ongeveer 5,4%) in het corrigeren van de bias dan standaard methoden.

De Kern van het Verhaal

Dit artikel zegt niet alleen "we hebben een beter algoritme." Het zegt:

CHAUN is een slimmere manier om te leren van twee groepen mensen door ze met elkaar te laten "praten", waardoor patronen worden gevangen die andere modellen missen.
RA-IPS is een veiligheidsmechanisme dat toegeeft "we weten niet alles", en een model bouwt dat accuraat blijft, zelfs wanneer onzichtbare factoren proberen het te misleiden.

Samen creëren ze een systeem dat zowel nauwkeuriger is in het vinden van de juiste mensen om te targeten, als eerlijker over de verborgen krachten die in de echte wereld op het spel staan.

Technische Samenvatting: Cross-Head Attention Uplift Network met Inverse Propensity Score onder Ongeobserveerde Confounding

1. Probleemdefinitie

Uplift-modellering beoogt de schatting van het Individuele Behandelingseffect (ITE) te bepalen, gedefinieerd als het marginale effect van een behandeling op het gedrag van een individu. Dit artikel adresseert twee primaire uitdagingen in dit domein:

Onbuigzame Inter-Groep Modellering: Bestaande methoden hebben moeite om tegelijkertijd de inherente gelijkenis tussen behandelings- en controlegroepen te benutten en voldoende onderscheidend vermogen te behouden voor door behandeling geïnduceerde variaties. Veel benaderingen behandelen groepen ofwel onafhankelijk (negerend dat er gedeelde structuren zijn) of gebruiken rigide multi-task architecturen die een gebrek hebben aan dynamische interactiemechanismen.
Ongeobserveerde Confounding: Standaard uplift-modellen vertrouwen vaak op de aanname van "sterke ignorabiliteit", waarbij wordt gesteld dat alle confounders geobserveerd zijn. Echter, in complexe real-world systemen (bijv. biedingen in advertenties) beïnvloeden latente confounders zowel de toewijzing van de behandeling als de uitkomsten. Onder dergelijke ongeobserveerde confounding faalt de standaard Inverse Propensity Score (IPS) wegingsmethode in het bieden van onbevooroordeelde schattingen, en komt de identificeerbaarheid van ITE in gevaar zonder aanvullende aannames of data.

2. Methodologie

Het voorgestelde framework bestaat uit twee kernelementen: de Cross-Head Attention Uplift Network (CHAUN) voor de architectuur en de Robust Adversarial Inverse Propensity Score (RA-IPS) voor debiasing onder ongeobserveerde confounding.

2.1 Cross-Head Attention Uplift Network (CHAUN)

CHAUN is ontworpen om inter-groep correlaties flexibel te modelleren via een dual-head architectuur die wordt versterkt door attention-mechanismen.

Shared Feature Embedding: Continue en sparse features worden verwerkt tot een uniforme gedeelde representatie ( $x_{rep}$ ).
Dual-Branch Encoding: Het netwerk gebruikt parallelle MLP's om behandelingsspecifieke ( $x^t_{rep}$ ) en controle-specifieke ( $x^c_{rep}$ ) latente representaties te genereren.
Cross-Head Attention: In plaats van onafhankelijke predictie-heads, gebruikt CHAUN een attention-gated fusiemechanisme. Het berekent attention-gewichten op basis van de inner product gelijkenis tussen de behandelings- en controle-representaties. Dit stelt het model in staat om dynamisch cross-groep informatie te integreren, waarbij de uiteindelijke voorspelling voor elke groep een gewogen combinatie is van beide representaties. Dit ontwerp exploiteert expliciet de inter-groep gelijkenis terwijl het behandelingsspecifieke heterogeniteit behoudt.
Propensity Learning: Een aparte Propensity Learner schat de nominale propensity score $\hat{p}(x)$ met behulp van de gedeelde representatie. Om pathologische oplossingen (bijv. $\hat{p}(x) = t$ ) te voorkomen, wordt een globale regularisatie-constraint opgelegd op basis van de theoretische eigenschap dat de verwachte inverse propensity gewichten gelijk zijn aan 1.

2.2 Robust Adversarial Inverse Propensity Score (RA-IPS)

Om ongeobserveerde confounders aan te pakken zonder toegang te vereisen tot de ware propensity scores $\pi(x, u)$ , stellen de auteurs RA-IPS voor.

Theoretische Fundering: Het artikel bewijst (Theorem 1) dat indien de ware propensity scores (inclusief ongeobserveerde confounders) bekend zouden zijn, de ITE identificeerbaar zou zijn en de IPS-schatter onbevooroordeeld zou zijn, zelfs zonder de confounders direct te observeren.
Adversarial Formulering: Omdat ware propensity scores niet beschikbaar zijn, gaat RA-IPS ervan uit dat de ware propensity score zich binnen een buurt van de nominale propensity score $\tilde{\pi}(x)$ bevindt. De ware score wordt gemodelleerd als een perturbatie van de nominale score in de logit-ruimte, begrensd door een hyperparameter $\Gamma$ die de sterkte van de ongeobserveerde confounding representeert.
Uncertainty Set & Optimalisatie: De methode definieert een uncertainty set voor de propensity gewichten. In tegenstelling tot eerdere robuuste methoden (bijv. RD-IPS) die kunnen leiden tot onhaalbare gewicht-configuraties, introduceert RA-IPS een globale constraint die garandeert dat de som van de ware gewichten convergeert naar de som van de nominale gewichten (gebaseerd op de Wet van de Grote Getallen).
Worst-Case Optimalisatie: Het model optimaliseert voor het slechtste scenario binnen deze geconstreinde uncertainty set. Dit wordt bereikt door de IPS loss te maximaliseren over admissible gewichten, terwijl afwijkingen van de nominale gewichtsdistributie worden bestraft, wat de robuustheid tegen ongeobserveerde confounding versterkt.

3. Belangrijkste Bijdragen

CHAUN Architectuur: Een nieuw uplift-modelleringsframework dat gebruikmaakt van cross-head attention om interacties tussen behandelings- en controle-representaties dynamisch te bemiddelen, waardoor een balans wordt gevonden tussen inter-groep gelijkenis en behandelingsspecifieke discriminatie.
Identificeerbaarheid onder Ongeobserveerde Confounding: Een theoretisch bewijs dat toegang tot ware propensity scores een voldoende voorwaarde is voor ITE-identificeerbaarheid en onbevooroordeelde IPS-schatting, zelfs wanneer ongeobserveerde confounders aanwezig zijn.
RA-IPS Methode: Een robuuste debiasing techniek die geen toegang vereist tot ware propensity scores. Het maakt gebruik van adversarial learning over een theoretisch gefundeerde uncertainty set om bias door ongeobserveerde confounders te mitigeren.
Empirische Validatie: Uitgebreide experimenten op publieke datasets (CRITEO-UPLIFT, LAZADA) en een productie e-commerce dataset.

4. Experimentele Resultaten

De auteurs evalueerden CHAUN en RA-IPS tegen state-of-the-art baselines (inclusief S-Learner, T-Learner, TARNet, CFRNet, DragonNet, en anderen).

Algemene Prestaties: CHAUN behaalde state-of-the-art resultaten over alle drie de datasets, waarbij het top-1 rangnummers behaalde op 9 van de 12 evaluatiemetrieken (LIFT@30, AUUC, QINI, PUC). Het vertoonde relatieve verbeteringen van tot wel 25,6% in QINI-scores vergeleken met de baseline DragonNet.
Robuustheid tegen Ongeobserveerde Confounding: In experimenten die ongeobserveerde confounders simuleerden (via feature masking), presteerde RA-IPS beter dan standaard IPS en de RD-IPS methode. RA-IPS behaalde tot wel 5,4% verbetering in QINI-scores ten opzichte van standaard IPS onder scenario's met ongeobserveerde confounding.
Ablatie-studies: Het verwijderen van de cross-head attention module (BaseNet) of het vervangen ervan door MMoE resulteerde in prestatievermindering, met name op hoog-dimensionale datasets, wat de effectiviteit van de specifieke attention-mechanisme in CHAUN valideert.
Sensitiviteitsanalyse: De prestaties van RA-IPS bleken stabiel voor kleine waarden van de confounding sterkte hyperparameter $\Gamma$ , waarbij de prestaties fluctueerden naarmate $\Gamma$ toenam, wat suggereert dat zorgvuldige afstemming nodig is wanneer de sterkte van de confounding onbekend is.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde methoden kritieke beperkingen in huidige uplift-modellering aanpakken:

Architecturale Flexibiliteit: CHAUN biedt een gegeneraliseerd framework dat de starheid van bestaande multi-head architecturen overwint door inter-groep correlaties dynamisch te modelleren via attention.
Theoretische Rigor in Debiasing: Door de voldoendeheid van ware propensity scores voor identificeerbaarheid vast te stellen, biedt het artikel een theoretische basis voor robuuste debiasing.
Praktische Robuustheid: RA-IPS biedt een praktische oplossing voor real-world scenario's waar ongeobserveerde confounders talrijk zijn en ware propensity scores ontoegankelijk zijn, wat de modelstabiliteit en nauwkeurigheid in causale inferentie taken aanzienlijk verbetert.

De auteurs concluderen dat hun aanpak de effectiviteit valideert van het combineren van flexibele attention-gebaseerde architecturen met adversarial robuustheidstechnieken voor real-world causale inferentie.