🤖 machine learning

Cross-Head Attention Uplift Network with Inverse Propensity Score under Unobserved Confounding

Questo articolo propone la Cross-Head Attention Uplift Network (CHAUN) e il metodo Robust Adversarial Inverse Propensity Score (RA-IPS) per migliorare la stima dell'effetto del trattamento individuale modellando dinamicamente le correlazioni inter-gruppo e mitigando il bias derivante da confonditori non osservati, ottenendo miglioramenti significativi delle prestazioni sia su dataset pubblici che di produzione.

Autori originali: Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un enorme negozio online. Vuoi inviare un coupon speciale ai clienti che comprerebbero qualcosa solo se ricevessero il coupon. Se lo inviassi a tutti, sprecheresti denaro su persone che avrebbero comunque acquistato. Se non lo inviassi, perderesti delle vendite. Questo è il cuore dell'Uplift Modeling: capire esattamente chi ha bisogno di quella "spinta" per compiere un'azione.

Tuttavia, ci sono due grandi problemi nel cercare di risolvere questo problema utilizzando dati del mondo reale:

Il Problema dell' "Abbraccio di Gruppo": Le persone che tratti (a cui invii i coupon) e quelle che non lo riceveranno (il gruppo di controllo) sono spesso molto diverse. Ma i loro comportamenti sono anche segretamente correlati. I modelli esistenti sono o troppo rigidi per vedere queste connessioni o troppo disordinati per separare l' "effetto coupon" dall' "effetto personalità".
Il Problema del "Burattinaio Nascosto": Nel mondo reale, non conosciamo tutto dei nostri clienti. Esistono fattori nascosti (come l'umore di un cliente, la vendita segreta di un concorrente o un errore nel sistema pubblicitario) che decidono sia chi riceve il coupon sia se il cliente acquisterà. Li chiamiamo Confounder Non Osservati (Unobserved Confounders). Agiscono come burattinai invisibili che muovono i fili, facendo sembrare che il coupon abbia funzionato quando non è stato così, o viceversa.

Questo articolo presenta due nuovi strumenti per risolvere questi problemi: CHAUN e RA-IPS.

1. CHAUN: La rete "Cross-Head Attention"

Pensa a un modello di IA standard come a uno studente che sostiene due esami separati: uno per "Cosa succede se ricevo un coupon?" e uno per "Cosa succede se non lo ricevo?". Di solito, questi studenti studiano in isolamento.

CHAUN è come un gruppo di studio in cui i due studenti sono autorizzati a sussurrare tra loro.

La Configurazione: Ha due "teste" (una per il gruppo di trattamento, una per il gruppo di controllo) che apprendono dalle stesse informazioni di base (il profilo del cliente).
La Magia: Utilizza un meccano chiamato Cross-Head Attention. Immagina lo "Studente del Trattamento" che guarda gli appunti dello "Studente del Controllo" e dice: "Ehi, tu sei bravo a prevedere questa parte, lasciami prendere in prestito quell'idea".
Il Risultato: Invece di limitarsi a indovinare, il modello fonde dinamicamente le due prospettive. Impara le somiglianze tra i gruppi (l' "abbraccio di gruppo") pur mantenendo chiare le differenze uniche. Questo lo rende molto più bravo a individuare chi ha effettivamente bisogno del coupon.

2. RA-IPS: La rete di sicurezza "Robusta"

Ora, parliamo del "Burattinaio Nascosto" (Unobserved Confounders).

Di solito, gli statistici usano uno strumento chiamato Inverse Propensity Score (IPS) per correggere questo problema. Pensa all'IPS come a una bilancia che cerca di equilibrare i pesi dei gruppi trattati e di controllo in modo che sembrino un esperimento randomizzato equo.

Il Difetto: L'IPS standard assume che sappiamo tutto sul perché un cliente ha ricevuto un coupon. Ma nella realtà, ci mancano le variabili del "Burattinaio Nascosto". Se usiamo la bilancia standard, potrebbe essere perfettamente bilanciata per ciò che vediamo, ma totalmente sbilanciata per ciò che non vediamo.

RA-IPS è una versione "paranoica" di questa bilancia.

La Strategia: Invece di assumere che conosciamo esattamente il peso del burattinaio nascosto, RA-IPS dice: "Ok, il burattinaio nascosto potrebbe tirare i fili un po' più forte o un po' più piano di quanto pensiamo. Assumiamo lo scenario peggiore".
Il Gioco Avversario: Gioca un gioco contro se stesso. Cerca di trovare la disposizione più pericolosa e peggiore possibile di quelle variabili nascoste entro un intervallo ragionevole. Poi, adatta il proprio modello per sopravvivere a quello scenario peggiore.
Il Risultato: Anche se ci sono burattinai nascosti che non possiamo vedere, RA-IPS costruisce un modello abbastanza robusto da non farsi ingannare da loro. Garantisce che l' "effetto coupon" che calcoliamo sia reale, e non solo un'illusione causata da variabili nascoste.

La Prova del Contesto

Gli autori hanno testato questi strumenti su dati reali provenienti da enormi piattaforme di e-commerce (come Criteo e Lazada) e su un dataset di produzione privato.

CHAUN ha battuto quasi tutti gli altri modelli esistenti. In alcuni casi, ha migliorato la capacità di trovare i clienti giusti del 25,6% rispetto ai migliori metodi precedenti.
RA-IPS ha dimostrato che, quando sono presenti variabili nascoste, è significativamente migliore (di circa il 5,4%) nel correggere il bias rispetto ai metodi standard.

Il Punto Fondamentale

Questo articolo non dice solo "abbiamo un algoritmo migliore". Dice che:

CHAUN è un modo più intelligente di apprendere da due gruppi di persone lasciando che "parlino" tra loro, catturando schemi che altri modelli perdono.
RA-IPS è un meccanismo di sicurezza che ammette "non sappiamo tutto" e costruisce un modello che rimane accurato anche quando fattori invisibili cercano di ingannarlo.

Insieme, creano un sistema che è sia più accurato nel trovare le persone giuste da colpire, sia più onesto riguardo alle forze nascoste in gioco nel mondo reale.

Sintesi Tecnica: Rete di Cross-Head Attention Uplift con Propensity Score Inverso sotto Confondimento Non Osservato

1. Definizione del Problema

L'uplift modeling mira a stimare l'Effetto del Trattamento Individuale (ITE), definito come l'effetto marginale di un trattamento sul comportamento di un individuo. Questo articolo affronta due sfide primarie in questo dominio:

Modellazione Inter-Gruppo Inflessibile: I metodi esistenti faticano a sfruttare simultaneamente la naturale somiglianza tra i gruppi di trattamento e di controllo pur mantenendo una sufficiente discriminazione per le variazioni indotte dal trattamento. Molti approcci trattano i gruppi in modo indipendente (ignorando le strutture condivise) o utilizzano architetture multi-task rigide che mancano di meccanismi di interazione dinamica.
Confondimento Non Osservato: Gli standard modelli di uplift si affidano spesso all'assunzione di "ignorabilità forte", postulando che tutti i confonditori siano osservati. Tuttavia, in sistemi complessi del mondo reale (ad esempio, il bidding pubblicitario), i confonditori latenti influenzano sia l'assegnazione del trattamento che gli esiti. In presenza di tale confondimento non osservato, il classico pesatura del Propensity Score Inverso (IPS) non è in grado di fornire stime imparziali, e l'identificabilità dell'ITE è compromessa senza assunzioni o dati aggiuntivi.

2. Metodologia

Il framework proposto consiste in due componenti principali: la Cross-Head Attention Uplift Network (CHAUN) per l'architettura e la Robust Adversarial Inverse Propensity Score (RA-IPS) per il debiasing sotto confondimento non osservato.

2.1 Cross-Head Attention Uplift Network (CHAUN)

CHAUN è progettata per modellare in modo flessibile le correlazioni inter-gruppo attraverso un'architettura a doppio head potenziata da meccanismi di attenzione.

Embedding delle Caratteristiche Condivise: Le caratteristiche continue e sparse vengono elaborate in una rappresentazione condivisa unificata ( $x_{rep}$ ).
Codifica a Doppia Branch: La rete impiega MLP paralleli per generare rappresentazioni latenti specifiche per il trattamento ( $x^t_{rep}$ ) e per il controllo ( $x^c_{rep}$ ).
Cross-Head Attention: Invece di teste di predizione indipendenti, CHAUN utilizza un meccanismo di fusione con gate di attenzione. Calcola i pesi di attenzione basandosi sulla similitudine del prodotto interno tra le rappresentazioni di trattamento e di controllo. Ciò consente al modello di integrare dinamicamente le informazioni cross-gruppo, dove la predizione finale per ciascun gruppo è una combinazione pesata di entrambe le rappresentazioni. Questo design sfrutta esplicitamente la somiglianza inter-gruppo preservando al contempo l'eterogeneità specifica del trattamento.
Apprendimento della Propensity: Un apprenditore di Propensity separato stima il propensity score nominale $\hat{p}(x)$ utilizzando la rappresentazione condivisa. Per prevenire soluzioni patologiche (ad esempio, $\hat{p}(x) = t$ ), viene imposta un vincolo di regolarizzazione globale basato sulla proprietà teorica secondo cui il valore atteso dei pesi del propensity inverso è uguale a 1.

2.2 Robust Adversarial Inverse Propensity Score (RA-IPS)

Per affrontare i confonditori non osservati senza richiedere l'accesso ai veri propensity score $\pi(x, u)$ , gli autori propongono RA-IPS.

Fondamento Teorico: L'articolo dimostra (Teorema 1) che se i veri propensity score (inclusi i confonditori non osservati) fossero noti, l'ITE sarebbe identificabile e lo stimatore IPS sarebbe imparziale, anche senza osservare direttamente i confonditori.
Formulazione Avversaria: Poiché i veri propensity score non sono disponibili, RA-IPS assume che il vero propensity score risieda in un vicinato del propensity score nominale $\tilde{\pi}(x)$ . Il vero score è modellato come una perturbazione del punteggio nominale nello spazio logit, limitata da un iperparametro $\Gamma$ che rappresenta la forza del confondimento non osservato.
Insieme di Incertezza e Ottimizzazione: Il metodo definisce un insieme di incertezza per i pesi di propensity. A differenza di altri metodi robusti precedenti (ad esempio, RD-IPS) che possono portare a configurazioni di pesi non fattibili, RA-IPS introduce un vincolo globale che assicura che la somma dei veri pesi converga alla somma dei pesi nominali (basandosi sulla Legge dei Grandi Numeri).
Ottimizzazione del Caso Peggiore: Il modello ottimizza per lo scenario peggiore all'interno di questo insieme di incertezza vincolato. Ciò viene ottenuto massimizzando la perdita IPS sui pesi ammissibili, penalizzando al contempo le deviazioni dalla distribuzione dei pesi nominali, aumentando così la robustezza contro il confondimento non osservato.

3. Contributi Chiave

Architettura CHAUN: Un nuovo framework di uplift modeling che utilizza la cross-head attention per mediare dinamicamente le interazioni tra le rappresentazioni di trattamento e di controllo, bilanciando efficacemente la somiglianza inter-gruppo e la discriminazione specifica del trattamento.
Identificabilità sotto Confondimento Non Osservato: Una prova teorica che dimostra come l'accesso ai veri propensity score sia una condizione sufficiente per l'identificabilità dell'ITE e per una stima IPS imparziale, anche quando esistono confonditori non osservati.
Metodo RA-IPS: Una tecnica di debiasing robusta che non richiede i veri propensity score. Sfrutta l'apprendimento avversario su un insieme di incertezza teoricamente fondato per mitigare il bias derivante dai confonditori non osservati.
Validazione Empirica: Esperimenti estesi su dataset pubblici (CRITEO-UPLIFT, LAZADA) e un dataset di produzione e-commerce.

4. Risultati Sperimentali

Gli autori hanno valutato CHAUN e RA-IPS rispetto a baseline allo stato dell'arte (inclusi S-Learner, T-Learner, TARNet, CFRNet, DragonNet e altri).

Performance Complessiva: CHAUN ha raggiunto risultati allo stato dell'arte su tutti e tre i dataset, ottenendo il primo posto in 9 su 12 metriche di valutazione (LIFT@30, AUUC, QINI, PUC). Ha dimostrato miglioramenti relativi fino al 25,6% nei punteggi QINI rispetto al baseline DragonNet.
Robustezza al Confondimento Non Osservato: In esperimenti che simulano confonditori non osservati (tramite masking delle feature), RA-IPS ha superato lo standard IPS e il metodo RD-IPS. RA-IPS ha ottenuto un miglioramento fino al 5,4% nei punteggi QINI rispetto allo standard IPS in scenari di confondimento non osservato.
Studi di Ablazione: La rimozione del modulo di cross-head attention (BaseNet) o la sua sostituzione con MMoE ha causato un degrado delle prestazioni, particolarmente su dataset ad alta dimensionalità, validando l'efficacia del meccanismo di attenzione specifico in CHAUN.
Analisi di Sensibilità: È stato dimostrato che le prestazioni di RA-IPS sono stabili per piccoli valori dell'iperparametro di forza del confondimento $\Gamma$ , con le prestazioni che fluttuano all'aumentare di $\Gamma$ , suggerendo la necessità di un tuning accurato quando la forza del confondimento è sconosciuta.

5. Significato e Rivendicazioni

L'articolo sostiene che i metodi proposti affrontano limitazioni critiche nell'attuale uplift modeling:

Flessibilità Architetturale: CHAUN fornisce un framework generalizzato che supera la rigidità delle attuali architetture multi-head modellando dinamicamente le correlazioni inter-gruppo attraverso l'attenzione.
Rigore Teorico nel Debiasing: Stabilendo la sufficienza dei veri propensity score per l'identificabilità, il paper fornisce una base teorica per un debiasing robusto.
Robustezza Pratica: RA-IPS offre una soluzione pratica per scenari del mondo reale in cui i confonditori non osservati sono prevalenti e i veri propensity score sono inaccessibili, migliorando significativamente la stabilità e l'accuratezza dei modelli nei compiti di inferenza causale.

Gli autori concludono che il loro approccio valida l'efficacia della combinazione di architetture flessibili basate su attenzione con tecniche di robustezza avversaria per l'inferenza causale nel mondo reale.