Technische Samenvatting: Het gebruik van tekstgebaseerde causale inferentie om factoren die online beoordelingen beïnvloeden te ontrafelen

Probleemstelling

Online beoordelingen bieden rijke inzichten in de waargenomen kwaliteit van producten en diensten, maar traditionele aspect-gebaseerde sentimentanalyse faalt vaak in het kwantificeren van de causale impact van specifieke aspecten op de algehele beoordelingen. Een primaire uitdaging is de aanwezigheid van confounding variabelen (verstorende variabelen) binnen de tekst. Bijvoorbeeld: een school die geprezen wordt om academische prestaties, kan ook geprezen worden om buitenschoolse activiteiten of ouderlijke betrokkenheid; een standaard correlatieanalyse zou de hoge algehele beoordeling onterecht uitsluitend aan academische prestaties kunnen toeschrijven, waarbij de sociaaleconomische voordelen of andere factoren die het sentiment drijven, worden genegeerd.

Het doel van dit werk is het schatten van het Average Treatment Effect (ATE) van specifieke tekstuele aspecten (bijv. vermeldingen van "pesten" of "administratie") op de algehele entiteitsbeoordelingen, terwijl men rigoureus controleert voor de confounding factoren die aanwezig zijn in de resterende tekst. De auteurs behandelen tekstuele vermeldingen als proxies voor real-world attributen, met als doel de causale invloed van een specifieke factor te isoleren van de ruis van gecorreleerde factoren.

Methodologie

Raamwerk en aannames

De auteurs hanteren het potential outcomes framework (Neyman, 1923). Voor elke entiteit (school) $i$ observeren zij een tuple $(X_i, Y_i, T_i)$:

• $T_i \in \{0, 1\}$: Toewijzing van de behandeling (aanwezigheid van een specifiek onderwerp/trefwoord in de beoordelingen).
• $Y_i$: Continue uitkomst (gemiddelde beoordeling).
• $X_i$: Tekstuele covariaten (de resterende tekst van de beoordelingen, exclusief de trefwoorden die de behandeling induceren).

Het doel is om $\tau = E[Y_i(1) - Y_i(0)]$ te schatten. Om de schending van ignorability (waarbij de toewijzing van de behandeling correleert met de confounds) aan te pakken, nemen de auteurs aan dat er sprake is van Conditional Ignorability: de toewijzing van de behandeling is onafhankelijk van de potentiële uitkomsten gegeven de covariaten $X_i$.

De CausalBERT Architectuur

De kern van de methodologie is een verbeterde CausalBERT (Veitch et al., 2020), die BERT (specifiek DistilBERT) uitbreidt om tekstrepresentaties te leren die zowel de propensity score als de conditionele verwachte uitkomsten voorspellen.

1. Inputverwerking: Beoordelingen worden gesplitst in tekst die de behandeling bepaalt (trefwoorden) en tekst die als covariaat dient (alle andere beoordelingen geconcateneerd).
2. Multi-objective Learning: Het model leert een dichte representatie $h_i$ van de tekstuele covariaten om gelijktijdig het volgende te optimaliseren:
   • Propensity Score Voorspelling ($g$): Het voorspellen van de waarschijnlijkheid van de behandeling $T_i$.
   • Outcome Voorspelling ($Q$): Het voorspellen van potentiële uitkomsten $Y_i(1)$ en $Y_i(0)$ onder behandelings- en controlescenario's.
3. Verliesfunctie: Een gewogen som van de Mean Squared Error (MSE) voor de uitkomstvoorspelling en Cross-Entropy (CE) voor de toewijzing van de behandeling, gebalanceerd door een hyperparameter $\alpha$.

Belangrijke verbeteringen

Het artikel introduceert drie specifieke verbeteringen aan het standaard CausalBERT-raamwerk:

1. Temperature Scaling: Om de instabiliteit van Inverse Probability Weighting (IPW) aan te pakken die wordt veroorzaakt door extreme propensity scores (waarden nabij 0 of 1), passen de auteurs temperature scaling toe op de propensity score logits. Een temperatuurparameter $M > 1$ "verzacht" de waarschijnlijkheidsverdeling, waardoor de voorspelde waarschijnlijkheden beter overeenkomen met hun werkelijke betrouwbaarheidsniveaus en het risico op extreme gewichten in IPW- en AIPW-schatters wordt verminderd.
2. Hyperparameter Optimalisatie voor Overadjustment: De parameter $\alpha$ regelt de afweging tussen de voorspelling van de behandeling en de voorspelling van de uitkomst. De auteurs stellen een empirische strategie voor om $\alpha$ te selecteren op basis van de nauwkeurigheid van de voorspelling van de behandeling. Zij stellen dat een lagere nauwkeurigheid van de behandeling duidt op zwakkere confounding; in dergelijke gevallen levert een hogere $\alpha$ (meer focus op classificatie van de behandeling) betere ATE-schattingen op door overadjustment voor niet-bestaande confounds te voorkomen.
3. Interpretatiemethoden: Om de "black box"-aard van de embeddings te valideren, gebruiken de auteurs:
   • CLS Comparatieve Analyse: Het vergelijken van de aandachtgewichten op de CLS-token tussen de gefinetunede CausalBERT en een baseline DistilBERT om tokens te identificeren die pas significant worden nadat er voor confounds is gecontroleerd.
   • Integrated Gradients (IG): Het toeschrijven van veranderingen in voorspellingen aan specifieke inputtokens om te karakteriseren welke woorden de propensity scores en uitkomstvoorspellingen drijven.

Schatters

De studie evalueert de ATE met behulp van verschillende schatters afgeleid van de CausalBERT-outputs:

• Naive Estimator ($\hat{\tau}_{unadjust}$): Simpel verschil in gemiddelden.
• Q-only ($\hat{\tau}_Q$): Outcome regression adjustment.
• IPW ($\hat{\tau}_{IPW}$): Inverse Probability Weighting.
• AIPW ($\hat{\tau}_{AIPW}$): Augmented IPW, die propensity scores en outcome-modellen combineert voor dubbele robuustheid.

Experimentele Opzet

• Dataset: 677.210 beoordelingen van GreatSchools.org die 83.795 Amerikaanse K-12 scholen beslaan (2002–2019).
• Onderwerpen: "Bullying" (Pesten), "Administration" (Administratie), "Academic Performance" (Academische Prestaties), "Extracurricular Activities" (Buitenschoolse Activiteiten) en "Curriculum".
• Definitie van de behandeling:
  • Neutrale/Positieve onderwerpen (bijv. Administratie): De behandeling wordt gedefinieerd door sentiment (alle positieve versus alle negatieve).
  • Negatieve onderwerpen (bijv. Pesten): De behandeling wordt gedefinieerd door de aanwezigheid van het onderwerp.
• Semi-synthetische Validatie: Om de prestaties onder gecontroleerde omstandigheden te evalueren, hebben de auteurs "academic challenge" tekst (confounders) geïnjecteerd in een subset van de beoordelingen. Zij varieerden de sterkte van de confounder ($p$) van 0,5 (random toewijzing) tot 0,9 (sterke correlatie) en de ware ATE ($u$) om de robuustheid van de schatters te testen.

Belangrijkste Resultaten

Bevindingen Semi-synthetische Data

1. Confounder Sterkte: Naarmate de sterkte van de confounder toeneemt, verslechtert de prestatie van naive schatters aanzienlijk, terwijl CausalBERT-gebaseerde schatters (IPW, AIPW) robuust blijven.
2. Temperature Scaling: Scaling vermindert de foutratio van IPW-schatters aanzienlijk, vooral bij hoge confounder sterktes ($p=0,9$), door extreme propensity scores te voorkomen. Het voordeel is minder uitgesproken voor AIPW vanwege de inherente dubbele robuustheid.
3. Hyperparameter $\alpha$: Er bestaat een lineaire relatie tussen de nauwkeurigheid van de voorspelling van de behandeling en de sterkte van de confounder.
   • Lage Nauwkeurigheid (Zwakke Confounding): Een hogere $\alpha$ (bijv. 0,8) levert betere ATE-schattingen op.
   • Hoge Nauwkeurigheid (Sterke Confounding): Een gematigde $\alpha$ (bijv. 0,5) presteert het best.
   • Dit maakt een empirische selectie van $\alpha$ mogelijk op basis van de initiële modelprestaties.
4. Interpretatie: CLS-analyse bevestigde dat CausalBERT succesvol de aandacht verschuift naar geïnjecteerde confounder-tokens wanneer de confounding sterk is, terwijl het zich richt op behandeling-specifieke tokens wanneer de confounding zwak is.

Bevindingen Real-World Data

Het toepassen van het geoptimaliseerde raamwerk (met gebruik van $\alpha=0,8$ en temperature scaling) op de schoolbeoordelingen:

• Confounder Aanpassing: De aangepaste schattingen vertoonden consequent kleinere effect-magnitudes dan de ongecorrigeerde schattingen. Bijvoorbeeld: de negatieve impact van "pesten" werd geschat op -0,16 (gecorrigeerd) versus -0,26 (ongecorrigeerd), wat suggereert dat slechte administratie vaak samenvalt met pesten, waardoor de ongecorrigeerde correlatie wordt opgeblazen.
• Significante Drivers: Na controle voor confounds werden Administratie en Academische Prestaties geïdentificeerd als de meest significante positieve drijvers van de algehele schoolbeoordelingen.
• Pesten: Bleef een significante negatieve drijfveer, maar de geschatte impact werd gematigd door de aanwezigheid van andere factoren.

Betekenis en Claims

Het artikel beweert het veld van tekstgebaseerde causale inferentie vooruit te helpen door:

1. Validatie van CausalBERT: Het aantonen van de effectiviteit van CausalBERT bij het ontrafelen van causale effecten van gecorreleerde tekstuele kenmerken in een real-world, hoog-risico domein (onderwijs).
2. Methodologische Verfijning: Het bieden van concrete, empirisch gevalideerde strategieën (Temperature Scaling en $\alpha$-selectie) om de stabiliteit en nauwkeurigheid van causale schattingen uit deep learning modellen te verbeteren.
3. Interpretatie: Het aanbieden van kwalitatieve methoden om te verifiëren dat het model daadwerkelijk leert om voor confounds te controleren in plaats van simpelweg correlaties te memoriseren.
4. Domeininzicht: Het onthullen dat hoewel aspecten zoals pesten negatief worden ervaren, de perceptie van schoolkwaliteit het meest significant wordt gedreven door administratie en academische prestaties, en dat het niet controleren voor confounding leidt tot een overschatting van de impact van negatieve factoren.

De auteurs hanteren een bescheiden toon en erkennen dat de ware causale effecten in observationele data onbekend zijn en dat de afhankelijkheid van keyword-gebaseerde identificatie van de behandeling potentiële ruis introduceert. Zij benadrukken dat hun resultaten moeten worden geïnterpreteerd als schattingen van de waargenomen invloed in plaats van definitieve causale waarheden, en waarschuwen tegen blind vertrouwen in deze metrieken voor administratieve besluitvorming zonder rekening te houden met unieke schoolcontexten.