Estimating Causal Effects of Text Interventions Leveraging LLMs

Dit paper introduceert CausalDANN, een nieuwe methode die grote taalmodellen en domeinadaptatie gebruikt om causale effecten van complexe tekstinterventies in sociale systemen te schatten, zelfs wanneer alleen waarnemingsdata beschikbaar is.

De kern

Het Grote Probleem: De "Wat-Zou-Het-Zijn" Vraag

Stel je voor dat je een sociaal experiment wilt doen op sociale media. Je wilt weten: "Als ik boosheid uit een bericht haal, krijgen mensen minder of meer reacties?"

In de echte wereld is dit bijna onmogelijk te testen. Je kunt niet zomaar duizenden mensen dwingen om hun berichten te herschrijven om te zien wat er gebeurt. Je hebt alleen maar de bestaande data: mensen die wel boos waren en mensen die niet boos waren.

Het probleem is dat er veel andere dingen spelen. Misschien zijn boze berichten van mensen die al bekend zijn, of over onderwerpen die van nature veel discussie oproepen. Het is als proberen te weten of een paraplu regen veroorzaakt, terwijl je alleen kijkt naar mensen die al nat zijn. Je ziet een verband, maar weet niet of de paraplu de oorzaak is of het gevolg.

De Oplossing: CAUSALDANN (De "Tijdmachine" voor Tekst)

De auteurs van dit paper, Siyi Guo en haar team, hebben een slimme manier bedacht om dit op te lossen zonder echte mensen te manipuleren. Ze noemen hun methode CAUSALDANN.

Je kunt je dit voorstellen als een tijdmachine voor teksten, aangedreven door een super-intelligente robot (een Large Language Model of LLM).

Hier is hoe het werkt, stap voor stap:

1. De Robot als "Tijdmaker" (LLM Interventie)

Stel je hebt een bericht: "Ik ben zo gefrustreerd dat dit product kapot is."
In plaats van te wachten tot iemand boos wordt, vraagt de robot (de LLM): "Herschrijf dit bericht zodat het nog bozer klinkt, maar houd alles anders precies hetzelfde."

De robot maakt een nieuwe versie: "Ik ben ontzettend gefrustreerd, dit verdomde product is volledig kapot!"

Nu hebben we twee versies van hetzelfde verhaal: de originele en de "boze" versie. De robot heeft de "behandeling" (boosheid) toegepast.

2. Het Ontbrekende Puzzelstukje

Hier zit de knoop: We weten wat er gebeurde met de originele berichten (bijvoorbeeld: ze kregen 10 likes). Maar we weten niet wat er zou zijn gebeurd met de "boze" versie, omdat die nooit echt online is gegaan. Die uitkomst is onzichtbaar.

In de oude methoden was dit een doodlopende weg. Als je de uitkomst niet ziet, kun je geen oorzaak vinden.

3. De Slimme Voorspeller (Domain Adaptation)

Hier komt CAUSALDANN om de hoek kijken. Het is als een slimme vertaler die twee verschillende werelden met elkaar verbindt.

• De Oude Wereld: De originele berichten waar we de uitkomsten (likes) wel van kennen.
• De Nieuwe Wereld: De "boze" berichten waar we de uitkomsten niet kennen.

De robot leert eerst op de "Oude Wereld". Vervolgens probeert hij te voorspellen wat er zou gebeuren in de "Nieuwe Wereld". Het probleem is dat deze twee werelden net anders "klinken" (de boze tekst is anders dan de normale tekst).

CAUSALDANN gebruikt een techniek die Domain Adaptation heet. Denk hierbij aan een talenkennis. Als je een tekst in het Nederlands leert, en je moet hem vertalen naar het Vlaams, moet je niet alleen de woorden kennen, maar ook de sfeer en de structuur begrijpen, zodat je niet vastloopt.

De methode leert de computer om de "boze" teksten te behandelen alsof ze net zo normaal zijn als de originele teksten. Het verwijdert de "accenten" die de boosheid veroorzaakt, zodat de computer eerlijk kan voorspellen: "Als dit boze bericht echt online was gegaan, had het waarschijnlijk 15 likes gekregen."

Waarom is dit zo belangrijk?

Vroeger konden onderzoekers alleen kijken naar simpele dingen, zoals "Ja/Nee" vragen. Maar taal is complex. Je kunt niet zomaar zeggen "dit bericht is boos" en "dit niet".

Deze nieuwe methode stelt ons in staat om:

1. Elke willekeurige verandering te testen: Wil je weten of een vriendelijkere toon helpt? Of als je een woord verwijdert? De robot kan dit simuleren.
2. Eerlijke vergelijkingen maken: Omdat de robot de tekst aanpast zonder de rest te veranderen, weten we dat het verschil in resultaat echt door de boosheid komt, en niet omdat het onderwerp anders was.
3. Betere beslissingen nemen: Bedrijven en sociale media kunnen hierdoor beter begrijpen welke teksten mensen helpen of schaden, zonder dat ze duizenden mensen moeten manipuleren.

Samenvattend in één zin

De auteurs hebben een slimme manier bedacht om met een AI-robot "wat-zou-het-zijn" scenario's te simuleren voor teksten, en een speciale leer-methode (CAUSALDANN) die zorgt dat de voorspellingen over deze fictieve scenario's net zo betrouwbaar zijn als echte waarnemingen, zelfs als de tekst van aard verandert.

Het is alsof je een spiegel hebt die je laat zien wat er zou gebeuren als je je kleding omruilt, zonder dat je je echt hoeft te verkleed.

Technische samenvatting

Probleemstelling

Het kwantificeren van causale effecten van tekstinterventies in sociale systemen (bijvoorbeeld: wat is het effect van het verminderen van woede in een sociale mediapost op de betrokkenheid?) is een complexe uitdaging.

• Observatie vs. Experiment: In de echte wereld zijn gecontroleerde experimenten vaak onuitvoerbaar, waardoor onderzoekers afhankelijk zijn van observationele data.
• Tekst als behandeling: Traditionele causale inferentiemethoden zijn ontworpen voor binaire of discrete behandelingen (bijv. "behandeld" vs. "niet-behandeld"). Ze zijn echter ontoereikend voor complexe, hoogdimensionale tekstuele data.
• Latente variabelen: De "behandeling" (bijv. de emotionele toon van een tekst) is vaak een latente eigenschap die niet direct wordt waargenomen, maar moet worden afgeleid uit de tekst. Dit introduceert vertekening als de schatting van deze eigenschap niet perfect is.
• Gebrek aan controlegroep: Vaak ontbreekt er een controlegroep met geïntervenieerde tekst, wat het schatten van contrafactuele uitkomsten (wat zou er gebeurd zijn als de tekst anders was?) bemoeilijkt.

Methodologie: CAUSALDANN

De auteurs stellen CAUSALDANN voor, een raamwerk dat Large Language Models (LLMs) combineert met Domain Adversarial Neural Networks (DANN) om causale effecten te schatten. Het proces bestaat uit drie hoofdstappen:

1. Constructie van Interventies via LLMs:

   • In plaats van te wachten op natuurlijke variatie, wordt een hypothetische interventie op de waargenomen tekst toegepast.
   • Een LLM (zoals GPT-4 of Claude) wordt geprompt om de tekst te transformeren (bijv. "herformuleer deze tekst om woedender te klinken, maar behoud de grammatica en context").
   • Dit creëert een "geïntervenieerde" groep ($g(W)$) naast de "waargenomen" groep ($W$). De uitkomsten voor de geïntervenieerde tekst zijn echter niet waargenomen.

2. Voorspelling van Contrafactuele Uitkomsten:

   • Omdat de uitkomsten van de geïntervenieerde data ontbreken, moet een model deze voorspellen.
   • Een groot probleem hierbij is domeinverschuiving (domain shift): de verdeling van de getransformeerde tekst verschilt van de oorspronkelijke trainingsdata.
   • De auteurs gebruiken een Domain Adversarial Neural Network (DANN). Dit model bestaat uit:
     • Een BERT-encoder voor tekstrepresentatie.
     • Een uitkomstvoorspeller (classifier).
     • Een domeinvoorspeller die probeert te onderscheiden of een tekst uit de oorspronkelijke of de geïntervenieerde groep komt.
   • Door een gradient reversal layer te gebruiken, wordt de encoder getraind om domein-agnostische features te leren. Hierdoor kan het model robuuste uitkomsten voorspellen voor de geïntervenieerde tekst, zelfs als deze niet in de trainingsdata voorkwam.

3. Schatting van Causale Effecten:

   • Zodra de uitkomsten voor beide groepen (waargenomen en voorspeld) beschikbaar zijn, worden de gemiddelde behandelingseffecten (ATE) en conditionele gemiddelde behandelingseffecten (CATE) berekend als het verschil in voorspelde uitkomsten.

Belangrijkste Bijdragen

1. Formulering van Interventieruimte als Teksttransformatie: De auteurs zijn de eersten die causale effecten schatten van directe interventies op tekst zelf, waarbij de behandeling wordt gedefinieerd als een transformatie $W \to g(W)$ via een LLM, in plaats van het gebruik van tekst-embeddings als covariaten of discrete codes.
2. Robuuste Schatting bij Domeinverschuiving: Ze introduceren CAUSALDANN, dat DANN integreert om de uitdaging van het voorspellen van uitkomsten voor onwaargenomen, geïntervenieerde data op te lossen. Dit overtreft traditionele methoden zoals Inverse Propensity Weighting (IPW) en Doubly Robust (DR) schatters, die vaak falen bij binaire behandelingen die niet losstaan van de tekst.
3. Eliminatie van Confounding: Door de hele tekst als behandeling te behandelen en te conditioneren op de tekst, worden veel latente covariaten (zoals grammatica of stijl) impliciet gecontroleerd, wat de noodzaak vermindert om deze extern te identificeren.

Resultaten

Het model werd geëvalueerd op drie semi-synthetische datasets (geconstrueerd met LLM-simulaties voor ground truth):

1. Amazon Reviews: Schatting van het effect van positieve sentiment op klikgedrag.
2. Reddit AITA Comments: Schatting van het effect van een "top-comment" versus een willekeurig comment op morele oordelen.
3. Reddit AITA Posts (Woede): Schatting van het effect van verhoogde woede in posts op morele oordelen.

Vergelijking met Baselines:

• CAUSALDANN presteerde consistent beter dan baselines zoals BERT (zonder domeinadaptatie), IPW, DR en TextCause.
• IPW en DR hadden vaak grote fouten (hoge MSE en $\Delta$ATE), voornamelijk door numerieke instabiliteit wanneer de propensiteitsscores dicht bij 0 of 1 lagen (extreme weging).
• CAUSALDANN leverde de nauwkeurigste schattingen, met name in scenario's met significante domeinverschuiving (zoals bij de woede-interventie), wat aantoont dat de domeinadaptatie essentieel is voor het generaliseren naar geïntervenieerde data.

Betekenis en Toekomstperspectief

• Nieuwe Paradigma: Dit werk opent de deur voor het bestuderen van causale effecten van taal op menselijk gedrag zonder dat fysieke experimenten nodig zijn. Het maakt het mogelijk om "wat als"-scenario's te simuleren voor complexe tekstuele interventies.
• Beperkingen: De methode is afhankelijk van de kwaliteit van de LLM-transformaties. Als de LLM niet perfect één eigenschap isoleert (bijv. woede) zonder andere eigenschappen te veranderen (bijv. toxiciteit), kan dit vertekening introduceren. De auteurs benadrukken dat toekomstig werk zich moet richten op het valideren van de betrouwbaarheid van deze synthetische data en het mitigeren van biases in LLM-generaties.
• Toepassing: Het raamwerk biedt een krachtig instrument voor onderzoekers om sociale dynamieken te begrijpen en effectieve interventies te ontwikkelen in online systemen, mits de beperkingen van synthetische evaluatie in acht worden genomen.