Counterfactual Probing for the Influence of Affect and Specificity on Intergroup Bias

Probleemstelling

Bestaand onderzoek naar bias in Natural Language Processing (NLP) focust zich voornamelijk op expliciet negatief of beledigend taalgebruik. Dit negeert echter subtier vormen van bias die voortvloeien uit sociale dynamieken. Het paper bouwt voort op het werk van Govindarajan et al. (2023), dat bias herformuleert als veranderingen in taalgedrag afhankelijk van de sociale relatie tussen spreker en doelwit (intergroepsrelaties of IGR: in-group vs. out-group).

De centrale onderzoeksvraag is: Welke linguïstische kenmerken variëren systematisch in verschillende intergroepscontexten?
Het paper test twee pragmatische kenmerken:

1. Specificiteit: De mate van detail in een tekst (analoog aan abstract-concreet).
2. Affect: De houding van de spreker tegenover het doelwit (positief vs. negatief).

De auteurs willen onderzoeken of neurale modellen deze kenmerken daadwerkelijk gebruiken bij het voorspellen van intergroepsrelaties, en of er causale relaties bestaan tussen deze kenmerken en de voorspelling van bias.

Methodologie

1. Data en Annotatie

• Dataset: Tweets van leden van het Amerikaanse Congres waarbij leden elkaar taggen. De dataset bevat "found-supervision" labels: een tweet is in-group als de afzender en de getagde persoon tot dezelfde partij behoren, anders out-group.
• Affect: De auteurs hebben nieuwe annotaties toegevoegd aan de bestaande dataset. Annotatoren (via Mechanical Turk) beoordeelden de algemene gevoelens van de schrijver over het doelwit en diens acties. Dit resulteerde in een binaire label (positief/negatief). Er werd een kleine maar significante positieve correlatie gevonden tussen positief affect en in-group labels.
• Specificiteit: Gebruikmakend van een bestaand tool van Gao et al. (2019) werden specificiteitscores (1-5) berekend voor elke tweet. In tegenstelling tot affect, werd er geen directe correlatie gevonden tussen specificiteit en IGR-labels in de ruwe data.

2. Experimenteel Ontwerp: Counterfactual Probing
Om te testen of een model deze kenmerken causaal gebruikt (en niet alleen correleert), maken de auteurs gebruik van AlterRep (gebaseerd op Iterative Nullspace Projection - INLP).

• Model: BERTweet (voorgeïntegreerd op 850M tweets), gefinetuned voor de taak van IGR-classificatie.
• Proces:
  1. Er wordt een lineaire classifier getraind op de interne representaties van het model om een specifiek kenmerk (affect of specificiteit) te detecteren.
  2. Via INLP wordt de informatie van dit kenmerk uit de modelrepresentaties verwijderd (projectie op de nulruimte).
  3. Interventie: De auteurs manipuleren de embeddings door ze te projecteren in een richting die meer (of minder) van het kenmerk bevat (bijv. "duwen" naar meer positief affect of lagere specificiteit).
  4. Doel: Kijken hoe deze manipulatie de voorspelling van het model (in-group vs. out-group) beïnvloedt.

3. Hypothesen
Gebaseerd op de Linguistic Intergroup Bias (LIB) theorie en een bredere formulering:

• Positief affect zou leiden tot in-group voorspellingen, vooral bij lagere specificiteit (abstractere taal).
• Negatief affect zou leiden tot out-group voorspellingen.
• Het model zou moeten reageren op interventies in beide kenmerken.

Belangrijkste Resultaten

1. Invloed van Affect

• De interventies op affect hadden een sterk en duidelijk effect.
• Het "duwen" van modelrepresentaties naar positief affect resulteerde erin dat bijna alle tweets (na 32 INLP-iteraties) werden geclassificeerd als in-group.
• Het duwen naar negatief affect had het omgekeerde effect, hoewel dit trager verliep (waarschijnlijk omdat 75% van de oorspronkelijke data positief affect had).
• Conclusie: Het model gebruikt affect causaal bij het nemen van beslissingen over intergroepsrelaties.

2. Invloed van Specificiteit

• De resultaten voor specificiteit waren verrassend en inconclusief.
• Het duwen naar hogere specificiteit had geen meetbaar effect op de modelvoorspellingen (vergelijkbaar met de controlegroep).
• Het duwen naar lagere specificiteit (meer abstract) had een sterk effect: na 48 iteraties werden alle tweets voorspeld als in-group.
• Er was geen interactie gevonden tussen affect en specificiteit; het effect van specificiteit was uniform over verschillende affect-waarden.

3. Kwalitatieve Analyse en Beperkingen

• Een diepere analyse toonde aan dat het finetunen voor IGR-taken de onderliggende taalkundige capaciteiten van het model (Language Model) beschadigde. Het model begon nonsensische tokens te genereren (bijv. "opport__", "mug__") na interventies.
• De auteurs vermoeden dat de inconclusieve resultaten voor specificiteit en het gebrek aan interactie te wijten zijn aan deze degradatie van het taalmodel, waardoor de semantische coherentie verloren ging.

Kernbijdragen

1. Nieuw Framing van Bias: Het paper past een breder perspectief toe op bias, waarbij alle taalgebruik als potentieel biasvol wordt gezien afhankelijk van de sociale context, in plaats van alleen te focussen op expliciete haat.
2. Causaal Probing: Het is een van de eerste werken dat AlterRep/INLP gebruikt om te testen of neurale modellen hogere pragmatische kenmerken (affect en specificiteit) causaal gebruiken in plaats van alleen te correleren.
3. Empirische Bevindingen: Het toont aan dat neurale modellen sterk reageren op affect-manipulatie, maar dat hun gebruik van specificiteit complex is en mogelijk beïnvloed wordt door de stabiliteit van het onderliggende taalmodel.
4. Open Source: De code en data zijn openbaar gemaakt voor verder onderzoek.

Betekenis en Conclusie

Dit onderzoek is significant omdat het laat zien dat NLP-modellen gevoelig zijn voor sociale dynamieken (affect) in taal, maar dat de relatie met abstractie (specificiteit) niet zo rechtlijnig is als de theorie voorspelde. De bevindingen suggereren dat terwijl modellen sociale houdingen leren te modelleren, de manier waarop ze abstractie verwerken in deze context mogelijk beperkt is door de trainingsmethode (finetuning) die de onderliggende taalvaardigheden kan aantasten.

De auteurs concluderen dat toekomstig onderzoek zich moet richten op het begrijpen van deze discrepantie, het testen van generaliseerbaarheid in andere domeinen en talen, en het gebruik van geavanceerdere methoden om niet-lineaire eigenschappen te manipuleren. Het paper onderstreept de noodzaak om bias te analyseren als een spectrum van sociale interactie in plaats van een binair fenomeen van "goed" of "slecht" taalgebruik.