Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

Technische Samenvatting: Analyse van Verschillen in Persuasieve Taal in door LLM gegenereerde Tekst

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet voor taken op het gebied van interpersoonlijke communicatie, inclusief het opstellen van berichten die bedoeld zijn om te beïnvloeden en te overtuigen. Hoewel eerder onderzoek heeft vastgesteld dat LLM's mensen succesvol kunnen overtuigen en persuasieve taal kunnen versterken, is er een kritiek gat in het begrip van hoe specifieke gebruikersinstructies — met name die die betrekking hebben op ontvangerkenmerken — de stijl van de gegenereerde persuasieve taal beïnvloeden. In het bijzonder blijft het onduidelijk of LLM's hun persuasieve strategieën systematisch aanpassen op basis van het geslacht van de beoogde ontvanger, wat mogelijk bestaande maatschappelijke genderstereotypen reflecteert en versterkt. Dit artikel onderzoekt of door de gebruiker verstrekte attributen in de instructietekst, zoals het geslacht van de ontvanger, de door de gebruiker gekaderde intentie en de uitvoertaal, meetbare verschuivingen induceren in de dimensies van de door LLM's gegenereerde persuasieve taal.

Methodologie
De auteurs stellen een systematisch kader voor om verschillen in door LLM gegenereerde persuasieve taal te evalueren onder gecontroleerde paarwijze promptcondities. De methodologie bestaat uit de volgende componenten:

1. Promptconstructie: Twee sets instructieprompts werden gegenereerd voor zowel interpersoonlijke berichten (bijv. een collega vragen om een dienst te ruilen) als politieke argumenten (bijv. het verlagen van de stemleeftijd). Voor elke prompt werd een gepaard exemplaar gemaakt door alleen het behandelattribuut te wijzigen (bijv. "vrouwelijke collega" te veranderen in "mannelijke collega" of "nobele intentie" naar "onnobele intentie").
2. Model Evaluatie: De studie evalueerde 13 LLM's uit vijf verschillende modelfamilies (inclusief GPT-5, Llama 3, DeepSeek, Qwen en Claude), variërend in grootte, veiligheidsafstemming (safety alignment) en herkomst.
3. Evaluatiedimensies: De reacties werden geanalyseerd over 19 categorieën afgeleid van vijf theoretische dimensies van communicatie en overtuiging:
   • Retorische middelen: Logos, Pathos, Ethos.
   • Cialdini's Principes: Wederkerigheid, Betrokkenheid, Sympathie, Autoriteit, Schaarste, Sociale bewijskracht.
   • Sociale Psychologische Eigenschappen: Agentisch (competentie, assertiviteit) versus Communal (warmte, coöperativiteit).
   • Interactiedoelen: Instrumenteel, Relationeel, Identiteit.
   • Tones: Direct, Beleefd, Formeel, Speels, Affectief.
4. LLM-als-Judge: Een geautomatiseerde evaluatiesetup waarbij GPT-4o als rechter werd gebruikt, werd ingezet om paarwijse verschillen tussen reacties te scoren. De rechter kende relatieve scores toe op een ordinale schaal (−3 tot +3) voor elke categorie. Om de robuustheid te waarborgen, werd de evaluatie tweemaal uitgevoerd met omgewisselde invoervolgorde om positionele bias te mitigeren.
5. Verificatie: Het framework omvatte uitgebreide verificatiemaatregelen, waaronder:
   • Convergente Validiteit: Menselijke annotatie van een subset van reacties om te verifiëren of menselijke percepties overeenkwamen met de bevindingen van de LLM-rechter.
   • Robuustheidstests: Het testen van alternatieve rechtermodellen (Qwen2.5), het neutraliseren van gendertermen in de inputs en het vertalen van inputs naar het Engels om cross-linguale consistentie te beoordelen.
   • Statistische Analyse: Het gebruik van Wilcoxon signed-rank tests om significantie te bepalen en bootstrap-resampling om "Gender Gaps" ($G_T$) tussen verschillende modellen te vergelijken.

Belangrijkste Resultaten
De studie onthult significante en consistente gendergebaseerde verschillen in de generatie van persuasieve taal in alle geteste LLM's:

• Genderstereotypen in Stijl:
  • Op vrouwen gerichte reacties vertoonden consequent hogere scores in Communal eigenschappen, Pathos (emotionele beïnvloeding), Relationele doelen, Beleefdheid en Affectieve tones.
  • Op mannen gerichte reacties vertoonden consequent hogere scores in Agentic eigenschappen, Logos (logische beïnvloeding), Instrumentele doelen en Directe tones.
• Cross-Model Consistentie: Hoewel de omvang van de bias varieerde (bijv. GPT-5 vertoonde een grotere kloof dan GPT-4.1), was het directionele patroon van stereotypering aanwezig in alle 13 modellen.
• Cross-Linguale Persistentie: Bij het testen van een enkel model (GPT-5-MINI) over 16 talen, bleven de gendergestuurde stilistische verschillen bestaan. De studie vond geen significante correlatie tussen de omvang van de genderkloof en de Gender Inequality Index (GII) van de bijbehorende landen, wat suggereert dat de bias wordt gedreven door interne modelpatronen in plaats van uitsluitend door externe maatschappelijke data.
• Intentie-kadering: Wanneer de gebruikersintentie werd gekaderd als "nobel" versus "onnobel", pasten de modellen hun stijl aan, waarbij "onnobele" intenties hoger werden beoordeeld op Pathos en Speelsheid, terwijl "nobele" intenties hoger werden beoordeeld op Formaliteit.
• Verificatiesucces: Menselijke annotatoren bevestigden de bevindingen van de LLM-rechter, waarbij zij identificeerden dat op vrouwen gerichte teksten meer communal waren en op mannen gerichte teksten meer agentic waren. Alternatieve rechtermodellen en geneutraliseerde inputs produceerden hoog gecorreleerde resultaten, wat de robuustheid van de bevindingen bevestigt.

Betekenis en Claims
Het artikel beweert de eerste systematische, multidimensionale analyse te bieden van hoe LLM's de stijl van persuasieve taal aanpassen op basis van de gender van de ontvanger en andere attributen. De primaire bijdragen zijn:

1. Een Evaluatiekader: Een rigoureuze methodologie voor het detecteren van subtiele, op stijl gebaseerde biases in LLM-generatie die verder gaat dan eenvoudige inhoudelijke weigering of expliciete toxiciteit.
2. Bewijs van Alomvattende Bias: De bevindingen tonen aan dat zelfs modellen met uitgebreide veiligheidsafstemming diep gewortelde, stereotype genderbiases vertonen in hun persuasieve output. Deze biases komen overeen met gevestigde sociolinguïstische en sociale psychologische literatuur over "agentic" (mannelijk) en "communal" (vrouwelijk) linguïstische tendensen.
3. Generaliseerbaarheid: Het framework blijkt toepasbaar buiten gender, aangezien het succesvol verschillen detecteert op basis van gebruikersintentie en taal, en toepasbaar is over een breed scala aan talen en modelfamilies.

De auteurs merken bescheiden op dat hun analyse steunt op Westerse theoretische tradities (Aristotelische retorica, Cialdini's principes) en binaire genderbehandelingen. Zij beweren niet de grondoorzaken van deze biases te hebben ontdekt, de efficiëntie van overtuiging te hebben gemeten, noch mitigatiestrategieën voor te stellen, maar stellen de existentie en alomvattendheid van deze stilistische biases vast als een kritiek gebied voor verder onderzoek en beveiliging bij de werkelijke inzet van AI.