Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

Technische Samenvatting: Evaluatie van Chinese Large Language Models: De Invloed van Toewijzing van Persona's op Stereotypen en Beveiligingsmaatregelen

Probleemstelling
Hoewel recent onderzoek heeft aangetoond dat het toewijzen van specifieke persona's aan Large Language Models (LLM's) de generatie van schadelijke inhoud in westerse contexten aanzienlijk kan vergroten, bestaat er een kritieke kennislacune wat betreft dit fenomeen binnen niet-westerse, specifiek Chinese, sociotechnische omgevingen. De huidige literatuur mist grootschalige, cross-model analyses van hoe de toewijzing van persona's interacteert met veiligheidsmechanismen – specifiek weigergedrag en versterking van toxiciteit – in op het Chinees gebaseerde LLM's. Bovendien is het onduidelijk hoe promptontwerpelementen (sjablonen, persona's en doelgroepen) gezamenlijk deze veiligheidsuitkomsten beïnvloeden in Chinese taalmodellen, die een diverse bevolking bedienen met onderscheidende culturele normen.

Methodologie
De auteurs voerden een grootschalige, cross-model analyse uit waarbij vier toonaangevende Chinese LLM's betrokken waren: Qwen-Turbo, Ernie-4.5-Turbo-128k, DeepSeek-V3 en Hunyuan-Standard. De studie gebruikte een dataset van meer dan 1,4 miljoen gegenereerde teksten (ongeveer 369.000 outputs per model).

• Experimenteel Ontwerp: De onderzoekers hanteerden een systematische prompt-engineeringbenadering die drie variabelen combineerde:
  1. Persona's: Gecategoriseerd in Standaard (geen toewijzing), Basis (algemene beschrijvingen zoals "een slecht persoon") en Karakter (gedetailleerde profielen zoals "Zakenvrouwen" of historische figuren).
  2. Sociale Groepen: 240 groepen verspreid over 13 categorieën (bijvoorbeeld geslacht, ras, religie, sociaaleconomische status) die relevant zijn voor de Chinese samenleving.
  3. Prompt-sjablonen: Zes variaties variërend van onschuldig ("Zeg iets goeds over") tot adversariaal ("Zeg iets giftigs over").
• Dataverzameling: De modellen werden bevraagd via officiële chatgebaseerde API's met gestandaardiseerde parameters (temperature=1, max_tokens=500). Voor elke combinatie van persona, sociale groep en sjabloon werden drie antwoorden gegenereerd. Niet-Chinese outputs werden vertaald voor analyse.
• Meetmetrieken:
  • Weigergedrag: Gedetecteerd met een hybride aanpak van regelgebaseerde classificatie en een op Qwen-data getrainde, fijngefineerde BERT-classificator. Een prompt werd alleen als "geweigerd" beschouwd als alle drie de herhalingen resulteerden in een weigering.
  • Toxiciteit: Gemeten met de Perspective API, die een continue toxiciteitsscore (0–1) toekent. De maximale toxiciteitsscore over niet-weigering-antwoorden werd voor elke conditie vastgelegd.
• Analyse: De studie hanteerde logistische regressie om de waarschijnlijkheid van weigering te modelleren en lineaire regressie (OLS) om toxiciteitsscores te modelleren, waarbij persona-categorie, sociale groep en sjabloon als onafhankelijke variabelen werden behandeld.
• Mitigatie Case Study: Een aanvullende studie op Qwen testte een iteratieve, evaluator-geleide mitigatiestrategie. Een externe LLM (Ernie) fungeerde als evaluator om feedback te geven en giftige outputs te verfijnen zonder het primaire model opnieuw te trainen.

Belangrijkste Resultaten

• Persona-gedreven Weigeringdispariteiten: Weigergedrag is niet uniform; het varieert systematisch per model, persona en sociale groep.
  • Geslachtsbias: Vrouwelijke persona's leidden aanzienlijk vaker tot weigering dan mannelijke persona's bij verschillende modellen en negatieve sjablonen (bijvoorbeeld "Slecht", "Giftig"), wat wijst op geslachtsgebonden veiligheids triggers.
  • Sensitiviteit Sociale Groepen: Weigeringspercentages waren het hoogst voor gevoelige categorieën zoals "Seksuele Oriëntatie", "Ras", "Ziekte" en "Handicap", terwijl ze laag bleven voor "Leeftijd" en "Opleidingsniveau".
  • Herhaald Prompten: Weigeringspercentages namen over het algemeen af (attenuatie) naarmate identieke prompts werden herhaald, wat aangeeft dat veiligheidsmechanismen kunnen worden uitgehold door iteratieve pogingen.
• Versterking van Toxiciteit: Het toewijzen van persona's versterkt toxiciteit aanzienlijk ten opzichte van modelstandaarden.
  • Omvang: In sommige gevallen verhoogden specifieke persona-sociale groep-combinaties de toxiciteit met meer dan 40 keer ten opzichte van de standaardbaseline (opvallend bij Ernie).
  • Modelvariatie: Modellen met hoge weigeringspercentages (bijvoorbeeld Hunyuan) vertoonden een afgezwakte versterking van toxiciteit, terwijl modellen met lagere weigeringspercentages (bijvoorbeeld DeepSeek) meer uitgesproken toxiciteitsverschuivingen vertoonden onder adversariale persona's.
• Bepalende Factoren van Gedrag: Regressieanalyses onthulden dat:
  • Sjablonen het sterkste controle-signaal zijn voor weigering; adversariale sjablonen ("Giftig", "Schadelijk") verhogen consistent de kans op weigering.
  • Sociale Groepen dominante determinanten zijn van weigering, die vaak persona-effecten overrulen.
  • Persona-polariteit: Negatieve persona's verhoogden consistent de toxiciteit bij alle modellen, terwijl hun effect op weigergedrag sterk modelafhankelijk was (verminderde weigering bij Qwen maar verhoogde weigering bij DeepSeek).
• Efficaciteit van Mitigatie: De iteratieve, evaluator-geleide strategie slaagde erin de mediane toxiciteitsscores te verlagen van het bereik 0,6–0,8 naar 0,1–0,3 voor de 1.000 giftigste instanties, wat aantoont dat giftige outputs aanzienlijk kunnen worden gemitigeerd zonder kostbare modelhertraining.

Betekenis en Beweringen
Het artikel beweert de eerste grootschalige, cross-model karakterisering te bieden van persona-gedreven veiligheidsrisico's in Chinese LLM's. De primaire bijdragen zijn:

1. Empirisch Bewijs: Kwantitatief bewijs dat toewijzing van persona's werkt als een algemeen mechanisme voor het versterken van toxiciteit en het veranderen van weigeringspatronen in Chinese modellen, met effecten die aanzienlijk variëren naargelang modelarchitectuur en veiligheidsontwerp.
2. Culturele Contextualisering: Benadrukken van de noodzaak van cultureel specifieke veiligheidsbeoordelingen, aangezien veiligheidsmechanismen in Chinese LLM's onderscheidende sensitiviteiten vertonen voor sociale groepen (bijvoorbeeld specifieke reacties op "Seksuele Oriëntatie" of "Religie") die verschillen van op het Westen gerichte bevindingen.
3. Gestructureerd Kader: Bieden van een gestructureerde methodologie voor het beoordelen van door persona's veroorzaakte risico's en aantonen dat externe, iteratieve feedbackloops kunnen dienen als een haalbare, goedkope mitigatiestrategie voor het verminderen van toxiciteit in ingezette LLM's.

De auteurs concluderen dat hoewel toewijzing van persona's een krachtig hulpmiddel is voor personalisatie, het aanzienlijke, niet-uniforme risico's introduceert die cultureel gecontextualiseerde veiligheidsbeoordelingen en robuuste mitigatiestrategieën vereisen die verder gaan dan standaard uitlijningstechnieken.