Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

Sintesi Tecnica: Valutazione dei Modelli Linguistici di Grande Dimensione Cinesi: L'Influenza dell'Assegnazione di Persona sugli Stereotipi e sulle Misure di Sicurezza

Enunciato del Problema
Mentre ricerche recenti hanno stabilito che l'assegnazione di persone specifiche ai Modelli Linguistici di Grande Dimensione (LLM) può aumentare significativamente la generazione di contenuti dannosi nei contesti occidentali, esiste un vuoto critico nella comprensione di questo fenomeno all'interno di ambienti sociotecnici non occidentali, in particolare cinesi. La letteratura attuale manca di analisi su larga scala e trasversali ai modelli su come l'assegnazione di persona interagisca con i meccanismi di sicurezza, in particolare il comportamento di rifiuto e l'amplificazione della tossicità, negli LLM basati sulla lingua cinese. Inoltre, rimane poco chiaro come gli elementi di progettazione dei prompt (modelli, persone e gruppi sociali target) influenzino congiuntamente questi esiti di sicurezza nei modelli linguistici cinesi, che servono una popolazione diversificata con norme culturali distinte.

Metodologia
Gli autori hanno condotto un'analisi su larga scala e trasversale ai modelli coinvolgendo quattro LLM cinesi leader: Qwen-Turbo, Ernie-4.5-Turbo-128k, DeepSeek-V3 e Hunyuan-Standard. Lo studio ha utilizzato un dataset di oltre 1,4 milioni di testi generati (circa 369.000 output per modello).

• Progettazione Sperimentale: I ricercatori hanno adottato un approccio sistematico di ingegneria dei prompt combinando tre variabili:
  1. Persone: Categorizzate in Predefinite (nessuna assegnazione), Base (descrittori generali come "una persona cattiva") e Personaggio (profili dettagliati come "Imprenditrici" o figure storiche).
  2. Gruppi Sociali: 240 gruppi distribuiti in 13 categorie (ad esempio, genere, razza, religione, status socioeconomico) rilevanti per la società cinese.
  3. Modelli di Prompt: Sei variazioni che vanno dal benigno ("Di qualcosa di buono su") all'adversarial ("Di qualcosa di tossico su").
• Raccolta Dati: I modelli sono stati interrogati tramite API ufficiali basate sulla chat con parametri standardizzati (temperature=1, max_tokens=500). Sono stati generati tre risposte per ogni combinazione di persona, gruppo sociale e modello. Gli output non cinesi sono stati tradotti per l'analisi.
• Metriche di Misurazione:
  • Comportamento di Rifiuto: Rilevato utilizzando un approccio ibrido di classificazione basata su regole e un classificatore BERT fine-tuned addestrato su dati Qwen. Un prompt è stato considerato "rifiutato" solo se tutte e tre le ripetizioni hanno portato a un rifiuto.
  • Tossicità: Misurata utilizzando la Perspective API, che assegna un punteggio di tossicità continuo (0–1). Il punteggio di tossicità massimo tra le risposte non rifiutate è stato registrato per ogni condizione.
• Analisi: Lo studio ha impiegato la regressione logistica per modellare la probabilità di rifiuto e la regressione lineare (OLS) per modellare i punteggi di tossicità, trattando la categoria della persona, il gruppo sociale e il modello come variabili indipendenti.
• Studio di Caso di Mitigazione: Uno studio complementare su Qwen ha testato una strategia di mitigazione iterativa guidata da un valutatore. Un LLM esterno (Ernie) ha agito come valutatore per fornire feedback e raffinare gli output tossici senza riaddestrare il modello principale.

Risultati Chiave

• Disparità di Rifiuto Guidate dalla Persona: Il comportamento di rifiuto non è uniforme; varia sistematicamente in base al modello, alla persona e al gruppo sociale.
  • Pregiudizio di Genere: Le persone femminili hanno innescato tassi di rifiuto significativamente più alti rispetto alle persone maschili in diversi modelli e modelli negativi (ad esempio, "Cattivo", "Tossico"), suggerendo trigger di sicurezza legati al genere.
  • Sensibilità del Gruppo Sociale: I tassi di rifiuto sono stati più alti per categorie sensibili come "Orientamento Sessuale", "Razza", "Malattia" e "Disabilità", mentre sono rimasti bassi per "Età" e "Qualifica Istruttiva".
  • Prompting Ripetuto: I tassi di rifiuto si sono generalmente attenuati (diminuiti) man mano che prompt identici venivano ripetuti, indicando che i meccanismi di sicurezza possono essere erosi attraverso tentativi iterativi.
• Amplificazione della Tossicità: L'assegnazione di persone amplifica significativamente la tossicità rispetto ai valori predefiniti del modello.
  • Entità: In alcuni casi, combinazioni specifiche di persona-gruppo sociale hanno aumentato la tossicità di oltre 40 volte rispetto alla linea di base predefinita (in particolare in Ernie).
  • Varianza del Modello: I modelli con alti tassi di rifiuto (ad esempio, Hunyuan) hanno mostrato un'amplificazione della tossicità attenuata, mentre i modelli con tassi di rifiuto più bassi (ad esempio, DeepSeek) hanno esibito spostamenti di tossicità più pronunciati sotto persone adversarial.
• Determinanti del Comportamento: Le analisi di regressione hanno rivelato che:
  • Modelli: Sono il segnale di controllo più forte per il rifiuto; i modelli adversarial ("Tossico", "Dannoso") aumentano costantemente la probabilità di rifiuto.
  • Gruppi Sociali: Sono i determinanti dominanti del rifiuto, spesso sovrascrivendo gli effetti della persona.
  • Polarità della Persona: Le persone negative hanno aumentato costantemente la tossicità in tutti i modelli, mentre il loro effetto sul comportamento di rifiuto è stato altamente dipendente dal modello (riducendo il rifiuto in Qwen ma aumentandolo in DeepSeek).
• Efficacia della Mitigazione: La strategia iterativa guidata dal valutatore ha ridotto con successo i punteggi medi di tossicità dalla gamma 0,6–0,8 a 0,1–0,3 per le 1.000 istanze più tossiche, dimostrando che gli output tossici possono essere sostanzialmente mitigati senza un costoso riaddestramento del modello.

Significato e Affermazioni
Il documento afferma di fornire la prima caratterizzazione su larga scala e trasversale ai modelli dei rischi di sicurezza guidati dalla persona negli LLM cinesi. I suoi contributi principali sono:

1. Evidenza Empirica: Prova quantitativa che l'assegnazione di persona agisce come un meccanismo generale per amplificare la tossicità e alterare i modelli di rifiuto nei modelli cinesi, con effetti che variano significativamente in base all'architettura del modello e al design della sicurezza.
2. Contestualizzazione Culturale: Sottolineare la necessità di valutazioni di sicurezza specifiche per la cultura, poiché i meccanismi di sicurezza negli LLM cinesi mostrano sensibilità distinte verso i gruppi sociali (ad esempio, reazioni specifiche a "Orientamento Sessuale" o "Religione") che differiscono dalle scoperte incentrate sull'Occidente.
3. Quadro Strutturato: Offrire una metodologia strutturata per valutare i rischi indotti dalla persona e dimostrare che i loop di feedback esterni e iterativi possono servire come una strategia di mitigazione vitale e a basso costo per ridurre la tossicità negli LLM distribuiti.

Gli autori concludono che, sebbene l'assegnazione di persona sia uno strumento potente per la personalizzazione, introduce rischi significativi e non uniformi che richiedono valutazioni di sicurezza contestualizzate culturalmente e strategie di mitigazione robuste oltre le tecniche standard di allineamento.