Sintesi Tecnica: Il Prompting Occupazionale Rivela il Bias Culturale nei Large Language Models

Definizione del Problema

Sebbene la ricerca precedente abbia stabilito che i Large Language Models (LLM) esibiscano bias culturali — specificamente una tendenza predefinita verso l'Occidente quando sollecitati con prompt generici o con indizi basati sulla nazionalità — l'entità con cui le identità occupazionali influenzano l'espressione dei valori rimane poco chiara. I ruoli sociali portano con sé assunzioni su formazione, status e norme istituzionali che modellano il giudizio umano. Poiché gli LLM sono sempre più impiegati in flussi di lavoro professionali e di supporto alle decisioni, è fondamentale determinare se i modelli attribuiscano orientamenti di valore culturale sistematici alle identità occupazionali e se queste associazioni producano spostamenti prevedibili negli output del modello. Gli attuali framework per misurare il bias culturale si sono concentrati principalmente sul prompting basato sulla nazionalità, lasciando un vuoto nella comprensione di come i segnali del ruolo professionale, da soli, modellino le strutture di valore latenti.

Metodologia

Gli autori estendono il framework di allineamento culturale basato su sondaggi introdotto da Tao et al. [17] per investigare il prompting occupazionale. Lo studio utilizza la seguente pipeline:

1. Costruzione dello Spazio di Benchmark: Gli autori utilizzano gli Integrated Values Surveys (IVS), armonizzando i dati del World Values Survey (WVS) e dell'European Values Study (EVS). Applicano la Principal Component Analysis (PCA) con rotazione varimax su dieci item specifici del sondaggio per generare uno spazio culturale canonico bidimensionale definito dalle dimensioni di Inglehart–Welzel: Sopravvivenza vs. Auto-espressione e Tradizionale vs. Secolare.
2. Dataset Occupazionale: È stato generato un set curato di 234 occupazioni utilizzando ChatGPT Pro, annotato con metadati relativi a settore, dominio, livello di istruzione e ambito. Questo dataset copre ruoli professionali, tecnici, di servizio, scientifici, creativi e di mestieri specializzati.
3. Valutazione del Modello: Sono stati valutati cinque LLM open-weight: Llama 3.3 (70B), Llama 4 (16×17B), Gemma 3 (27B), GPT-OSS (20B) e GPT-OSS (120B).
4. Strategia di Prompting: Invece di prompt generici o basati sulla nazionalità, i modelli sono stati condizionati con identità occupazionali (ad esempio, "Sei un essere umano medio che lavora come contabile..."). I modelli hanno risposto ai medesimi dieci item del sondaggio IVS sotto questi specifici vincoli di ruolo.
5. Proiezione e Analisi: Le risposte dei modelli sono state standardizzate, proiettate nello spazio culturale IVS e mediate tra le varianti descrittore-rispondente. Le coordinate risultanti sono state analizzate a due livelli:
   • Livello di Dominio: Aggregazione delle occupazioni in campi più ampi (ad esempio, "cybersecurity", "educazione").
   • Livello di Occupazione: Analisi dei singoli ruoli.
   • Assegnazione: I punti sono stati assegnati a categorie culturali di benchmark (ad esempio, Europa Protestante, Confuciano, Africano-Islamico) tramite l'appaiamento della distanza euclidea dal centroide più vicino.

Contributi Principali

Il documento apporta quattro contributi primari:

1. Estensione del Framework: Estende la valutazione del bias culturale basata su sondaggi dal prompting basato sulla nazionalità al prompting occupazionale, utilizzando le identità professionali come sonde per le strutture di valore latenti.
2. Mappatura Culturale: Proietta le risposte condizionate dalle occupazioni di molteplici LLM open-weight nello spazio culturale di Inglehart–Welzel, analizzando la distribuzione di specifiche occupazioni e gruppi occupazionali.
3. Analisi Strutturale: Investiga sia le singole occupazioni che i raggruppamenti basati sui metadati, rivelando pattern strutturali di livello superiore attraverso i domini e gli attributi correlati.
4. Confronto tra Modelli: Confronta molteplici LLM open-weight all'interno dello stesso pipeline per distinguere tra pattern occupazionali coerenti e comportamenti specifici del modello.

Risultati

Lo studio produce diverse scoperte chiave riguardanti il modo in cui gli LLM associano le occupazioni ai valori culturali:

• Persistente Bias Occidentale: Quando sollecitati con identità occupazionali, le risposte degli LLM rimangono generalmente all'interno di una regione ampiamente orientata all'Occidente della mappa culturale (specificamente sul lato dell'auto-espressione). Il prompting occupazionale non elimina il "prior" occidentale osservato nel prompting generico, ma introduce variazione all'interno di questa regione.
• Distinte Deviazioni Occupazionali: Diverse occupazioni inducono spostamenti sistematici all'interno del cluster occidentale:
  • Auto-espressione/Europa Protestante: I domini creativi, sociali, educativi e orientati al design (ad esempio, consulenza, design visivo, ricerca educativa) si raggruppano vicino alla regione dell'Europa Protestante.
  • Secolare/Confuciano: I domini tecnici, finanziari, del rischio e della sicurezza (ad esempio, contabilità, cybersecurity, analisi dell'intelligence) si spostano verso l'alto verso il lato secolare, più vicino alla regione Confuciana.
  • Tradizionale/Anglosassone: I domini religiosi (ad esempio, teologia) si muovono verso il basso verso il lato tradizionale, allineandosi spesso più vicino alle coordinate anglosassoni.
  • Ruoli Centrali/di Autorità: I ruoli orientati all'autorità e alle istituzioni (ad esempio, polizia, militari, magistratura) occupano posizioni centrali, spesso vicino ai confini dell'Europa Cattolica, dell'Europa Ortodossa o dell'Asia Occidentale e Meridionale.
• Copertura Asimmetrica: La mappa culturale non è coperta simmetricamente dai prompt occupazionali. L'Europa Protestante è la regione più accessibile, raggiungibile da una varietà di ruoli. Al contrario, regioni come l'Africa-Islamica, l'America Latina e l'Asia Occidentale e Meridionale sono approcciate solo attraverso un set ristretto e ripetitivo di indizi, che coinvolgono principalmente figure di autorità (militari, polizia, giudici) o leader religiosi.
• Varianza del Modello: Sebbene la tendità generale del bias occidentale sia coerente, diversi modelli utilizzano diversi "percorsi occupazionali" per approssimare lo stesso centroide culturale. Ad esempio, i modelli variano nel decidere se associare i valori "Confuciani" ai ruoli assicurativi, alla cybersecurity o ai mestieri militari.

Significato e Rivendicazioni

Il paper sostiene che i prompt occupazionali non sono trattati come etichette di ruolo neutre dagli LLM. Al contrario, essi elicitano pattern strutturati di espressione dei valori, indicando che i modelli associano specifici domini professionali a distinti profili di valore culturale lungo gli assi di Inglehart–Welzel.

Gli autori pongono questo lavoro come una necessaria espansione della valutazione del bias culturale oltre la nazionalità. Argomentano che, poiché i descrittori occupazionali sono comuni nei prompt del mondo reale (anche senza espliciti indizi culturali o nazionali), comprendere queste associazioni è vitale in contesti in cui gli LLM supportano l'auditing, il processo decisionale o il ragionamento professionale. Lo studio fornisce un framework per misurare come gli LLM organizzano le informazioni sui ruoli sociali in strutture di valore latenti, avvertendo che queste proiezioni riflettono le associazioni interne al modello piuttosto che i veri valori culturali delle professioni reali.

Gli autori notano esplicitamente i limiti: il dataset occupazionale è stato curato da un LLM (servendo come framework analitico piuttosto che come verità di base), la valutazione si basa su risposte a scelta forzata di breve durata, e le proiezioni misurano l'organizzazione del modello rispetto a una mappa di riferimento piuttosto che le distribuzioni demografiche del mondo reale.