Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

Sintesi Tecnica: Apprendimento della Rilevazione del Sessismo tramite l'Ottimizzazione delle Preferenze Perspettiviste Multi-Agente

Definizione del Problema

La rilevazione del sessismo nel naturale linguaggio di elaborazione (NLP) è intrinsecamente soggettiva. Gli annotatori spesso discordano sul fatto che un determinato testo contenga sessismo, non per errore, ma perché percepiscono il contenuto in modo genuinamente diverso. Gli approcci standard di NLP tipicamente scartano questo disaccordo, collassando le molteplici annotazioni in un unico "ground truth" tramite la maggioranza, trattando le opinioni minoritarie come rumore. La ricerca prospettivista sostiene che questo disaccordo sia un segnale che dovrebbe essere modellato piuttosto che mediato. La sfida consiste nel creare sistemi in grado di rappresentare queste diverse prospettive degli annotatori senza imporre un consenso unico, garantendo al contempo che il sistema rimanga calibrato sulla reale distribuzione dei giudizi umani.

Metodologia: MAP-PO

Gli autori propongono la Multi-Agent Perspectivist Preference Optimization (MAP-PO), un framework progettato per preservare le diverse prospettive degli annotatori attraverso un sistema multi-agente. La metodologia procede in tre fasi principali:

1. Clustering Comportamentale:
   Invece di raggruppare gli annotatori per attributi demografici (età, genere, ecc.), gli autori li raggruppano in base al comportamento di etichettatura. Utilizzando il dataset EXIST 2024 (tweet in inglese e spagnolo), gli annotatori sono caratterizzati da tre caratteristiche:

   • Tasso di YES: La frequenza con cui un annotatore etichetta un testo come sessista.
   • Tasso di accordo: La frequenza di accordo con la maggioranza degli annotatori.
   • Entropia delle etichette: L'equilibrio tra le decisioni YES/NO.
     Viene applicato il K-means clustering (k=3) separatamente per ogni lingua, producendo tre distinti cluster comportamentali per lingua.

2. Addestamento degli Agenti (Fine-Tuning):
   Un agente Large Language Model (LLM) viene addestrato per ogni cluster. L'addestramento prevede due fasi:

   • Fase 1 (SFT): Gli agenti subiscono il Supervised Fine-Tuning (SFT) sulle etichette di maggioranza del loro specifico cluster. Per evitare che gli agenti si allontanino troppo l'uno dall'altro, i dati di addestramento sono mescolati con "esempi positivi condivisi" (testi in cui tutti i cluster concordano) ed "esempi di allineamento di squadra" (testi etichettati con la maggioranza complessiva degli annotatori).
   • Fase 2 (Ottimizzazione delle Preferenze): Gli autori esplorano tre obiettivi di ottimizzazione per raffinare il comportamento dell'agente:
     • DPO (Direct Preference Optimization): Addestra gli agenti a preferire l'etichetta del proprio cluster rispetto all'etichetta opposta su testi in cui i cluster discordano.
     • Mars-PO: Adatta DPO per sistemi multi-agente includendo coppie di preferenza condivise (testi unanimi) insieme alle coppie individuali.
     • GRPO (Group Relative Policy Optimization): Utilizza una funzione di ricompensa convessa che combina una ricompensa individuale (che corrisponde all'etichetta del cluster) e una ricompensa di squadra (che corrisponde alla maggioranza complessiva degli annotatori). Il peso della squadra ($\alpha$) bilancia questi obiettivi.

3. Inferenza:
   In fase di inferenza, i tre agenti predicono indipendentemente. La previsione finale del team è determinata da un voto di maggioranza tra gli agenti. Il sistema utilizza inoltre il disaccordo tra gli agenti come segnale di confidenza; un alto disaccordo indica testi in cui anche gli annotatori umani sono in disaccordo.

Contributi Chiave

• Clustering Comportamentale vs. Demografico: Il documento dimostra che le caratteristiche comportamentali (tasso di YES, accordo, entropia) raggruppano gli annotatori in modo più efficace rispetto agli attributi demografici per la rilevazione del sessismo. I test statistici mostrano nessuna associazione significativa tra l'appartenenza al cluster e la demografia come genere o età.
• Ottimizzazione delle Preferenze Multi-Agente: Gli autori adattano il framework Mars-PO per perfezionare agenti LLM specializzati per un compito in cui il "ground truth" dipende dalla prospettiva.
• Analisi del Design della Ricompensa: Attraverso una sperimentazione estesa su quattro setting (due lingue $\times$ due modelli di base: GPT-4.1-mini e Qwen3-8B), il documento identifica che l'addestramento degli agenti solo sulle etichette del proprio cluster porta a una polarizzazione estrema (gli agenti si allontanano troppo dai comportamenti che rappresentano). Al contrario, l'introduzione di un segnale di squadra condiviso (sia implicito tramite il mix di dati in SFT, sia esplicito tramite le ricompense Mars-PO/GRPO) è necessaria per mantenere gli agenti calibrati sui loro specifici cluster pur mantenendo l'accuratezza del team.

Risultati

La valutazione copre quattro setting: GPT-EN, GPT-ES, Qwen-EN e Qwen-ES. Le scoperte chiave includono:

• Necessità del Fine-Tuning: Senza fine-tuning, gli agenti zero-shot si comportano in modo quasi identico (vicino al 100% di accordo), fallendo nel catturare le diverse prospettive.
• Polarizzazione dell'Addestramento Solo Individuale: La pura ottimizzazione delle preferenze individuali (ad esempio, DPO senza segnali di squadra) causa un eccesso, con gli agenti del Cluster 1 che etichettano quasi lo 0% dei testi come sessisti e gli agenti del Cluster 3 che etichettano quasi il 100%, indipendentemente dalla reale distribuzione del cluster. Ciò porta a un alto disaccordo e a una scarsa calibrazione.
• Efficacia dei Segnali di Squadra: L'aggiunta di un segnale di squadra ripristina costantemente la calibrazione.
  • Nel setting GPT-EN, il miglior sistema (GRPO con $\alpha=0.17$) raggiunge una Accuratezza di Squadra del 90.3% e un F1 di Squadra dell'89.9, superando tutti i baseline.
  • L'approccio SFT-mixed (segnale di squadra implicito) è altrettanto robusto, raggiungendo un'alta calibrazione con un errore minimo.
  • Sul modello di base più piccolo Qwen, l'SFT supera leggermente il GRPO, suggerendo un effetto di capacità in cui il campionamento di rifiuto nel GRPO introduce rumore rispetto alle etichette supervisionate.
• Generalizzazione: La scoperta principale — che l'ottimizzazione solo individuale polarizza gli agenti e i segnali di squadra li riparano — si conferma in entrambe le lingue e in entrambi i modelli di base.

Significato e Rivendicazioni

Il documento afferma che MAP-PO riesce a modellare il disaccordo degli annotatori come un segnale anziché come rumore. Il suo significato primario risiede nel dimostrare che:

1. Le prospettive sono comportamentali, non demografiche: Le identità efficaci degli agenti per compiti soggettivi derivano dal comportamento di etichettatura, non dalle persone demografiche.
2. La calibrazione richiede un ancoraggio di squadra: Per evitare che gli agenti scivolino in estremi irrealistici, è essenziale un segnale di addestramento condiviso a livello di squadra. Questo segnale assicura che, sebbene gli agenti rappresentino punti di vista specifici, rimangano radicati nella distribuzione più ampia del giudizio umano.
3. Il disaccordo è informativo: La capacità del sistema di produrre output divergenti funge da utile segnale di confidenza, segnalando testi che sono realmente contestati e che potrebbero richiedere una revisione umana, invece di forzare un potenziale falso consenso.

Gli autori posizionano MAP-PO come uno strumento di supporto per la moderazione dei contenuti, inteso ad evidenziare i casi contestati piuttosto che prendere decisioni di moderazione autonome, riconoscendo i limiti relativi all'ambito del dataset (EXIST 2024) e alla specifica struttura a blocchi dei dati.