Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Sintesi Tecnica: Mod-Guide

Definizione del Problema
I Large Language Models (LLM) sono sempre più impiegati per la moderazione dei contenuti, tuttavia spesso riflettono e rinforzano le norme culturali della maggioranza, fallendo nel riconoscere il "linguaggio insensibile" rivolto a comunità storicamente sottorappresentate. A differenza dell'hate speech esplicito, il linguaggio insensibile opera attraverso l'erasure implicita, la rappresentazione errata e l'inquadramento normativo che trascura i valori culturali, religiosi ed epistemici delle minoranze. Ciò crea un'"ingiustizia ermeneutica" in cui le comunità minoritarie mancano delle risorse concettuali all'interno dei sistemi di moderazione mainstream per far sì che le loro esperienze di danno vengano riconosciute. Il documento si concentra sul Bangladesh, specificamente sulle comunità Indù (minoranza religiosa) e Chakma (minoranza etnica indigena), dove tali ferite linguistiche sono prevalenti ma spesso trascurate dai sistemi automatizzati addestrati su prospettive della maggioranza.

Metodologia
La ricerca impiega un approccio a metodi misti che prevede tre fasi primarie:

1. Costruzione del Corpus tramite Comunità Remote Asincrone (ARC):

   • Gli autori hanno collaborato con 22 membri delle comunità Indù e Chakma per curare un dataset di 132 istanze di linguaggio culturalmente insensibile.
   • Utilizzando gruppi segreti su Facebook e WhatsApp, i partecipanti hanno condiviso esempi di testi, immagini e video che consideravano offensivi, fornendo spiegazioni dettagliate basate su testi religiosi, storie orali, rituali culturali ed esperienze vissute.
   • Questo corpus è stato tradotto e standardizzato in bengalese, creando una base di conoscenza derivata dalla comunità che cattura le ermeneutiche (quadri interpretativi) minoritarie piuttosto che le assunzioni della maggioranza.

2. Sviluppo del Sistema (Mod-Guide):

   • Gli autori hanno sviluppato Mod-Guide, un sistema di feedback basato su LLM che utilizza la Generazione Aumentata da Recupero (RAG) con GPT-4 di OpenAI.
   • Pipeline: Il sistema utilizza un vector store contenente gli embedding del corpus derivato dalla comunità. Quando un utente inserisce un testo, il sistema esegue una ricerca di similarità per recuperare le spiegazioni comunitarie rilevanti.
   • Persona Prompting: L'LLM viene istruito ad adottare cinque diverse "persone" di moderazione (Insegnante, Mediatore, Giudice, Rappresentante, Protettore) basate sulle metafore di Seering et al. per la moderazione.
   • Configurazione: Lo studio confronta due configurazioni: (a) GPT-4 utilizzando il prompting standard senza contesto esterno, e (b) GPT-4 potenziato con RAG, dove le risposte sono fondate sul contesto comunitario recuperato.

3. Valutazione:

   • Analisi Testuale Quantitativa: Sono stati utilizzati BERTScore e la distanza euclidea degli embedding testuali per misurare la divergenza tra le risposte generate dal modello standalone e dal sistema potenziato da RAG attraverso diverse persone.
   • Accuratezza Fattuale: Due esperti di dominio (uno per ciascuna minoranza) hanno valutato l'accuratezza fattuale e la sfumatura di 10 risposte selezionate casualmente da entrambe le configurazioni.
   • Studio Utente: Uno studio con 15 partecipanti (provenienti sia dalla maggioranza che dalle minoranze) ha valutato l'utilità percepita del feedback, analizzando l'influenza del background demografico e della persona di moderazione.

Contributi Chiave

• Contributo al Dataset: Un corpus curato e annotato di linguaggio culturalmente insensibile in bengalese, specificamente basato sulle prospettive delle comunità Indù e Chakma. Questo dataset include non solo gli atti linguistici, ma anche le motivazioni comunitarie del perché siano dannosi.
• Contributo all'Artefatto: La progettazione e la valutazione di Mod-Guide, un sistema di feedback che integra le prospettive minoritarie nei flussi di lavoro di moderazione degli LLM tramite RAG.
• Contributo Metodologico: Dimostrare come il RAG possa essere utilizzato per operazionalizzare l' "inclusione ermeneutica", permettendo agli LLM di accedere e utilizzare conoscenze epistemicamente marginalizzate senza richiedere il fine-tuning o aggiornamenti irreversibili dei pesi.

Risultati

• Differenze Testuali: L'analisi statistica (test Wilcoxon signed-rank) ha rivelato una differenza significativa ($p = 3.3 \times 10^{-54}$) tra il testo generato da GPT-4 standalone e il sistema potenziato da RAG. Il sistema RAG ha prodotto risposte che erano contestualmente distinte e radicate nelle narrazioni comunitarie recuperate.
• Accuratezza Fattuale: La valutazione degli esperti ha indicato che, sebbene le risposte di GPT-4 standalone fossero spesso corrette dal punto di vista fattuale in senso generale, mancavano di profondità e sfumature. Le risposte potenziate da RAG hanno fornito un contesto teologico e culturale più accurato (ad esempio, spiegando il ruolo degli idoli nell'Induismo o le specifiche sensibilità attorno al termine "upojati"). Tuttavia, il sistema ha ancora incontrato difficoltà con alcune questioni, come l'identificazione di slang volgare rivolto a donne indigene in specifici contesti d'immagine.
• Utilità Percepita: Lo studio ha trovato una relazione statisticamente significativa ($p = 0.0104$) tra l'etnia di un partecipante e la sua percezione di quale persona di moderazione fosse più utile. I partecipanti appartenenti alle minoranze tendevano a preferire persone che enfatizzavano la protezione e l'advocacy. Non è stata trovata alcuna relazione significativa tra la religione e la preferenza per la persona.

Significato e Rivendicazioni
Il documento sostiene che Mod-Guide faccia progredire i campi dell'Interazione Uomo-Computer (HCI), dell'etica dell'IA e della computazione sociale mettendo in primo piano la giustizia riparativa e l'inclusione ermeneutica nella progettazione della moderazione dei contenuti.

• Giustizia Epistemica: Il lavoro sostiene che i piccoli dataset derivati dalle comunità debbano essere visti come "categorie basate su prototipi" piuttosto che essere scartati a causa delle loro dimensioni. Essi servono come risorse essenziali per contrastare l' "ideocidio" (l'annientamento dei framework epistemici marginalizzati) nei sistemi di IA.
• Approccio Riparativo: Spostando la metafora della moderazione dalla punizione all'educazione e al dialogo (tramite persone come "Insegnante" o "Mediatore"), il sistema mira a riparare i danni epistemici e a favorire la comprensione interculturale piuttosto che limitarsi a rimuovere i contenuti.
• Spiegabilità: Gli autori sostengono l'uso del RAG rispetto al fine-tuning in questo contesto perché offre maggiore trasparenza e tracciabilità, permettendo alle decisioni di moderazione di essere auditate rispetto a specifiche motivazioni derivate dalla comunità.

Gli autori concludono che, sebbene il loro sistema dimostri potenziale nel rendere gli LLM più sensibili ai pluralismi normativi, rimangono sfide riguardanti la scalabilità, la diversità del corpus e il rischio di essenzializzare le identità minoritarie. Essi sottolineano che tali sistemi devono rimanere adattabili alla progettazione partecipativa e alla critica continua.