From Inquisitorial to Adversarial: Using Legal Theory to Redesign Online Reporting Systems

Questo articolo analizza i limiti degli attuali sistemi di segnalazione online di tipo inquisitorio, propone un quadro giuridico avversariale per migliorare la giustizia procedurale e la privacy e delinea uno spazio di progettazione per la divulgazione delle prove controllata dall'utente supportata da tecniche crittografiche.

L'essenziale

Il quadro generale: Il problema della "Scatola Nera"

Immagina di essere in una comunità online affollata (come un server Discord) e che qualcuno sia stato sgarbato con te in una chat privata. Vuoi segnalarlo, ma ti scontri con un muro. La persona responsabile (il moderatore) agisce come un detective che decide quali prove esaminare, cosa ignorare e con chi parlare. Tu, la vittima, sei solo lì a guardare a bordo campo in attesa di un verdetto.

Il documento sostiene che l'attuale sistema è guasto perché trasmette una sensazione di ingiustizia. Non sai quali prove abbia il moderatore, non puoi controllare ciò che viene mostrato e spesso devi consegnare le tue conversazioni private per provare il tuo caso. Questo crea una "scatola nera" dove invii un reclamo e ottieni un risultato senza comprendere come sia stata presa la decisione.

La lente legale: Due modi per gestire un processo

Per risolvere il problema, gli autori prendono in prestito idee dal diritto reale. Confrontano la segnalazione online con due diversi tipi di sistemi legali:

1. Il Modello Inquisitorio (Il modo attuale):

   • L'analogia: Pensa a un Detective. Il moderatore è il detective che detiene tutto il potere. Decide chi interrogare, quali documenti leggere e come risolvere il caso. Le persone coinvolte (tu e la persona che hai segnalato) sono solo testimoni che aspettano di essere chiamati.
   • Il problema: Nelle comunità online, i moderatori sono spesso volontari che sono impegnati e non formati. Poiché detengono tutto il potere, potrebbero perdere dettagli importanti, violare accidentalmente la tua privacy o prendere decisioni basate sui propri pregiudizi. Tu non hai alcun potere decisionale nel processo.

2. Il Modello Avversariale (Il modo proposto):

   • L'analogia: Pensa a un Dibattito. In questo sistema, le due parti (tu e la persona che hai segnalato) sono i protagonisti principali. Entrambi avete il diritto di presentare le vostre prove e sostenere la vostra tesi. Il moderatore agisce come un Arbitro o un Giudice che si limita a osservare il dibattito per assicurarsi che le regole vengano rispettate, piuttosto che scavare lui stesso tra le prove.
   • Il vantaggio: Questo ti dà più controllo. Decidi tu quali parti della tua chat privata mostrare. Sembra più equo perché hai voce in capitolo.
   • Il rischio: Se hai troppo controllo, potresti cercare di imbrogliare. Potresti nascondere le cattive cose che hai detto o falsificare le prove per far apparire l'altro in cattiva luce.

La sfida centrale: Privacy vs. Prova

Il documento identifica un delicato gioco di equilibrio.

• Il dilemma: Per provare che qualcuno è stato sgarbato, di solito devi mostrare il registro della chat. Ma mostrare l'intero registro della chat potrebbe rivelare i tuoi segreti (come il tuo indirizzo di casa o battute private) o i segreti dell'altra persona.
• Il vecchio modo: I moderatori chiedevano semplicemente l'intera chat o uno screenshot. Se rifiutavi, potevano ignorare la tua segnalazione.
• La nuova idea: Lascia che sia tu a scegliere cosa mostrare. Puoi oscurare le parti sensibili o nascondere i messaggi che non sono rilevanti, pur dimostrando che il comportamento scorretto è avvenuto.

Le soluzioni proposte: Un kit di strumenti per l'equità

Gli autori hanno progettato un "playbook" (uno spazio di progettazione) su come le comunità online potrebbero costruire strumenti di segnalazione migliori. Ecco le idee principali:

1. Lo strumento di "Redazione" (Controllare ciò che condividi)

Immagina di avere un documento con un evidenziatore. Invece di consegnare l'intera pagina, puoi evidenziare solo le frasi sgarbate e oscurare il resto.

• Come funziona: Puoi scegliere di mostrare solo il timestamp, o mostrare il messaggio ma nascondere le parole specifiche che contengono il tuo numero di telefono.
• La rete di sicurezza: Per impedire alle persone di imbrogliare (come nascondere le proprie offese), il sistema potrebbe chiedere al moderatore: "Perché hai bisogno di vedere il resto?". Se il moderatore ha un buon motivo, potresti dover mostrare di più. Se rifiuti senza un buon motivo, la tua segnalazione potrebbe essere scartata.

2. La "Ricevuta Magica" (Provare che la chat è reale)

Gli screenshot sono facili da falsificare. Puoi usare Photoshop su una chat per far sembrare che qualcuno abbia detto qualcosa che non ha detto.

• Il problema: I moderatori spesso non sanno se uno screenshot è reale o un falso.
• La soluzione: Il documento suggerisce di utilizzare l' "inoltro autenticato". Immagina se potessi inoltrare un messaggio a un moderatore e la piattaforma applicasse automaticamente un sigillo di "Verificato" che dice: "Sì, questo messaggio proviene davvero da questa persona in questo momento". Questo impedisce alle persone di falsificare le prove.

3. La "Finestra Scorrevole" per le chat vocali (Gestire i contenuti effimeri)

Alcune chat scompaiono rapidamente (come le chiamate vocali o i messaggi "effimeri"). Nel momento in cui ti rendi conto di essere stato molestato, le prove sono sparite.

• La soluzione: Immagina un "registratore a nastro rotante" che conserva solo gli ultimi 30 secondi di una chat vocale. Elimina le parti vecchie per proteggere la privacy, ma se segnali un incidente, quella finestra di 30 secondi viene salvata e verificata. In questo modo, non devi registrare tutto per sempre, ma hai comunque una prova se succede qualcosa di negativo.

Il rovescio della medaglia: Fiducia e Imbroglio

Il documento è molto onesto riguardo ai rischi. Se dai più potere agli utenti, alcuni cercheranno di abusarne.

• La minaccia: Un utente potrebbe cercare di nascondere il proprio cattivo comportamento o incastrare qualcun altro.
• La soluzione: Il sistema ha bisogno di un "threat modeling" (modellazione delle minacce). Ciò significa progettare gli strumenti in modo che, anche se qualcuno cerca di imbrogliare, il sistema lo colga in fallo. Ad esempio, se ometti troppi dati tramite redazione, il sistema potrebbe segnalarlo. Se provi a falsificare uno screenshot, la "Ricevuta Magica" (l'autenticazione) fallirà.

Conclusione

Il documento conclude che le comunità online non dovrebbero limitarsi a fare affidamento su moderatori che agiscono come detective. Dovrebbero invece costruire sistemi che permettano agli utenti di agire come avvocati in un dibattito. Ciò conferisce agli utenti più controllo sulla propria privacy e rende il processo più equo. Tuttavia, ciò richiede una progettazione attenta per garantire che gli utenti non usino questo nuovo potere per mentire o imbrogliare.

In breve: Il documento suggerisce di passare da un sistema in cui i Moderatori Scavano (Inquisitorio) a un sistema in cui gli Utenti Presentano (Avversariale), utilizzando strumenti intelligenti per mantenere le prove reali e la privacy sicura.

Sommario tecnico

Sintesi Tecnica: Dall'Inquisitorio all'Avversariale: Utilizzare la Teoria Giuridica per Riprogettare i Sistemi di Segnalazione nelle Comunità Online

Definizione del Problema

Le comunità online, in particolare quelle con alte aspettative di privacy (ad esempio, messaggi diretti, chat vocali, messaggistica end-to-end criptata), si affidano pesantemente ai sistemi di segnalazione degli utenti per affrontare conflitti interpersonali e molestie. Tuttavia, questi sistemi soffrono spesso di una mancanza di giustizia procedurale e di protezione della privacy. Il problema centrale è che gli attuali sistemi di segnalazione a livello di comunità operano prevalentemente secondo un modello inquisitorio, in cui i moderatori detengono un ampio potere discrezionale per raccogliere prove, investigare sui casi e prendere decisioni senza un significativo input o controllo da parte dell'utente.

Questa struttura crea diversi fallimenti tecnici e sociali:

1. Compromesso tra Privacy ed Evidenza: Gli utenti affrontano un dilemma in cui sostenere una segnalazione richiede spesso la rivelazione di conversazioni private sensibili, portando a potenziali violazioni della privacy o alla colpevolizzazione della vittima (victim-blaming).
2. Mancanza di Trasparenza: I sistemi di segnalazione funzionano come "scatole nere", dove gli utenti hanno poca visibilità su quali prove siano state raccolte, come siano state valutate o quali moderatori siano stati coinvolti.
3. Vulnerabilità dell'Autenticazione: Negli spazi privati o effimeri, verificare l'autenticità delle prove presentate (ad esempio, screenshot) è difficile, lasciando i sistemi vulnerabili a falsificazioni e manipolazioni.
4. Squilibrio di Potere: La natura gerarchica della moderazione comunitaria lascia spesso gli utenti che segnalano senza alcun ricorso nel caso in cui percepiscano pregiudizi o ingiustizia procedurale.

Metodologia

Gli autori hanno impiegato un approccio a metodi misti centrato su Discord come sito di ricerca, grazie al suo ecosistema diversificato di comunità e al supporto per varie funzionalità di comunicazione privata (testo, voce, E2EE).

1. Quadro Teorico: Lo studio applica la teoria legale avversariale (mettendo a confronto i modelli avversariali e inquisitori) come lente per analizzare le pratiche di segnalazione esistenti.
2. Dati Qualitativi:
   • Interviste Semi-strutturate: Condotte con 5 moderatori di comunità e 7 utenti che hanno avuto esperienza con segnalazioni o sono stati oggetto di segnalazioni su Discord.
   • Analisi Documentale: Revisione della letteratura precedente e della documentazione relativa ai sistemi di segnalazione a livello di comunità.
3. Approccio Analitico:
   • Analisi Interpretativa: Gli autori hanno utilizzato concetti legali avversariali (ad esempio, "prova documentale", "giustizia procedurale") per reinterpretare i dati empirici provenienti dalle interviste e dalla letteratura.
   • Modellazione delle Minacce (Threat Modeling): Per affrontare i rischi derivanti dall'introduzione di elementi avversariali (come la manipolazione da parte degli utenti), gli autori hanno sviluppato modelli di minaccia per mappare spazi di progettazione che potenzino gli utenti limitando al contempo i potenziali abusi da parte di utenti e moderatori.

Contributi Chiave

1. Analisi Teorica: Modelli Inquisitori vs. Avversariali

Il documento identifica che i sistemi di segnalazione delle comunità sono strutturalmente inquisitori: i moderatori agiscono come investigatori primari, controllando la raccolta delle prove e lo sviluppo dei casi. Al contrario, i modelli avversariali concedono alle parti coinvolte un maggiore controllo sulla definizione dei problemi, sull'investigazione dei fatti e sulla presentazione delle prove.

• Risultati: La natura inquisitoria degli attuali sistemi porta a frustrazioni negli utenti riguardanti la giustizia procedurale (mancanza di voce, neutralità e rispetto) e la privacy (rivelazione forzata di dati sensibili).
• Sfumatura: Sebbene i modelli avversariali offrano una migliore giustizia procedurale e il controllo della privacy, essi introducono rischi di abuso (ad esempio, divulgazione selettiva, manipolazione delle prove). Pertanto, gli autori sostengono un approccio ibrido che incorpori specifici elementi avversariali nei flussi di lavoro inquisitori esistenti, piuttosto che una sostituzione totale.

2. Spazio di Progettazione per la Raccolta delle Prove

Gli autori propongono uno spazio di progettazione completo per potenziare gli utenti nella raccolta e presentazione di prove documentali mitigando al contempo gli abusi. Questo spazio è strutturato attorno a due sfide principali: Divulgazione e Autenticazione.

A. Divulgazione delle Prove Documentali

Per bilanciare la privacy e la necessità di una moderazione accurata, gli autori propongono quattro dimensioni di progettazione basate sui principi di minimizzazione dei dati:

• Ambito delle Conversazioni Rilevanti: Andare oltre l'accesso "tutto o niente". I sistemi potrebbero offrire filtri basati sul numero di messaggi, finestre temporali o partecipanti specifici per limitare l'ambito dei log condivisi.
• Visibilità delle Informazioni: Uno spettro di opzioni di visibilità per i messaggi, che varia da:
  • Redazione Totale: Nascondere completamente il contenuto del messaggio.
  • Solo Metadati: Mostrare timestamp e mittenti ma oscurare il contenuto.
  • Attributi Personalizzati: Visualizzare riassunti algoritmici (ad esempio, sentiment, presenza di parole chiave) o risposte generate da LLM a domande specifiche (ad esempio, "Questo è un atto di molestia?") senza rivelare il testo grezzo.
  • Redazione Selettiva: Utenti che redigono manualmente campi sensibili (ad esempio, indirizzi) mantenendo il contesto.
• Controllo dell'Accesso: Limitare chi può visualizzare le prove (ad esempio, moderatori fidati specifici) e per quanto tempo (accesso limitato nel tempo).
• Controllo dell'Utente sulla Divulgazione: Implementare la Divulgazione Progressiva, in cui i moderatori devono giustificare le richieste di contenuti aggiuntivi, e l'Esame Incrociato da parte di Terzi (Bystanders), dove parti terze neutrali verificano se le redazioni sono sospette senza vedere il contenuto nascosto.

B. Autenticazione delle Prove Documentali

Per affrontare il rischio di prove falsificate, il documento propone metodi per verificare l'origine e l'integrità dei messaggi:

• Conversazioni Persistenti:
  • Autenticazione lato Piattaforma: Riproporzionare le funzionalità di inoltro dei messaggi. Invece dell'inoltro anonimo, il sistema visualizzerebbe l'ID account dell'autore originale e il timestamp, verificando l'origine del messaggio senza esporre la cronologia non correlata.
  • Autenticazione lato Utente: Potenziare gli strumenti lato client (ad esempio, registrazione dello schermo o automazione web) per preservare la "catena di custodia" catturando automaticamente gli identificatori dell'account e scorrendo le conversazioni per dimostrare che non sono state manomesse.
• Conversazioni Effimere:
  • Segnalazione Effimera: Un sistema che mantiene una finestra scorrevole dei contenuti recenti della conversazione (ad esempio, gli ultimi 30 secondi di chat vocale o messaggi di testo recenti) che viene automaticamente eliminata dopo un certo tempo. Ciò consente la segnalazione senza sorveglianza permanente.
  • Prove Testimoniali: Utilizzare la testimonianza di terzi per verificare eventi effimeri quando le prove dirette non sono disponibili, a condizione che vengano seguiti i protocolli di consenso.

Risultati e Conclusioni

• Stato Attuale: La maggior parte delle comunità di Discord si affida a processi inquisitori informali guidati dai moderatori. I moderatori spesso raccolgono prove senza il consenso dell'utente, ignorano i messaggi modificati e mancano di trasparenza nel processo decisionale.
• Bisogni degli Utenti: Gli utenti desiderano un maggiore controllo su quali prove vengono condivise e su come queste vengano autenticate. Sono particolarmente preoccupati per le fughe di privacy e l'incapacità di contestare il pregiudizio dei moderatori.
• Viabilità del Design: Lo spazio di progettazione proposto dimostra che è possibile integrare elementi avversariali (controllo dell'utente, verifica) nei sistemi esistenti senza richiedere una ristrutturazione completa della governance. Tuttavia, questi design richiedono un attento threat modeling per evitare che gli utenti divulgano le prove in modo selettivo per trarre in inganno i moderatori.

Significato e Rivendicazioni

Il documento sostiene che l'applicazione della teoria legale comparata fornisce un quadro robusto per diagnosticare e riprogettare i sistemi di segnalazione online.

• Giustizia Procedurale: Spostarsi verso elementi avversariali può migliorare la percezione di equità e legittimità degli utenti nella moderazione delle comunità.
• Preservazione della Privacy: Consentendo agli utenti di controllare la divulgazione delle prove (tramite redazione e filtraggio dell'ambito), i sistemi possono aderire meglio alle aspettative di privacy negli spazi privati.
• Scalabilità e Fiducia: I design proposti offrono una strada percorribile per i sistemi di segnalazione a livello di piattaforma e possono essere rinforzati da tecniche crittografiche (ad esempio, message franking, crittografia limitata nel tempo) per affrontare la crescente sfiducia nelle piattaforme e i limiti dei modelli di minaccia basati sull'interfaccia utente.
• Ambito Modesto: Gli autori dichiarano esplicitamente che questo lavoro mappa uno spazio di progettazione piuttosto che valutare un singolo sistema implementato. Riconoscono che le comunità possono adottare questi design in modo selettivo e che sono necessari ulteriori studi per testare empiricamente questi meccanismi attraverso diverse strutture di governance.

Il documento conclude che, sebbene i sistemi puramente avversariali siano impraticabili per le comunità online a causa dei vincoli di risorse e della facilità di eludere le sanzioni, un modello ibrido che incorpora specifiche pratiche avversariali può migliorare significamente l'equità, la privacy e l'accuratezza della risoluzione dei conflitti online.