From Inquisitorial to Adversarial: Using Legal Theory to Redesign Online Reporting Systems

Cet article analyse les limites des systèmes actuels de signalement en ligne de type inquisitoire, propose un cadre juridique contradictoire pour renforcer la justice procédurale et la confidentialité, et définit un espace de conception pour la divulgation de preuves contrôlée par l'utilisateur, soutenue par des techniques cryptographiques.

L'essentiel

La vue d'ensemble : Le problème de la « boîte noire »

Imaginez que vous soyez dans une communauté en ligne bondée (comme un serveur Discord) et que quelqu'un soit méchant avec vous dans un chat privé. Vous voulez le signaler, mais vous vous heurtez à un mur. La personne responsable (le modérateur) agit comme un détective qui décide quelles preuves examiner, ce qu'il faut ignorer et qui interroger. Vous, la victime, n'êtes que sur la touche, attendant un verdict.

L'article soutient que ce système actuel est défaillant car il semble injuste. Vous ne savez pas de quelles preuves le modérateur dispose, vous ne pouvez pas contrôler ce qui est montré, et vous devez souvent livrer vos conversations privées pour prouver votre cas. Cela crée une « boîte noire » où vous soumettez une plainte et obtenez un résultat sans comprendre comment la décision a été prise.

Le prisme juridique : Deux façons de mener un procès

Pour corriger cela, les auteurs empruntent des idées du droit réel. Ils comparent le signalement en ligne à deux types différents de systèmes juridiques :

1. Le modèle inquisitoire (La méthode actuelle) :

   • L'analogie : Pensez à un Détective. Le modérateur est le détective qui détient tout le pouvoir. Il décide qui interroger, quels documents lire et comment résoudre l'affaire. Les personnes impliquées (vous et la personne que vous avez signalée) ne sont que des témoins qui attendent d'être appelés.
   • Le problème : Dans les communautés en ligne, les modérateurs sont souvent des bénévoles occupés et non formés. Parce qu'ils détiennent tout le pouvoir, ils peuvent manquer des détails importants, envahir accidentellement votre vie privée ou prendre des décisions basées sur leurs propres biais. Vous n'avez aucun mot à dire sur le processus.

2. Le modèle accusatoire/adversaire (La méthode proposée) :

   • L'analogie : Pensez à un Débat. Dans ce système, les deux parties (vous et la personne que vous avez signalée) sont les acteurs principaux. Vous avez tous les deux la possibilité de présenter vos propres preuves et de plaider votre cause. Le modérateur agit comme un Arbitre ou un Juge qui se contente de surveiller le débat pour s'assurer que les règles sont respectées, plutôt que de fouiller lui-même dans les preuves.
   • Le bénéfice : Cela vous donne plus de contrôle. Vous décidez de quelles parties de votre chat privé vous souhaitez montrer. Cela semble plus juste car vous avez une voix.
   • Le risque : Si vous avez trop de contrôle, vous pourriez essayer de tricher. Vous pourriez cacher de mauvelles choses que vous avez dites ou falsifier des preuves pour faire passer l'autre personne pour le coupable.

Le défi central : Vie privée vs Preuve

L'article identifie un équilibre délicat.

• Le dilemme : Pour prouver que quelqu'un a été méchant, vous devez généralement montrer le journal de discussion (chat log). Mais montrer l'intégralité du chat pourrait révéler vos propres secrets (comme votre adresse personnelle ou des blagues privées) ou ceux de l'autre personne.
• L'ancienne méthode : Les modérateurs demandaient simplement l'intégralité du chat ou une capture d'écran. Si vous refusiez, ils pouvaient ignorer votre signalement.
• La nouvelle idée : Laissez-vous choisir ce que vous montrez. Vous pouvez masquer les parties sensibles ou cacher les messages qui ne sont pas pertinents, tout en prount que le mauvais comportement a bien eu lieu.

Les solutions proposées : Une boîte à outils pour la justice

Les auteurs ont conçu un « playbook » (un espace de conception) pour la manière dont les communautés en ligne pourraient construire de meilleurs outils de signalement. Voici les idées principales :

1. L'outil de « Rédaction » (Contrôler ce que vous partagez)

Imaginez que vous avez un document avec un surligneur. Au lieu de donner toute la page, vous pouvez surligner uniquement les phrases méchantes et flouter le reste.

• Comment ça marche : Vous pouvez choisir de ne montrer que l'horodatage, ou de montrer le message mais de masquer les mots spécifiques qui contiennent votre numéro de téléphone.
• Le filet de sécurité : Pour empêcher les gens de tricher (comme cacher leurs propres insultes), le système pourrait demander au modérateur : « Pourquoi avez-vous besoin de voir le reste ? ». Si le modérateur a une bonne raison, vous devrez peut-être montrer plus de détails. Si vous refusez sans bonne raison, votre signalement pourrait être rejeté.

2. Le « Reçu Magique » (Prouver que le chat est réel)

Les captures d'écran sont faciles à falsifier. On peut utiliser Photoshop pour faire croire qu'une personne a dit quelque chose qu'elle n'a pas dit.

• Le problème : Les modérateurs ne savent souvent pas si une capture d'écran est réelle ou un faux.
• La solution : L'article suggère d'utiliser l'« acheminement authentifié ». Imaginez que vous puissiez transférer un message à un modérateur, et que la plateforme appose automatiquement un sceau « Vérifié » qui dit : « Oui, ce message provient bien de cette personne à ce moment précis ». Cela empêche les gens de falsifier les preuves.

3. La « Fenêtre Glissante » pour les chats vocaux (Gérer le contenu éphémère)

Certains chats disparaissent rapidement (comme les appels vocaux ou les messages « éphémères »). Au moment où vous réalisez que vous avez été harcelé, les preuves ont disparu.

• La solution : Imaginez un « enregistreur rotatif » qui ne garde que les 30 dernières secondes d'un chat vocal. Il supprime les anciennes données pour protéger la vie privée, mais si vous signalez un incident, cette fenêtre de 30 secondes est sauvegardée et vérifiée. Ainsi, vous n'avez pas besoin d'enregistrer tout indéfiniment, mais vous avez toujours une preuve si quelque chose de mal arrive.

Le revers de la médaille : Confiance et triche

L'article est très honnête sur les risques. Si vous donnez plus de pouvoir aux utilisateurs, certains essaieront d'en abuser.

• La menace : Un utilisateur pourrait essayer de cacher son propre mauvais comportement ou de piéger quelqu'un d'autre.
• La solution : Le système a besoin d'une « modélisation des menaces ». Cela signifie concevoir les outils de manière à ce que, même si quelqu'un essaie de tricher, le système le détecte. Par exemple, si vous masquez trop d'informations, le système pourrait émettre une alerte. Si vous essayez de falsifier une capture d'écran, le « Reçu Magique » (l'authentification) échouera.

Conclusion

L'article conclut que les communautés en ligne ne devraient pas simplement compter sur des modérateurs agissant comme des détectives. Au lieu de cela, elles devraient construire des systèmes qui permettent aux utilisateurs d'agir comme des avocats dans un débat. Cela donne aux utilisateurs plus de contrôle sur leur vie privée et rend le processus plus juste. Cependant, cela nécessite une conception minutieuse pour s'assurer que les utilisateurs n'utilisent pas ce nouveau pouvoir pour mentir ou tricher.

En résumé : L'article suggère de passer d'un système où les Modérateurs Creusent (Inquisitoire) à un système où les Utilisateurs Présentent (Accusatoire/Adversaire), en utilisant des outils intelligents pour garantir la réalité des preuves et la sécurité de la vie privée.

Résumé technique

Résumé technique : De l'inquisitoire à l'adversaire : Utiliser la théorie juridique pour redéfinir les systèmes de signalement dans les communautés en ligne

Énoncé du problème

Les communautés en ligne, particulièrement celles ayant des attentes élevées en matière de vie privée (ex. : messages directs, discussions vocales, messagerie chiffrée de bout en bout), dépendent fortement des systèmes de signalement par les utilisateurs pour traiter les conflits interpersonnels et le harcèlement. Cependant, ces systèmes souffrent souvent d'un manque de justice procédurale et de protection de la vie privée. Le problème central est que les systèmes de modération communautaire actuels opèrent principalement selon un modèle inquisitoire, où les modérateurs détiennent un large pouvoir discrétionnaire pour collecter des preuves, mener des enquêtes et prendre des décisions sans une participation ou un contrôle significatif de l'utilisateur.

Cette structure crée plusieurs défaillances techniques et sociales :

1. Arbitrage entre Vie Privée et Preuve : Les utilisateurs sont confrontés à un dilemme où soutenir un signalement nécessite souvent de révéler des conversations privées sensibles, ce qui peut mener à des violations de la vie privée ou à des blâmes de la victime (victim-blaming).
2. Manque de Transparence : Les systèmes de signalement fonctionnent comme des « boîtes noires », où les utilisateurs ont peu de visibilité sur les preuves collectées, la manière dont elles ont été évaluées ou quels modérateurs ont été impliqués.
3. Vulnérabilités d'Authentification : Dans les espaces privés ou éphémères, vérifier l'authenticité des preuves soumises (ex. : captures d'écran) est difficile, laissant les systèmes vulnérables à la falsification et à la manipulation.
4. Déséquilibre de Pouvoir : La nature hiérarchique de la modération communautaire laisse souvent les utilisateurs qui signalent sans recours s'ils perçoivent un biais ou une injustice procédurale.

Méthodologie

Les auteurs ont employé une approche de méthodes mixtes centrée sur Discord comme site de recherche, en raison de son écosystème diversifié de communautés et de son support pour diverses fonctionnalités de communication privée (texte, voix, E2EE).

1. Cadre Théorique : L'étude applique la théorie juridique de l'adversaire (contrastant les modèles adversaires et inquisitoires) comme prisme pour analyser les pratiques de signalement existantes.
2. Données Qualitatives :
   • Entretiens semi-directifs : Menés auprès de 5 modérateurs de communauté et 7 utilisateurs ayant eu une expérience de signalement ou de fait d'être signalé sur Discord.
   • Analyse Documentaire : Revue de la littérature préalable et de la documentation concernant les systèmes de signalement au niveau communautaire.
3. Approche Analytique :
   • Analyse Interprétative : Les auteurs ont utilisé des concepts juridiques adversaires (ex. : « preuve documentaire », « justice procédurale ») pour réinterpréter les données empiriques issues des entretiens et de la littérature.
   • Modélisation des Menaces : Pour traiter les risques liés à l'introduction d'éléments adverses (tels que la manipulation par les utilisateurs), les auteurs ont développé des modèles de menaces pour cartographier des espaces de conception qui autonomisent les utilisateurs tout en limitant les abus potentiels des utilisateurs et des modérateurs.

Contributions Clés

1. Analyse Théorique : Modèles Inquisitoires vs Adversaires

L'article identifie que les systèmes de signalement communautaire sont structurellement inquisitoires : les modérateurs agissent comme les principaux enquêteurs, contrôlant la collecte des preuves et le développement des cas. En revanche, les modèles adversaires accordent aux parties impliquées un contrôle accru sur la définition des enjeux, l'enquête sur les faits et la présentation des preuves.

• Résultats : La nature inquisitoire des systèmes actuels entraîne des frustrations chez les utilisateurs concernant la justice procédurale (manque de voix, de neutralité et de respect) et la vie privée (divulgation forcée de données sensibles).
• Nuance : Bien que les modèles adversaires offrent une meilleure justice procédurale et un meilleur contrôle de la vie privée, ils introduisent des risques d'abus (ex. : divulgation sélective, manipulation de preuves). Par conséquent, les auteurs plaident pour une approche hybride qui incorpore des éléments adverses spécifiques dans les flux de travail inquisitoires existants plutôt qu'un remplacement total.

2. Espace de Conception pour la Collecte de Preuves

Les auteurs proposent un espace de conception complet pour permettre aux utilisateurs de collecter et de présenter des preuves documentaires tout en atténuant les abus. Cet espace est structuré autour de deux défis majeurs : la Divulgation et l'Authentification.

A. Divulgation de Preuves Documentaires

Pour équilibrer la vie privée et le besoin d'une modération précise, les auteurs proposent quatre dimensions de conception basées sur les principes de minimisation des données :

• Portée des Conversations Pertinentes : Dépasser l'accès « tout ou rien ». Les systèmes pourraient offrir des filtres basés sur le nombre de messages, des fenêtres temporelles ou des participants spécifiques pour limiter la portée des journaux partagés.
• Visibilité de l'Information : Un spectre d'options de visibilité pour les messages, allant de :
  • Redaction Totale : Masquage complet du contenu des messages.
  • Métadonnées Uniquement : Affichage des horodatages et des expéditeurs mais floutage du contenu.
  • Attributs Personnalisés : Affichage de résumés algorithmiques (ex. : sentiment, présence de mots-clés) ou de réponses générées par LLM à des questions spécifiques (ex. : « Est-ce du harcèlement ? ») sans révéler le texte brut.
  • Redaction Sélective : Utilisateurs masquant manuellement des champs sensibles (ex. : adresses) tout en conservant le contexte.
• Contrôle d'Accès : Limiter qui peut consulter les preuves (ex. : modérateurs de confiance spécifiques) et pour combien de temps (accès limité dans le temps).
• Contrôle de l'Utilisateur sur la Divulgation : Mise en œuvre d'une Divulgation Progressive, où les modérateurs doivent justifier les demandes de contenu supplémentaire, et d'un Contre-interrogatoire par des Témoins (Bystanders), où des tiers neutres vérifient si les redactions sont suspectes sans voir le contenu caché.

B. Authentification de Preuves Documentaires

Pour répondre au risque de falsification de preuves, l'article propose des méthodes pour vérifier l'origine et l'intégrité des messages :

• Conversations Persistantes :
  • Authentification du côté Plateforme : Réutilisation des fonctionnalités de transfert de messages. Au lieu d'un transfert anonyme, le système afficherait l'ID de compte et l'horodatage de l'auteur original, vérifiant l'origine du message sans exposer l'historique non lié.
  • Authentification du côté Utilisateur : Amélioration des outils clients (ex. : enregistrement d'écran ou automatisation web) pour préserver la « chaîne de causalité » en capturant automatiquement les identifiants de compte et en faisant défiler les conversations pour prouver qu'elles n'ont pas été altérées.
• Conversations Éphémères :
  • Signalement Éphémère : Un système qui maintient une fenêtre glissante du contenu récent de la conversation (ex. : les 30 dernières secondes de chat vocal ou messages textuels récents) qui est automatiquement supprimée après un délai défini. Cela permet le signalement sans surveillance permanente.
  • Preuve Testimoniale : Utilisation du témoignage de tiers pour vérifier des événements éphémères lorsqu'aucune preuve directe n'est disponible, sous réserve du respect des protocoles de consentement.

Résultats et Constats

• État Actuel : La plupart des communautés Discord reposent sur des processus inquisitoires informels dirigés par des modérateurs. Les modérateurs collectent souvent des preuves sans le consentement des utilisateurs, ignorent les messages modifiés et manquent de transparence dans la prise de décision.
• Besoins des Utilisateurs : Les utilisateurs souhaitent un plus grand contrôle sur ce qui est partagé comme preuve et sur la manière dont cela est authentifié. Ils sont particulièrement préoccupés par les fuites de vie privée et l'incapacité de contester le biais des modérateurs.
• Viabilité de la Conception : L'espace de conception proposé démontre qu'il est possible d'intégrer des éléments adverses (contrôle de l'utilisateur, vérification) dans les systèmes existants sans nécessolement exiger une refonte complète de la gouvernance communautaire. Cependant, ces designs nécessitent une modélisation rigoureuse des menaces pour empêcher les utilisateurs de divulguer des preuves de manière sélective afin de tromper les modérateurs.

Signification et Revendications

L'article affirme que l'application de la théorie juridique comparée fournit un cadre robuste pour diagnostiquer et redéfinir les systèmes de signalement en ligne.

• Justice Procédurale : Le passage vers des éléments adverses peut améliorer la perception de l'équité et de la légitimité de la modération communautaire par les utilisateurs.
• Préservation de la Vie Privée : En permettant aux utilisateurs de contrôler la divulgation des preuves (via la rédaction et le filtrage de la portée), les systèmes peuvent mieux respecter les attentes de vie privée dans les espaces privés.
• Évolutivité et Confiance : Les designs proposés offrent une voie de passage pour les systèmes de signalement au niveau de la plateforme et peuvent être renforcés par des techniques cryptographiques (ex. : message franking, chiffrement limité dans le temps) pour répondre à la méfiance croissante envers les plateformes et aux limites des modèles de menaces limités par l'interface utilisateur.
• Portée Modeste : Les auteurs précisent explicitement que ce travail cartographie un espace de conception plutôt qu'il ne l'évalue via un système unique mis en œuvre. Ils reconnaissent que les communautés peuvent adopter ces designs de manière sélective et que des travaux futurs sont nécessaires pour tester empiriquement ces mécanismes à travers différentes structures de gouvernance.

L'article conclut que bien que les systèmes purement adversaires soient peu pratiques pour les communautés en ligne en raison des contraintes de ressources et de la facilité d'échapper aux sanctions, un modèle hybride intégrant des pratiques adverses spécifiques peut considérablement améliorer l'équité, la vie privée et l'exactitude de la résolution des conflits en ligne.