Résumé technique : Détection et atténuation des biais dans la résumé de texte extractif (BiasZero/Fair-SUM)

1. Énoncé du problème

Les systèmes de résumé de texte automatisés, particulièrement dans les contextes d'agrégation de nouvelles et d'aide à la décision, sont confrontés à un défi critique : l'amplification des biais sociaux, politiques et culturels existants présents dans les données sources. Alors que les systèmes extractifs et abstractifs traditionnels optimisent la pertinence, la fluidité et la compression, ils négligent souvent l'équité. Cela conduit à des résumés qui représentent de manière disproportionnée les points de vue majoritaires, renforcent les stéréotypes et occultent les perspectives minoritaires.

Le document identifie trois formes primaires de biais dans le résumé :

• Biais lexical : Associations injustes de termes avec des stéréotypes.
• Biais de sélection : La sélection préférentielle des points de vue dominants au détriment des autres.
• Biais de cadrage : L'établissement de cadres narratifs qui favorisent des perspectives spécifiques.

Les systèmes actuels manquent de cadres unifiés qui intègrent simultanément la détection, l'atténuation et le classement des phrases. De plus, l'absence de mesures de litérité standardisées rend difficile l'évaluation de savoir si un système de résumé approfondit par inadvertance les fossés sociétaux.

2. Méthodologie : Le cadre BiasZero (Fair-SUM)

Les auteurs proposent BiasZero (appelé Fair-SUM dans la section expérimentale), un cadre axé sur l'équité pour le résumé extractif. Le système est conçu pour sélectionner des phrases qui sont à la fois informatives et équitables, empêchant la propagation du biais pendant le processus de résumé.

2.1 Architecture du système

Le cadre fonctionne à travers quatre étapes principales :

1. Normalisation de l'entrée : Le texte est segmenté en phrases. Le système est capable de traiter des textes écrits et des contenus audiovisuels, convertissant ces derniers en texte via la reconnaissance automatique de la parole (ASR) pour établir une méthode de traitement standard.
2. Encodage sémantique partagé : Un encodeur basé sur un transformer partagé (par exemple, BERT, RoBERTa, DistilBERT) génère des plongements de phrases contextualisés.
3. Estimation parallèle du biais et de la pertinence : L'encodeur alimente deux ensembles parallèles de têtes :
   • Tête de score de pertinence : Estime l'importance d'une phrase pour le résumé.
   • Têtes de classification de biais parallèles : Des classificateurs spécialisés détectent quatre dimensions de biais : le genre, le politique, le culturel et le biais de stéréotype.
4. Sélection de phrases axée sur l'équité : Un mécanisme de reclassement optimise conjointement la pertinence et les scores de biais pour générer le résumé final.

2.2 Détection et notation du biais

Le système utilise une détection de biais multidimensionnelle. Chaque phrase $i$ reçoit un ensemble de scores de biais $b_{ik}$ à travers $K$ dimensions. Ces scores sont normalisés et agrégés en un score de biais composite $B_i$ :
$$B_i = \sum_{k=1}^{K} w_k \hat{b}_{ik}$$
où $w_k$ représente le poids pour chaque dimension de biais et $\hat{b}_{ik}$ est l'intensité normalisée. Cette notation continue permet des compromis nuancés plutôt qu'une exclusion rigide.

2.3 Stratégies d'atténuation

Le cadre emploie trois stratégies distinctes lors de l'entraînement et de l'inférence :

• Atténuation lors de l'entraînement :

  • Augmentation de données contrefactuelles (CDA) : Génère des variations de phrases en remplaçant les attributs sensibles (par exemple, les indicateurs de genre) tout en préservant le sens sémantique, permettant au modèle d'apprendre à partir d'éléments contextuels plutôt que de corrélations biaisées.
  • Repondération des instances : Attribue des poids inférieurs aux instances d'entraînement biaisées pour réduire leur influence sur le processus d'apprentissage.
  • Débiaisage antagoniste (Adversarial Debiasing) : Utilise une perte antagoniste ($L_{adv}$) pour empêcher l'encodeur d'apprendre les attributs sensibles, encourageant des représentations invariantes au biais.
  • Note : Bien que le document fournisse des formulations mathématiques pour la Perte d'Équité et les contraintes de Parité Démographique, les composants opérationnels de base de l'atténuation explicitement listés sont la CDA, la Repondération des Instances et le Débiaisage Antagoniste.

• Atténuation lors de l'inférence :

  • Classement axé sur l'équité : Lors de l'inférence, les phrases sont évaluées à l'aide d'un objectif conjoint qui pénalise le biais :
    $$Score_i = R_i - \lambda B_i$$
    où $R_i$ est le score de pertinence et $B_i$ est le score de biais composite.
  • Pertinence Marginale Maximale (MMR) : Utilisée pour sélectionner l'ensemble final de phrases, assurant la diversité et minimisant la redondance tout en respectant les contraintes d'équité.

3. Principales contributions

• Cadre unifié : Le document présente un cadre modulaire qui intègre la détection de biais multidimensionnel directement dans le processus de classement des phrases, allant au-delà du filtrage post-hoc.
• Apprentissage multi-tâches : En utilisant un encodeur partagé avec des têtes parallèles pour la pertinence et plusieurs types de biais, le système apprend implicitement les interactions tâche-à-tâche, permettant la détection de biais intersectionnels au sein de phrases uniques.
• Atténuation complète : L'approche combine l'apprentissage au niveau de la représentation (CDA, débiaisage antagoniste) avec le contrôle au niveau de la sélection (reclassement axé sur l'équité), traitant le biais tant au niveau de l'encodage que de l'extraction.
• Scalabilité : L'atténuation est principalement appliquée lors de l'entraînement, garantissant une surcharge computationnelle minimale lors de l'inférence.

4. Résultats expérimentaux

Le cadre a été évalué sur des corpus de résumé généraux (CNN/DailyMail, XSum) et des ensembles de données annotés pour les biais (WinoBias, StereoSet, ensembles de données de biais politique).

4.1 Performance de la détection de biais

Les classificateurs dédiés basés sur Transformer ont atteint des performances élevées à travers les catégories de biais :

• Biais de stéréotype : 98,30 % de précision, 0,9843 AUC.
• Biais de genre : 88,43 % de précision, 0,9512 AUC.
• Biais politique : 87,00 % de précision, 0,9156 AUC.
• Biais culturel : 82,09 % de précision, 0,9445 AUC.
  Les scores AUC élevés indiquent que les classificateurs peuvent efficacement classer les cas biaisés par rapport aux cas non biaisés, fournissant une base fiable pour l'atténuation.

4.2 Qualité du résumé vs Équité

Le modèle Fair-SUM proposé a été comparé à des bases de référence comme TextRank, BERT-Extractive et NEUS-TITLE.

• Qualité : Fair-SUM maintient une qualité de résumé compétitive, atteignant un score ROUGE-L de 0,3998 par rapport au score de 0,4023 de la base de référence NEUS-TITLE. Cela représente une dégradation de moins de 1 %, démontant que l'atténuation du biais ne compromet pas significativement l'informativité.
• Réduction du biais : Fair-SUM a réalisé une réduction de 39,97 % du score de biais global (de 0,4721 à 0,2834).
  • Le biais de genre a été réduit de 44,88 %.
  • Le biais politique a été réduit de 37,21 %.
  • Le biais culturel a été réduit de 39,76 %.
  • Le biais de stéréotype a été réduit de 39,14 %.
• Taux d'amplification du biais (BAR) : Alors que le système de base amplifie le biais (+0,1834), Fair-SUM a obtenu un BAR négatif (-0,0412), indiquant qu'il réduit activement le biais lors de la compression plutôt que de simplement le filtrer.

4.3 Étude d'ablation

L'étude a confirmé que le reclassement axé sur l'équité est le principal moteur de la réduction du biais. Supprimer le reclassement a provoqué une montée du score de biais à 0,3892 et un BAR devenant positif (+0,1145). Bien que les méthodes de niveau de représentation (CDA, perte antagoniste) aient contribué à l'équité, elles étaient insuffisantes sans le contrôle de niveau de sélection.

5. Signification et affirmations

Le document affirme que BiasZero/Fair-SUM transforme avec succès le résumé extractif d'un mécanisme qui amplifie souvent le biais en un mécanisme qui peut activement le réduire. La principale signification réside dans la démonstration que l'équité et l'utilité ne sont pas mutuellement exclusives ; le système atteint une réduction significative du biais (jusqu'à 40 % à travers les catégories) avec un impact négligeable sur la qualité du résumé (ROUGE).

Les auteurs soulignent que le cadre traite le "problème de sélection" inhérent au résumé extractif, où le score basé sur la pertinence favorise naturellement les points de vue émotionnellement chargés ou dominants. En intégrant des contraintes d'équité directement dans l'objectif de classement, le système garantit que les résumés fournissent une représentation plus équilibrée du contenu sans sacrifier l'exactitude factuelle.

Le document conclut par une reconnaissance modeste des limites, notant que le système est extractif (ne peut pas ajouter de contexte manquant), dépend de la qualité des annotations de biais, et fait face à des défis avec les biais culturels implicites. Cependant, il établit une fondation modulaire et scalable pour des travaux futurs dans l'équité abstractive et la modélisation des biais intersectionnels.