💬 NLP

LaMSUM: Amplifying Voices Against Harassment through LLM Guided Extractive Summarization of User Incident Reports

Ce papier présente LaMSUM, un cadre novateur utilisant des modèles de langage pour générer des résumés extractifs de rapports d'incidents de harcèlement sexuel, surmontant ainsi les défis liés au volume de données et aux langues mixtes afin d'aider les autorités à élaborer des politiques de prévention efficaces.

Auteurs originaux : Garima Chhikara, Anurag Sharma, V. Gurucharan, Kripabandhu Ghosh, Abhijnan Chakraborty

Publié 2026-04-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Garima Chhikara, Anurag Sharma, V. Gurucharan, Kripabandhu Ghosh, Abhijnan Chakraborty

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🗣️ Le Problème : Trop de cris dans une foule

Imaginez une ville où des milliers de personnes déposent chaque jour des témoignages sur des événements désagréables (harcèlement, agressions, vols) dans une grande boîte aux lettres numérique. C'est ce qu'on appelle une plateforme de signalement citoyen.

Le problème ? Il y a trop de lettres.
Si vous êtes un responsable de la ville ou un policier, essayer de lire chaque mot de chaque lettre pour comprendre ce qui se passe est impossible. C'est comme essayer de boire de l'eau avec une cuillère dans un océan. Vous avez besoin d'un résumé, mais pas n'importe lequel.

🚫 Le Dilemme : Résumer ou Copier ?

Il existe deux façons de faire un résumé :

Le résumé "Abstrait" (Le Traducteur) : L'ordinateur lit tout et réécrit l'histoire avec ses propres mots. C'est bien, mais pour des témoignages de victimes, c'est risqué. On ne veut pas que l'ordinateur "paraphrase" ou change les mots de la victime. On veut garder ses mots exacts pour prouver ce qui s'est passé.
Le résumé "Extractif" (Le Collectionneur) : L'ordinateur choisit les meilleures phrases exactes parmi les milliers de textes et les assemble. C'est comme faire une mosaïque avec les meilleurs carreaux de l'original. C'est ce qu'on veut, mais c'est très difficile à faire avec les intelligences artificielles actuelles.

🤖 Le Défi des "Super-Cerveaux" (LLM)

Les nouveaux modèles d'IA (comme ChatGPT ou Claude) sont des génies. Mais ils ont deux défauts majeurs pour ce travail :

Ils sont têtus : Même si on leur dit "Choisis juste les phrases", ils ont l'habitude de réécrire l'histoire (résumé abstrait). C'est comme demander à un chef cuisinier de ne faire que couper des légumes, alors qu'il a envie de les cuisiner.
Ils ont une mémoire courte : Ils ne peuvent pas lire 50 000 lettres d'un coup. Ils oublient le début quand ils arrivent à la fin.

💡 La Solution Magique : LaMSUM (Le Chef d'Orchestre)

Les auteurs de l'article ont créé LaMSUM, une méthode ingénieuse pour transformer ces "Super-Cerveaux" en excellents "Collectionneurs". Voici comment ça marche, étape par étape :

1. La Méthode du "Puzzle en Couches" (Multi-level)

Puisque l'IA ne peut pas tout lire d'un coup, LaMSUM découpe le gros tas de lettres en petits paquets (des "chunks").

Imaginez que vous devez trier 10 000 pièces de puzzle. Au lieu de tout mélanger, vous faites d'abord 100 petits tas de 100 pièces.
L'IA résume chaque petit tas.
Ensuite, on prend ces 100 résumés, on les regroupe en 10 nouveaux tas, et l'IA résume encore.
On répète l'opération jusqu'à obtenir un seul résumé final. C'est comme une pyramide qui se construit de la base vers le sommet.

2. Le Tour de Magie : Le "Brouillage" (Shuffling)

Les IA ont un défaut : elles aiment trop les phrases qui sont au début d'un texte (biais de position). Si on leur donne un tas de lettres, elles choisiront toujours les premières.

LaMSUM joue à "Mélanger les cartes" : Avant de donner un tas à l'IA, on mélange l'ordre des lettres. On le fait 3 fois de suite (3 versions différentes).
L'IA lit la version A, puis la version B, puis la version C.
Grâce à ce mélange, une phrase importante qui était au milieu dans la version A peut se retrouver au début dans la version B. L'IA la remarque enfin !

3. L'Élection Démocratique (Voting)

C'est la partie la plus brillante. Au lieu de demander à une seule IA de choisir les 50 meilleures phrases, LaMSUM demande à plusieurs IA (ou plusieurs versions) de voter.

Imaginez un conseil municipal où chaque membre (chaque version de l'IA) vote pour les phrases qu'il trouve les plus importantes.
On utilise des systèmes de vote intelligents (comme le vote proportionnel). Ce système ne se contente pas de compter les voix ; il s'assure qu'on ne vote pas 10 fois pour la même idée répétée, mais qu'on choisit des idées variées et représentatives.
Les phrases qui obtiennent le plus de votes "sérieux" sont retenues pour le résumé final.

🏆 Le Résultat : Pourquoi c'est génial ?

Grâce à LaMSUM :

On garde la vérité : Les mots des victimes sont respectés, pas réécrits.
On voit l'ensemble : On ne rate pas les cas importants juste parce qu'ils étaient au fond du tas.
C'est plus juste : Le système de vote empêche l'IA de se focaliser sur un seul type d'incident et assure une diversité de témoignages.

En résumé, LaMSUM est comme un chef d'orchestre très organisé qui prend des milliers de musiciens (les textes), les fait jouer par petits groupes, mélange les partitions pour éviter les erreurs, et utilise un vote démocratique pour sélectionner les meilleures mélodies afin de créer une symphonie parfaite qui raconte l'histoire vraie de la ville.

Cela permet aux autorités de comprendre rapidement la situation et de mieux protéger les citoyens, sans se perdre dans la masse d'informations.

1. Problématique et Contexte

Les plateformes de signalement citoyen (comme Safe City ou SHe-Box) permettent aux victimes de dénoncer le harcèlement sexuel, les agressions et la violence domestique. Cependant, le volume massif de données générées par ces plateformes rend l'analyse manuelle de chaque incident impossible pour les autorités.

Le défi principal réside dans la nécessité de développer un algorithme de résumé extractif (qui sélectionne des phrases ou des posts originaux) capable de :

Traiter de grands volumes de données dépassant la fenêtre de contexte des modèles de langage (LLM).
Gérer des langues « code-mixées » (mélange de langues, ex. : Hinglish en Inde).
Préserver l'authenticité des propos des victimes (contrairement au résumé abstrait qui paraphrase).

Limitations des LLM actuels :

Nature générative : Les LLM sont conçus pour produire des résumés abstraits (paraphrase) plutôt que des résumés extractifs (sélection de sous-ensembles de texte). Même lorsqu'ils sont explicitement invités à faire du résumé extractif, ils tendent à réécrire le contenu.
Fenêtre de contexte limitée : Les LLM ne peuvent pas ingérer de longs documents (plus de 30k tokens) en une seule fois.
Biais positionnel : Les LLM ont tendance à sélectionner les phrases situées au début ou à la fin des textes d'entrée, ignorant le reste.

2. Méthodologie : Le Framework LaMSUM

Les auteurs proposent LaMSUM (Large Language Model based Extractive SUMmarization), un cadre multi-niveaux innovant combinant les LLM et des algorithmes de vote issus de la théorie du choix social.

A. Architecture Multi-Niveaux (Multi-Level Summarization)

Pour contourner la limite de la fenêtre de contexte, le processus est divisé en plusieurs niveaux itératifs :

Niveau 0 : L'ensemble des posts $T$ est divisé en plusieurs « chunks » (blocs) de taille $s$ .
Résumé partiel : Chaque chunk est résumé individuellement par un LLM pour produire un sous-résumé de taille $q$ .
Itération : Ces sous-résumés sont fusionnés pour former l'entrée du niveau suivant. Ce processus se répète jusqu'à obtenir un résumé final de taille $k$ .
Note : Le paramètre $q$ est fixé égal à $k$ pour garantir que le cas le plus défavorable (où tous les éléments du résumé final proviennent d'un seul chunk initial) soit géré.

B. Lutte contre le Biais Positionnel (Shuffling)

Pour atténuer le biais où le LLM favorise certaines positions dans le texte :

Pour chaque chunk, les auteurs génèrent $m$ variations en mélangeant (shuffling) l'ordre des posts.
Le LLM résume chaque variation séparément.

C. Résumation comme Élection (Voting Algorithms)

Au lieu de prendre le premier résumé généré, LaMSUM traite le processus comme une élection multi-gagnants :

Les $m$ résumés générés (issues des variations mélangées) agissent comme des « bulletins de vote ».
Les unités textuelles (posts) sont les « candidats ».
Un algorithme de vote sélectionne les $q$ meilleurs candidats pour former le résumé final.
Trois méthodes de vote sont testées :
1. Plurality Voting (Vote pluralitaire) : Comptage simple des votes.
2. Proportional Approval Voting (PAV) : Sélectionne les candidats en tenant compte de la satisfaction des électeurs et en appliquant une loi de rendements décroissants pour éviter la redondance (privilégie la diversité).
3. Ranked Choice Voting (Borda Count) : Utilise un classement des candidats.

D. Calibration de la Sortie

Pour s'assurer que le résumé reste strictement extractif (sans hallucination ni modification de mots) :

Un mécanisme de vérification compare les phrases générées par le LLM avec le texte original.
Si une phrase est modifiée ou hallucinée, l'algorithme calcule la distance d'édition ou cherche les mots-clés correspondants dans le texte original pour récupérer la phrase exacte.

3. Contributions Clés

Premier cadre extractif à grande échelle avec LLM : C'est l'une des premières tentatives d'utiliser des LLM pour le résumé extractif de vastes collections de textes générés par les utilisateurs, en surmontant les limites de la fenêtre de contexte.
Intégration du Choix Social : L'application novatrice d'algorithmes de vote (notamment PAV) pour combiner les sorties de LLM et garantir robustesse et diversité.
Gestion des données sensibles et code-mixées : Le système est conçu pour fonctionner sur des données réelles de signalement d'incidents en Inde, incluant des langues mixtes, sans nécessiter de réentraînement coûteux des modèles.
Preuve de supériorité : Démonstration que cette approche surpasse les modèles de résumé fine-tunés (comme BERTSUM) et les méthodes traditionnelles.

4. Résultats Expérimentaux

L'évaluation a été menée sur un jeu de données réel provenant de cinq villes indiennes (plus de 3 500 posts au total) couvrant divers types de harcèlement.

Modèles LLM testés : Llama-3.1-8B, Mistral-Nemo, Claude-3-Haiku et GPT-4o-mini.
Métriques : ROUGE-1, ROUGE-2 et ROUGE-Lsum (mesurant le chevauchement avec des résumés de référence créés par des experts humains).
Performance :
- La configuration LaMSUM avec Claude-3-Haiku et le vote d'approbation proportionnel (PAV) a obtenu les meilleurs résultats.
- LaMSUM surpasse tous les baselines (LexRank, SummBasic, LSA, BERT, XLNET, BERTSUM) sur toutes les métriques et tous les jeux de données. Par exemple, sur le jeu de données City A, le score ROUGE-1 de LaMSUM est de 62,19 contre 56,57 pour le meilleur modèle fine-tuné (BERTSUM).
Qualité du résumé :
- Diversité : Les résumés générés par LaMSUM couvrent une plus grande variété de catégories de harcèlement (mesurée par l'entropie) que les autres méthodes.
- Détail : Les posts sélectionnés par LaMSUM sont plus longs et plus descriptifs, offrant une information plus riche.
- Efficacité du vote : Le vote proportionnel (PAV) s'est avéré supérieur au vote par classement (Borda), car il évite la redondance en favorisant la diversité des opinions plutôt que de simplement agréger les phrases les plus fréquentes.

5. Signification et Impact

Aide à la décision pour les autorités : Ce système permet aux responsables locaux et aux forces de l'ordre de visualiser rapidement les tendances, les zones à risque et la nature des incidents sans avoir à lire des milliers de rapports individuels.
Préservation de la voix des victimes : En étant strictement extractif, LaMSUM conserve les mots exacts des victimes, ce qui est crucial pour l'authenticité et le contexte juridique/social, contrairement aux résumés abstraits qui pourraient atténuer la gravité des faits.
Applicabilité sociale : Bien que conçu pour le harcèlement sexuel, le cadre est généralisable à d'autres domaines de signalement citoyen (criminalité, santé publique, urbanisme).
Limites et Éthique : Les auteurs soulignent les risques de biais inhérents aux LLM et la nature « boîte noire » de la sélection. Ils recommandent une utilisation de l'outil comme support à la décision humaine et non comme remplacement absolu, afin d'éviter de négliger des cas rares mais importants.

En conclusion, LaMSUM représente une avancée significative en NLP social, démontrant comment combiner les capacités de compréhension des LLM avec des mécanismes de vote rigoureux pour résoudre des problèmes pratiques de gestion de données massives et sensibles.