LaMSUM: Amplifying Voices Against Harassment through LLM Guided Extractive Summarization of User Incident Reports

Probleemstelling

Citizen reporting-platforms (burgermeldingsplatforms) verzamelen enorme hoeveelheden data over incidenten van seksuele intimidatie en harassment. Voor autoriteiten is het onpraktisch om elk individueel rapport handmatig te bekijken. Er is behoefte aan een samenvattingsalgoritme dat:

1. Extractieve samenvattingen maakt: In plaats van de tekst te herschrijven (abstraktief), moeten specifieke zinnen of berichten uit de originele data worden geselecteerd om authenticiteit en context te behouden.
2. Grote datasets verwerkt: De hoeveelheid data overschrijdt vaak de contextvenster-grootte van Large Language Models (LLMs).
3. Code-mixed talen ondersteunt: Veel gebruikers posten in gemengde talen (bijv. Hinglish in India), wat bestaande modellen beperkt.
4. LLM-beperkingen overbrugt: LLMs zijn van nature geneigd tot abstractive samenvattingen (paraphrasen) en vertonen positional bias (ze kiezen vaker zinnen aan het begin van een tekst). Daarnaast kunnen ze hallucineren of instructies negeren bij zeer lange input.

Methodologie: LaMSUM Framework

LaMSUM (Large Language Model based Extractive SUMmarization) is een nieuw multi-level framework dat LLMs combineert met stemalgoritmen uit de Sociale Keuzetheorie om robuuste extractieve samenvattingen te genereren.

1. Multi-Level Architectuur:
Omdat de totale dataset ($T$) te groot is voor één contextvenster, wordt de data opgesplitst in kleinere chunks van grootte $s$.

• Level 0: De input wordt verdeeld in chunks. Elke chunk wordt samengevat tot een kleinere set van $q$ eenheden (posts).
• Iteratie: De samenvattingen van het ene niveau worden samengevoegd tot nieuwe chunks voor het volgende niveau.
• Stopconditie: Dit proces herhaalt zich totdat een finale samenvatting van de gewenste grootte $k$ is bereikt.
• Strategie: De auteurs kiezen $q = k$ om te garanderen dat in het slechtste geval (waar alle finale zinnen uit één oorspronkelijke chunk komen) het algoritme nog steeds effectief werkt.

2. Bestrijding van Positional Bias en Hallucinaties:
Om te voorkomen dat de LLM alleen zinnen aan het begin van een chunk selecteert of de tekst herschrijft:

• Shuffling: Voor elke chunk worden $m$ verschillende variaties gegenereerd door de volgorde van de posts te schudden.
• Zero-Shot Prompting: De LLM wordt gevraagd om de beste $q$ eenheden te selecteren voor elke variatie.
• Output Calibration: Er wordt gecontroleerd of de geselecteerde tekst daadwerkelijk uit de originele input komt. Als de LLM een zinsnede "hallucineert" of wijzigt, wordt deze vervangen door de originele post met de kleinste edit-distance of de meeste overeenkomstige trefwoorden.

3. Stemalgoritmen (Voting Methods):
De $m$ gegenereerde samenvattingen worden behandeld als een verkiezing waarbij de tekstuele eenheden de kandidaten zijn en de LLM-outputs de stemmen. Drie methoden worden getest:

• Plurality Voting: Eenvoudige telling van stemmen.
• Proportional Approval Voting (PAV): Selecteert eenheden op basis van ondersteuning, maar met "diminishing returns" om redundantie te voorkomen en diversiteit te bevorderen.
• Ranked Choice Voting (Borda Count): Gebruikt een rangschikking van voorkeur.

Key Contributions

1. Eerste Extractieve LLM-toepassing: Dit is een van de eerste werken dat extractieve samenvattingen van grote verzamelingen gebruikersgegenereerde tekst realiseert met behulp van LLMs, specifiek door het combineren van samenvatting met stemalgoritmen.
2. LaMSUM Framework: Een innovatief multi-level systeem dat de beperkingen van contextvensters en de neiging tot abstractie van LLMs overwint.
3. Robuustheid: Door shuffling en stemmen wordt de output minder gevoelig voor de volgorde van input en hallucinaties.
4. Sociale Impact: Het biedt een manier voor autoriteiten om snel een overzicht te krijgen van harassment-incidenten om beleidsmaatregelen te nemen, zonder de authenticiteit van de slachtofferberichten te verliezen.

Resultaten

De auteurs hebben LaMSUM geëvalueerd op een dataset van incidentenrapporten uit vijf steden in Azië (met duizenden posts) en vergeleken met state-of-the-art modellen (zoals BERTSUM, LexRank, en andere fine-tuned modellen) en een "Vanilla" LLM-approach (zonder shuffling/voting).

• Prestaties: LaMSUM (met name in combinatie met de Claude-3-Haiku LLM en Proportional Approval Voting) overtrof alle baselines significant op de ROUGE-metrics (ROUGE-1, ROUGE-2, ROUGE-Lsum).
• Vergelijking met Vanilla LLM: Zonder shuffling en voting presteerde de LLM aanzienlijk slechter, wat aantoont dat het voorgestelde framework essentieel is voor extractieve taken.
• Kwaliteit van Output: De door LaMSUM geselecteerde posts waren langer, gedetailleerder en diverser (gemeten via entropie) dan die van andere algoritmen.
• Optimalisatie: Experimenten toonden aan dat $m=3$ (aantal shuffles) en chunk-grootte $s=100$ de beste balans bieden tussen prestatie en rekentijd.

Betekenis en Conclusie

Dit werk markeert een belangrijke stap in het gebruik van AI voor sociale verantwoordelijkheid. Het toont aan dat LLMs, ondanks hun inherente beperkingen voor extractieve taken, effectief kunnen worden ingezet voor het analyseren van grote hoeveelheden gevoelige data als ze worden gekoppeld aan geavanceerde aggregatiemethoden (stemmen).

Het framework is niet alleen toepasbaar op harassment-rapportages, maar ook op andere sociale media-datasets (zoals verkiezingsdata of #MeToo-bewegingen). De auteurs benadrukken echter de ethische kanttekening: hoewel LaMSUM hoogwaardige samenvattingen levert, mag het niet als enige bron worden gebruikt voor beleidsvorming vanwege de mogelijke "black box"-aard van LLMs en het risico op het negeren van zeldzame maar belangrijke incidenten.