LaMSUM: Amplifying Voices Against Harassment through LLM Guided Extractive Summarization of User Incident Reports

1. Il Problema

Le piattaforme di segnalazione cittadina (es. Safe City, SHe-Box) raccolgono un volume enorme di report su molestie sessuali, abusi e violenza. La gestione manuale di questi dati è impraticabile per le autorità, rendendo necessario un algoritmo di riassunto automatico.
Tuttavia, esistono sfide specifiche:

• Natura dei dati: I testi sono spesso in lingue miste (code-mixed, es. Hinglish in India) e sensibili, richiedendo che il riassunto preservi le parole esatte dell'utente per mantenere autenticità e contesto.
• Limiti degli LLM attuali: I Large Language Models (LLM) tendono a produrre riassunti astrattivi (parafrasando il testo) invece che estrattivi (selezionando frasi originali), anche quando istruiti diversamente. Inoltre, hanno finestre di contesto limitate che non possono contenere interi dataset di migliaia di post.
• Bias Posizionale: Gli LLM mostrano una tendenza a selezionare frasi basandosi sulla loro posizione nel testo (spesso le prime) piuttosto che sulla rilevanza intrinseca.

2. Metodologia: Il Framework LaMSUM

Gli autori propongono LaMSUM (Large Language Model based Extractive SUMmarization), un framework innovativo a più livelli che combina la potenza degli LLM con algoritmi di votazione derivati dalla Teoria della Scelta Sociale.

A. Architettura a Più Livelli (Multi-Level Summarization)

Per gestire dataset che superano la finestra di contesto di un singolo LLM:

1. Suddivisione: L'insieme di testi $T$ viene diviso in "chunk" (blocchi) di dimensione $s$.
2. Riassunto Livello 0: Ogni chunk viene inviato all'LLM per generare un riassunto parziale di dimensione $q$ (dove $q < s$).
3. Iterazione: I riassunti dei chunk vengono fusi per formare nuovi chunk di input per il livello successivo. Questo processo si ripete iterativamente fino a ottenere un riassunto finale di dimensione $k$.
4. Gestione del Caso Peggiore: Il framework è progettato per gestire scenari in cui tutti gli elementi del riassunto finale potrebbero provenire dallo stesso chunk originale, garantendo robustezza.

B. Mitigazione del Bias Posizionale e Allineamento

Per ogni chunk, il sistema applica due tecniche cruciali prima di inviare il testo all'LLM:

• Shuffling (Mescolamento): Le unità testuali all'interno di un chunk vengono mescolate $m$ volte per creare $m$ varianti diverse. Questo assicura che ogni frase appaia in posizioni diverse, riducendo il bias posizionale dell'LLM.
• Prompting Zero-Shot: L'LLM viene istruito a selezionare le unità più rilevanti per ciascuna delle $m$ varianti.

C. Calibrazione dell'Output

Poiché gli LLM potrebbero modificare le parole originali o allucinare nuove frasi, viene applicato un controllo di validazione:

• Si verifica se le frasi selezionate sono presenti nel testo originale.
• Se una frase è stata modificata, si calcola la distanza di edit per trovare l'originale più simile.
• Se viene generata una frase nuova (allucinazione), si estraggono le parole chiave (nomi, verbi, aggettivi) e si cerca il post originale con la massima sovrapposizione di parole chiave.

D. Riassunto come Elezione (Voting Algorithms)

Le $m$ varianti di riassunto generate dall'LLM vengono trattate come "schede elettorali". Per selezionare le $q$ frasi definitive, vengono utilizzati algoritmi di votazione:

1. Plurality Voting: Conta quante volte una frase è stata selezionata.
2. Proportional Approval Voting (PAV): Un metodo avanzato che bilancia la rappresentazione, riducendo i rendimenti marginali per evitare la ridondanza (evita di selezionare troppe frasi simili che dicono la stessa cosa).
3. Ranked Choice Voting (Borda Count): Assegna punteggi basati sulla posizione nella lista di preferenza fornita dall'LLM.

3. Contributi Chiave

• Primo approccio estrattivo su larga scala con LLM: È uno dei primi lavori che implementa il riassunto estrattivo di grandi collezioni di testi generati dagli utenti utilizzando LLM, superando la loro naturale tendenza all'astrazione.
• Framework Ibrido: Integrazione innovativa di LLM con algoritmi di votazione sociale per estrarre frasi originali in modo robusto.
• Gestione del Code-Mixing: Il sistema è stato testato ed è efficace su dati multilingue e code-mixed, una sfida spesso ignorata dai modelli standard.
• Riduzione del Bias: L'uso dello shuffling e della votazione mitiga efficacemente il bias posizionale degli LLM.

4. Risultati Sperimentali

Il framework è stato valutato su dataset reali di 5 città indiane contenenti oltre 30.000 token di report su molestie.

• LLM Utilizzati: Llama-3.1-8B, Mistral-Nemo, Claude-3-Haiku e GPT-4o-mini.
• Metriche: ROUGE-1, ROUGE-2 e ROUGE-Lsum confrontati con riassunti "gold standard" creati da esperti umani.
• Performance:
  • LaMSUM ha superato tutti i modelli di base (pre-neurali come LexRank, modelli transformer come BERTSUM e altri LLM "Vanilla" senza votazione).
  • La combinazione migliore è stata Claude-3-Haiku con Proportional Approval Voting (PAV).
  • PAV ha dimostrato di essere superiore alle altre tecniche di votazione, producendo riassunti più diversificati e meno ridondanti.
  • I riassunti generati da LaMSUM contengono più parole e dettagli rispetto ad altri algoritmi, indicando una migliore capacità di catturare informazioni sostanziali.
  • La diversità dei contenuti (misurata tramite entropia) è risultata superiore rispetto ai metodi esistenti.

5. Significato e Impatto

• Supporto alle Autorità: Il sistema offre alle autorità e alle organizzazioni una panoramica completa e gestibile degli incidenti, facilitando l'identificazione di pattern, aree critiche e fattori sottostanti per politiche di prevenzione più efficaci.
• Preservazione dell'Autenticità: A differenza dei riassunti astrattivi, LaMSUM mantiene le parole originali delle vittime, preservando il contesto emotivo e giuridico cruciale per casi di molestie.
• Scalabilità e Accessibilità: Utilizzando modelli LLM di dimensioni moderate (circa 8B parametri) e tecniche efficienti, il framework è economicamente sostenibile per piattaforme non profit, evitando costi proibitivi di modelli più grandi.
• Considerazioni Etiche: Gli autori riconoscono i limiti, come il rischio di bias nei dati di addestramento degli LLM e la natura "scatola nera" del processo decisionale. Sottolineano che il sistema deve essere usato come strumento di supporto decisionale e non come sostituto assoluto del giudizio umano, per evitare di trascurare casi meno frequenti ma importanti.

In conclusione, LaMSUM rappresenta un passo significativo verso l'uso responsabile degli LLM per l'analisi sociale, trasformando grandi volumi di dati caotici in informazioni azionabili per la sicurezza pubblica.