Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging

Riepilogo Tecnico: Rilevamento Consapevole del Contesto e Generazione di Risposte Centrate sulla Vittima per le Molestie Online nei Messaggi Privati

Enunciato del Problema
Le molestie online rappresentano una preoccupazione significativa per la salute pubblica, in particolare per gli adolescenti, tuttavia gli sforzi computazionali di rilevamento e intervento si sono concentrati prevalentemente sui contenuti visibili pubblicamente sui social media. Gli ambienti di messaggistica privata (ad esempio, i messaggi diretti di Instagram) presentano sfide uniche: le interazioni dannose si svolgono spesso attraverso scambi multi-turno dipendenti dal contesto, dove il significato si basa sulla storia conversazionale, sull'ironia e sulle dinamiche relazionali piuttosto che su testi isolati. Inoltre, gli interventi esistenti sono in gran parte reattivi (ad esempio, segnalazione, blocco) o focalizzati sul persecutore (ad esempio, contro-discorso), spesso fallendo nel fornire assistenza tempestiva ed emotivamente supportiva alle vittime durante l'evento di molestia. Esiste una carenza critica di dataset e metodi scalabili per il rilevamento delle molestie in contesti privati, nonché un divario nella generazione di risposte guidate dall'IA e centrate sulla vittima.

Metodologia
Lo studio ha utilizzato un dataset di 80.053 messaggi diretti di Instagram donati da 26 adolescenti (età 12–18), inclusi giovani con fattori di rischio suicidario. La ricerca ha affrontato due domande di ricerca principali (RQ) utilizzando Modelli Linguistici di Grande Dimensione (LLM).

1. Rilevamento (RQ1): Classificazione a Cascata Consapevole del Contesto

• Annotazione dei Dati: Annotatori umani hanno etichettato 7.525 messaggi (dopo il filtraggio) per molestie online. Per garantire la consapevolezza del contesto, gli annotatori hanno esaminato il messaggio target insieme ai 10 messaggi precedenti. Un sistema con due annotatori e un terzo arbitro ha risolto i disaccordi, risultando in un dataset altamente sbilanciato (41 casi di molestie, 7.484 non molestie).
• Architettura della Pipeline: Gli autori hanno sviluppato una pipeline a cascata LLM a due stadi utilizzando il modello meta-llama/Llama-4-Scout-17B-16E-Instruct.
  • Stadio 1 (LLM 1): Ha ricevuto il messaggio target e i 50 messaggi precedenti come contesto. È stato istruito a classificare il messaggio e fornire una spiegazione motivata.
  • Stadio 2 (LLM 2): Ha ricevuto l'output dell'LLM 1 (etichetta + motivazione) insieme al contesto della conversazione. Questa fase ha agito come un filtro conservativo per ridurre i falsi positivi, rivalutando specificamente i casi segnalati come molestie dallo stadio precedente.
• Baseline: La pipeline è stata confrontata con un classificatore di tossicità pre-addestrato (toxic-bert) e un framework di apprendimento ensemble supervisionato addestrato su dati di social media pubblici.

2. Generazione di Risposte (RQ2): Framework Centrato sulla Vittima

• Architettura della Pipeline: Una pipeline di generazione a due stadi che utilizza lo stesso modello LLM.
  • Stadio 1 (Selezione della Strategia): Ha analizzato il contesto della conversazione per selezionare strategie di risposta basate su evidenze (ad esempio, de-escalation, empatia, persuasione morale, avvertimento) e ha generato una motivazione.
  • Stadio 2 (Realizzazione Linguistica): Ha generato i messaggi di risposta effettivi condizionati alle strategie selezionate e al contesto originale.
• Vincoli: Per garantire la validità ecologica, il modello è stato vincolato a generare risposte che assomigliano agli stili di comunicazione degli adolescenti (ad esempio, textese, grammatica informale) con vincoli specifici sulla lunghezza (3–13 parole per messaggio, 1–2 messaggi consecutivi). Al sistema è stato esplicitamente istruito di evitare ritorsioni e di dare priorità alla de-escalation.
• Valutazione: È stata condotta una valutazione umana in cieco su 100 casi di molestie. Tre valutatori hanno confrontato le risposte generate dall'IA con le risposte originali dei partecipanti su sei dimensioni: efficacia nel fermare le molestie, de-escalation, posizionamento della vittima, supporto emotivo, naturalezza e preferenza per l'ignorare rispetto al rispondere.

Risultati Chiave

• Prestazioni di Rilevamento: La pipeline LLM a cascata ha raggiunto un'accuratezza complessiva di 0,98 e un punteggio F1 macro di 0,63. Crucialmente, per la classe delle molestie, ha raggiunto un richiamo di 0,60 e un punteggio F1 di 0,28. Questo ha superato significativamente entrambe le baseline: toxic-bert (F1 Positivo: 0,14) e l'ensemble (F1 Positivo: 0,23). I risultati indicano che gli LLM consapevoli del contesto sono più adatti per le molestie nella messaggistica privata rispetto ai modelli addestrati su post pubblici isolati.
• Valutazione della Risposta: I valutatori umani hanno percepito le risposte generate dall'IA come significativamente più utili rispetto alle risposte originali dei partecipanti (IC 95%: 0,767–0,815, p < .001). Le risposte AI sono state preferite nell'80,2% dei casi per supporto emotivo, de-escalation e utilità pratica. Tuttavia, i valutatori hanno classificato le risposte originali dei partecipanti come più "naturali" in termini di stile conversazionale (IC 95%: 0,035–0,089, p < .001).
• Analisi degli Errori: La pipeline ha mancato alcune molestie indirette o implicite (falsi negativi) a causa della natura conservativa del filtraggio dello stadio due, che ha dato priorità alla riduzione dei falsi positivi.

Significato e Affermazioni
Il documento afferma che i sistemi AI consapevoli del contesto e centrati sulla vittima hanno un potenziale significativo per fornire supporto "just-in-time" negli ambienti di messaggistica privata.

• Rilevamento: Lo studio dimostra che sfruttare il contesto conversazionale tramite pipeline LLM a cascata è essenziale per rilevare le molestie negli spazi privati, superando i classificatori di tossicità tradizionali che non riescono a catturare le dinamiche relazionali e i modelli di escalation.
• Intervento: La ricerca introduce il concetto di "buffering sintetico", dove le risposte generate dall'IA assorbono il carico emotivo e cognitivo di rispondere alle molestie. Offrendo bozze informate da strategie e di de-escalation, questi sistemi possono potenziare le vittime senza richiedere loro di formulare risposte regolate mentre sono in stato di angoscia.
• Limitazioni: Gli autori notano modestamente che, sebbene le risposte AI siano percepite come più utili, attualmente mancano della naturalezza linguistica delle risposte umane. Sottolineano che questi sistemi non dovrebbero sostituire il supporto umano o l'intervento professionale e richiedono salvaguardie contro l'abuso o un'escalation non intenzionale. I risultati si basano su un dataset specifico e su piccola scala di adolescenti, rendendo necessari lavori futuri su popolazioni più ampie e diversificate e sulla valutazione degli esiti nel mondo reale.