Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging

Technische Samenvatting: Contextbewuste Detectie en Slachtoffergerichte Generatie van Reacties op Online Intimidatie in Privéberichten

Probleemstelling
Online intimidatie is een aanzienlijk probleem voor de volksgezondheid, met name voor adolescenten, maar computergestuurde detectie- en interventie-inspanningen hebben zich voornamelijk gericht op publiek zichtbare socialemediabehoud. Privéberichtomgevingen (bijvoorbeeld Instagram Direct Berichten) stellen unieke uitdagingen: schadelijke interacties spelen zich vaak af via contextafhankelijke, meertrapsuitwisselingen waarbij de betekenis berust op conversatiegeschiedenis, sarcasme en relationele dynamiek in plaats van geïsoleerde tekst. Bovendien zijn bestaande interventies grotendeels reactief (bijvoorbeeld melden, blokkeren) of gericht op de dader (bijvoorbeeld tegenspraak), en slagen ze er vaak niet in om slachtoffers tijdens het intimidatiegebeuren tijdige, emotioneel ondersteunende bijstand te bieden. Er is een kritisch gebrek aan datasets en schaalbare methoden voor het detecteren van intimidatie in privécontexten, evenals een gat in door AI aangedreven, slachtoffergerichte generatie van reacties.

Methodologie
De studie gebruikte een dataset van 80.053 Instagram-berichten die werden geschonken door 26 adolescenten (leeftijd 12–18 jaar), waaronder jongeren met suïcidale risicofactoren. Het onderzoek behandelde twee hoofdvragen (RQ's) met behulp van Large Language Models (LLM's).

1. Detectie (RQ1): Contextbewuste Cascaderende Classificatie

• Dataannotatie: Menselijke annotatoren labelden 7.525 berichten (na filtering) op online intimidatie. Om contextbewustzijn te waarborgen, beoordeelden annotatoren het doelbericht samen met de voorafgaande 10 berichten. Een systeem met twee annotatoren en een derde beslisser loste meningsverschillen op, wat resulteerde in een sterk onbalans dataset (41 intimidatiegevallen, 7.484 geen intimidatie).
• Pijplijnarchitectuur: De auteurs ontwikkelden een tweestaps cascaderende LLM-pijplijn met behulp van het model meta-llama/Llama-4-Scout-17B-16E-Instruct.
  • Stap 1 (LLM 1): Ontving het doelbericht en de voorafgaande 50 berichten als context. Het werd gevraagd het bericht te classificeren en een redenerende verklaring te geven.
  • Stap 2 (LLM 2): Ontving de output van LLM 1 (label + redenering) samen met de conversatiecontext. Deze stap fungeerde als een conservatief filter om vals-positieven te verminderen, door specifiek gevallen die door de eerste stap als intimidatie waren gemarkeerd, opnieuw te evalueren.
• Baselines: De pijplijn werd vergeleken met een vooraf getrainde toxiciteitsclassificator (toxic-bert) en een supervised ensemble-leerframework dat was getraind op publieke socialemediadata.

2. Generatie van Reacties (RQ2): Slachtoffergericht Kader

• Pijplijnarchitectuur: Een tweestaps generatiepijplijn met behulp van hetzelfde LLM-model.
  • Stap 1 (Strategiekeuze): Analyseerde de conversatiecontext om op bewijs gebaseerde reactiestrategieën te selecteren (bijvoorbeeld escalatie voorkomen, empathie, morele overreding, waarschuwing) en genereerde een onderbouwing.
  • Stap 2 (Linguïstische Realisatie): Genereerde de daadwerkelijke reactieberichten, geconditioneerd op de geselecteerde strategieën en de originele context.
• Beperkingen: Om ecologische validiteit te waarborgen, werd het model beperkt tot het genereren van reacties die leken op de communicatiestijl van adolescenten (bijvoorbeeld teksttaal, informele grammatica) met specifieke lengtebeperkingen (3–13 woorden per bericht, 1–2 opeenvolgende berichten). Het systeem kreeg uitdrukkelijk de instructie om vergelding te vermijden en prioriteit te geven aan het voorkomen van escalatie.
• Evaluatie: Er werd een geblindeerde menselijke evaluatie uitgevoerd op 100 intimidatiegevallen. Drie evaluatoren vergeleken AI-genererde reacties met de originele reacties van deelnemers over zes dimensies: effectiviteit in het stoppen van intimidatie, escalatie voorkomen, positie van het slachtoffer, emotionele ondersteuning, natuurlijkheid, en de voorkeur voor negeren versus reageren.

Belangrijkste Resultaten

• Detectieprestaties: De cascaderende LLM-pijplijn behaalde een algehele nauwkeurigheid van 0,98 en een macro F1-score van 0,63. Cruciaal was dat voor de klasse intimidatie een recall van 0,60 en een F1-score van 0,28 werd behaald. Dit presteerde aanzienlijk beter dan beide baselines: toxic-bert (Positieve F1: 0,14) en het ensemble (Positieve F1: 0,23). De resultaten wijzen erop dat contextbewuste LLM's beter geschikt zijn voor intimidatie in privéberichten dan modellen die zijn getraind op geïsoleerde publieke berichten.
• Evaluatie van Reacties: Menselijke evaluatoren ervoeren AI-genererde reacties als significant behulpzamer dan de originele reacties van deelnemers (95% CI: 0,767–0,815, p < .001). AI-reacties werden in 80,2% van de gevallen verkiest voor emotionele ondersteuning, escalatie voorkomen en praktische bruikbaarheid. Echter, beoordelaars beoordeelden de originele reacties van deelnemers als natuurlijker wat betreft conversatiestijl (95% CI: 0,035–0,089, p < .001).
• Foutenanalyse: De pijplijn miste sommige indirecte of geïmpliceerde intimidatie (vals-negatieven) vanwege het conservatieve karakter van de filter in de tweede stap, die prioriteit gaf aan het verminderen van vals-positieven.

Betekenis en Claims
Het artikel stelt dat contextbewuste en slachtoffergerichte AI-systemen aanzienlijk potentieel hebben voor het bieden van "just-in-time" ondersteuning in privéberichtomgevingen.

• Detectie: Het onderzoek toont aan dat het benutten van conversatiecontext via cascaderende LLM-pijplijnen essentieel is voor het detecteren van intimidatie in privéruimtes, en dat dit beter presteert dan traditionele toxiciteitsclassificatoren die relationele dynamiek en escalatiepatronen niet kunnen vastleggen.
• Interventie: Het onderzoek introduceert het concept van "synthetische buffering", waarbij AI-genererde reacties de emotionele en cognitieve last van het reageren op intimidatie opvangen. Door strategie-informeerde, escalatie-voorkomende concepten aan te bieden, kunnen deze systemen slachtoffers empoweren zonder dat ze gereguleerde reacties hoeven te formuleren terwijl ze in nood verkeren.
• Beperkingen: De auteurs merken bescheiden op dat hoewel AI-reacties als behulpzamer worden ervaren, ze momenteel de linguïstische natuurlijkheid van menselijke reacties missen. Zij benadrukken dat deze systemen menselijke ondersteuning of professionele interventie niet moeten vervangen en beveiliging vereisen tegen misbruik of onbedoelde escalatie. De bevindingen zijn gebaseerd op een specifieke, kleinschalige dataset van adolescenten, wat toekomstig werk vereist op grotere, diversere populaties en evaluatie van uitkomsten in de echte wereld.