Technische Samenvatting: SuiChat-CN

Probleemstelling

Zelfmoord blijft een kritieke wereldwijde uitdaging voor de volksgezondheid, wat tijdige en effectieve preventiestrategieën vereist. Hoewel computationeel onderzoek de detectie van zelfmoordrisico op postgebaseerde socialemediaplatforms (bijv. Twitter, Weibo) heeft verbeterd, vertrouwen deze benaderingen op geïsoleerde berichtanalyse. Dit paradigma is ontoereikend voor instant messaging (IM)-omgevingen zoals Telegram-groepsgesprekken, die onderscheidende linguïstische en interactieve eigenschappen vertonen:

• Fragmentatie en Beknoptheid: Berichten zijn kort en missen vaak een zelfstandige context.
• Meerdere-deelnemersdynamiek: Gesprekken betreffen meerdere deelnemers, wat het bijhouden van beurtwisseling en sprekersrollen vereist.
• Impliciete en Culturele Nuances: Risicosignalen vertrouwen vaak op metaforen, homofonen, straattaal of cultureel specifieke eufemismen in plaats van expliciete sleutelwoorden.
• Contextafhankelijkheid: Zoals geïllustreerd in het artikel, kan een bericht dat geïsoleerd onschuldig lijkt (bijv. "zout"), binnen de conversatiegeschiedenis een hoog risico aangeven (druggebruik).

Bestaande datasets missen de granulariteit om deze multi-turn, contextafhankelijke dynamieken te modelleren, met name voor de Chinese taal.

Methodologie

De auteurs introduceren SuiChat-CN, een benchmarkdataset en constructiepijplijn die specifiek is ontworpen voor contextuele zelfmoordrisico-evaluatie in Chinese groepsgesprekken.

1. Pijplijn voor Datasetconstructie

De constructie volgt een pijplijn in vier fasen (Figuur 3):

• Dataverzameling: Ruwe logs werden geoogst uit 20 publieke Chinese Telegram-groepen gerelateerd aan zelfmoord (januari 2020 – juni 2025). De data werd geanonimiseerd met SHA-256-hashing om gebruikers- en groeps-ID's te verwijderen.
• Extractie van Signaalwoorden: Er werd een hiërarchisch lexicon van 3.508 signaalwoorden samengesteld, dat zowel expliciete termen (bijv. directe vermeldingen van zelfmoord) als impliciete signalen (bijv. internetstraattaal, homofonen, metaforen) omvat. Een LLM (GLM4-32B) hielp bij het extraheren van impliciete kandidaten, die vervolgens werden gevalideerd door psychologie-experts.
• Contextuitbreiding: Een bidirectioneel contextuitbreidingsalgoritme werd toegepast op verdachte berichten. Centrerend op een zaadbericht, breidt het algoritme zich uit naar achteren en voorwaarts op basis van tijdsintervallen (MTS), segmentgrootte (SS) en span (STS) beperkingen. Het haalt ook verwezen historische berichten op via antwoordlinks om de conversatiecoherentie te behouden.
• Annotatie: Er werd een strikt tweestapsproces gebruikt, bestaande uit pilotannotatie en hoofdannotatie.
  • Taxonomie: Er werd een zesclassen-risicotaxonomie gedefinieerd, aangepast van de Columbia-Suicide Severity Rating Scale (C-SSRS):
    1. Irrelevant (Geen risico)
    2. Depressieve emotie
    3. Zelfmoordideeën
    4. Zelfmoordmethode/gedrag
    5. Zelfmoordpoging
    6. Zelfmoordinductie/verbaal agressie
  • Kwaliteitscontrole: Menselijke experts en een meermodel-stemsystem (17 LLM's) werden gebruikt om "zilveren" labels te genereren. Consensus was vereist ($\rho \ge 2/3$) voor acceptatie, met menselijke adjudicatie voor meningsverschillen.

2. Evaluatiekader

De auteurs evalueerden meer dan 40 modellen, waaronder propriëtaire API-gebaseerde LLM's (bijv. GPT-5, Gemini, Kimi) en open-weight modellen (bijv. Llama, Qwen, DeepSeek), naast PLM's.

• Scenario's: Zero-shot, Few-shot (met expertvoorbeelden), Few-shot met gemaskeerde sleutelwoorden, en Few-shot met verwijderde context.
• Gedeeltelijke Openbaarmaking: Experimenten werden uitgevoerd waarbij slechts de eerste $\tau \in \{30, 50, 70, 90, 100\}\%$ van een gesprek zichtbaar was om real-time streamingdetectie te simuleren.
• Fine-tuning: Geselecteerde modellen werden gefine-tuned op de dataset om prestatiewinst te beoordelen.

Belangrijkste Bijdragen

1. SuiChat-CN Dataset: Een benchmark met 13.312 contextuele segmenten afgeleid van 258.228 ruwe berichten van 1.406 gebruikers. Het is de eerste dataset die specifiek focust op de multi-party, contextafhankelijke aard van zelfmoordrisico in Chinese groepsgesprekken.
2. Constructiepijplijn: Een nieuwe methodologie die signaalwoordontdekking, expertvalidatie en bidirectionele contextuitbreiding combineert om gefragmenteerde chatlogs om te vormen naar coherente eenheden voor risicobeoordeling.
3. Uitgebreide Benchmarking: Uitgebreide evaluatie van PLM's en 40+ LLM's in diverse instellingen (prompting, ablatie, fine-tuning en gedeeltelijke context) om baselines voor dit specifieke domein te vestigen.
4. Ontwerp van Taxonomie: Een zesclassen-risicotaxonomie die klinische interpreteerbaarheid balanceert met de praktische behoeften van monitoring van groepsgesprekken, en het volledige spectrum bestrijkt van irrelevante inhoud tot actieve induktie.

Belangrijkste Resultaten

• Context is cruciaal: Het verwijderen van conversatiecontext of het maskeeren van sleutelwoorden verslechterde universeel de modelprestaties. Modellen die uitsluitend leunden op geïsoleerde berichten, faalden in het vastleggen van impliciete risicosignalen.
• Modelprestaties:
  • Propriëtaire modellen (bijv. Gemini-2.5-Pro, Seed-OSS-36B, Kimi-K2) presteerden over het algemeen beter dan open-weight modellen, met F1-scores boven de 70% in few-shot instellingen.
  • Onder de open-weight modellen benaderden DeepSeek-R1 en Llama-3.3-70B de prestaties van middensegment propriëtaire systemen.
  • Fine-tuning verbeterde open-weight modellen aanzienlijk (bijv. Llama-3-8B zag een winst van +59,4 F1-punten), waardoor de kloof met propriëtaire systemen werd verkleind, hoewel het de gebrek aan context niet volledig kon compenseren.
• Vindingen bij Gedeeltelijke Openbaarmaking:
  • Hoog-risico aanwijzingen (specifiek Zelfmoordpoging, Klasse 4) waren vaak vertraagd in het gesprek. Modellen hadden moeite om deze risico's te detecteren wanneer slechts de eerste 30% van de dialoog zichtbaar was.
  • De nauwkeurigheid voor hoog-risico klassen verbeterde aanzienlijk naarmate meer context werd onthuld (bijv. L4-nauwkeurigheid voor sommige modellen steeg van ~40% bij 30% openbaarmaking naar >80% bij 100%).
  • Dit daagt de aanname uit dat dringende risicosignalen altijd aan het begin van een dialoog verschijnen; in groepsgesprekken is bewijs vaak verdeeld over beurtwisselingen.
• Impliciete Signalen: Analyse toonde aan dat impliciete signalen 2,3x vaker voorkomen dan expliciete signalen in hoog-risico steekproeven, wat de noodzaak onderstreept van het modelleren van cultureel specifieke en evoluerende risicovormuleringen.

Betekenis en Claims

Het artikel claimt dat SuiChat-CN een kritieke kloof in zelfmoordrisico-evaluatie aanpakt door de focus te verschuiven van geïsoleerde posts naar contextuele, multi-party gesprekken.

• Realisme: De dataset weerspiegelt de werkelijke dynamiek van instant messaging, waarbij risico vaak impliciet en verdeeld is.
• Noodzaak van Context: De resultaten tonen aan dat betrouwbare vroege detectie in groepsgesprekken het modelleren van conversatiegeschiedenis vereist, niet alleen sleutelwoordmatching.
• Ethische Standpunt: Vanwege de gevoeligheid van de data wordt de dataset niet publiek vrijgegeven. Deze is alleen beschikbaar voor geaccrediteerde instellingen voor mentale gezondheid en zelfmoordpreventieonderzoek onder strikte data-gebruiksvoorwaarden om verantwoord gebruik te waarborgen en gebruikersprivacy te beschermen.
• Toekomstige Richting: Het werk benadrukt de behoefte aan systemen die capable zijn van continue monitoring en lang-contextmodelleren om effectief vertraagde of verdeelde risicosignalen in real-world IM-scenario's te identificeren.

De auteurs benadrukken dat hoewel huidige modellen veelbelovend zijn, de uitdagingen van vroege detectie in multi-party instellingen aanzienlijk blijven, met name voor de ernstigste risicocategorieën die vaak geaccumuleerd conversatiebewijs vereisen om correct te worden geïdentificeerd.