Technische Samenvatting: Analyse van de Representatie van Zelfbeschadiging in Taal Modellen

Probleemstelling

De detectie van zelfbeschadigingscontent op sociale media is een taak met een hoog belang, die een hoge nauwkeurigheid vereist om tijdige interventie en het signaleren van risicovolle gebruikers te faciliteren. Hoewel geautomatiseerde detectiesystemen gebruikmakend van LSTMs, BERT-gebaseerde transformers en LLM's zijn ontwikkeld voor contentmoderatie en mentale gezondheidsmonitoring, blijft er een aanzienlijke kloof bestaan in het begrip van de interne mechanica van deze modellen. Specifiek is er beperkte kennis over:

• Waar zelfbeschadigingsconcepten in het netwerk "kristalliseren".
• De geometrische stabiliteit van deze representaties over de lagen heen.
• Of de structurele representatie van zelfbeschadiging consistent is over verschillende architecturen en schalen.

De auteurs stellen dat het begrijpen van deze interne representaties cruciaal is voor het bouwen van veiligere systemen die verder gaan dan prompt engineering door expliciete, testbare componenten op te nemen voor interventie en governance.

Methodologie

De studie maakt gebruik van een cross-architectuur analyse met twee datasets en vier instructie-getunede transformer-modellen.

Datasets:

1. X-Sensitive (X-S): Een multi-label corpus van Engelse sociale mediaberichten geannoteerd voor zes categorieën. De auteurs extraheerden 200 zelfbeschadiging-positieve berichten en 200 controleberichten (alle categorieën nul).
2. SH-Detection (SH-D): Een binaire dataset waarbij zelfbeschadigingsberichten als "zelfbeschadiging" zijn gelabeld en alle andere als controles dienen. Een gebalanceerde dataset van 600 berichten werd gesampled.
   Preprocessing omvatte het verwijderen van berichten onder de 20 tekens, het strippen van URL's, het samenvoegen van witruimte en het anonimiseren van vermeldingen.

Modellen:
Vier instructie-getunede transformers werden geanalyseerd:

• Qwen3-0.6B (0,6 miljard parameters, 28 lagen)
• Llama 3.2-1B-Instruct (1 miljard parameters, 16 lagen)
• Llama 3.2-3B-Instruct (3 miljard parameters, 28 lagen)
• Gemma-3-4B-it (4 miljard parameters, 34 lagen)

Experimentele Opzet:

1. Laag-gewijze Probing: Voor elke laag $\ell$ extraheerden de auteurs de activaties van de laatste token in de residual stream ($a_\ell$). Ze trainden een $\ell_2$-geregulariseerde logistische regressie-probe (lineaire classifier) met behulp van 5-voudige gestratificeerde cross-validatie. De primaire metriek was de gemiddelde ROC-AUC, gerapporteerd zonder voorafgaande normalisatie van de activaties.
2. Contrastieve Richtingsanalyse: Volgens Zou et al. (2023) berekenden de auteurs een contrastieve zelfbeschadigingsrichtingsvector $d_\ell$ voor elke laag als het genormaliseerde verschil tussen de gemiddelde activaties van zelfbeschadigingsberichten ($\bar{a}^+$) en controleberichten ($\bar{a}^-$).
   • Scheidbaarheid: Gemeten met Cohen's $d$ op de scalaire projecties van berichten op $d_\ell$ bij de laag met de beste scheidbaarheid.
   • Stabiliteit: Beoordeeld via een $L \times L$ paarwijze cosinus-gelijkenis matrix van richtingsvectoren over de lagen om te bepalen of de richting consistent blijft of roteert door de netwerkdiepte.

Belangrijkste Resultaten

1. Kristallisatie van Zelfbeschadigingsconcepten
Over alle vier de modellen en beide datasets kristalliseert zelfbeschadigingsinformatie consistent in de laatste 3–7% van de netwerklagen (93% tot 97% diepte).

• Prestaties: Op de SH-Detection dataset bereikten alle modellen een hoge prestatie (AUC 0,923 tot 0,972) met een lagere variantie vergeleken met X-Sensitive. Op X-Sensitive was de prestatie lager (AUC 0,703 tot 0,817), waarschijnlijk door de aanwezigheid van figuurlijk taalgebruik en subtielere negatieve voorbeelden in die corpus.
• Foutanalyse: Foutieve negatieven (false negatives) betroffen vaak figuurlijk/metaforisch taalgebruik of contexten in de derde persoon. Foutieve positieven (false positives) waren frequent berichten over mentale gezondheidsbelangenbehartiging of contentwaarschuwingen die crisis-gerelateerde vocabulaire gebruikten zonder eerste-persoons nood te communiceren.

2. Geometrische Scheidbaarheid vs. Classificatienauwkeurigheid
Een cruciale bevinding is dat de meest nauwkeurige lineaire probes niet noodzakelijkerwijs de meest lineair scheidbare zijn in termen van gemiddelde-verschil-richtingen.

• Gemma-3-4B Anomalie: Gemma-3-4B behaalde de hoogste probe AUC op X-Sensitive (0,817) maar de laagste Cohen's $d$ (0,71) onder de modellen.
• Interpretatie: De auteurs suggereren dat het zelfbeschadigingssignaal van Gemma niet geconcentreerd is in één enkele richting, maar verdeeld is over de activatieruimte. Een lineaire probe kan een hypervlak vinden dat deze verdeelde signalen exploiteert, terwijl een eenvoudige gemiddelde-verschil-richting (Cohen's $d$) de volledere scheiding niet kan vatten.
• Divergentie: In Llama 3.2-3B piekte de contrastieve richting in scheidbaarheid (Cohen's $d$) bij laag 14, ruim vóór de laatste lagen waar de probe AUC bleef stijgen, wat aangeeft dat richtingen in het midden van het netwerk krachtig kunnen zijn maar onvoldoende zijn voor nauwkeurige classificatie op zichzelf.

3. Directionale Stabiliteit
De zelfbeschadigings-contrastieve richting is niet stabiel over de netwerkdiepte.

• Blokdiagonaal Structuur: Naburige lagen vertonen een hoge uitlijning (cosinus-gelijkenis 0,76–0,92), maar richtingen uit het eerste en laatste derde deel van het netwerk zijn bijna orthogonaal (cosinus-gelijkenis 0,14–0,38).
• Implicatie: Het zelfbeschadigingsconcept wordt dynamisch opnieuw gerepresenteerd terwijl het door het netwerk beweegt; een richting geëxtraheerd in een vroege laag wordt niet overgedragen naar latere lagen. Gemma-3-4B vertoonde de laagste cross-laag cosinus-gelijkenis (0,135) op SH-D.

Betekenis en Claims

Het artikel claimt dat de bevindingen de weg vrijmaken voor effectievere interventiestrategieën door de interne geometrie van veiligheidsrelevante embeddings te onthullen. Specifiek:

• Representatie Engineering: De studie ondersteunt het gebruik van representatie engineering om de interne werking van modellen te begrijpen, bewegend van black-box detectie naar expliciete, testbare componenten.
• Architectuurverschillen: De resultaten benadrukken dat verschillende modellen (bijv. Gemma versus Llama) hetzelfde veiligheidsconcept (zelfbeschadiging) op structureel verschillende manieren kunnen representeren (geconcentreerde versus verdeelde signalen), wat implicaties heeft voor hoe veiligheidsmechanismen specifiek op bepaalde architecturen moeten worden afgestemd.
• Impact van Datakwaliteit: De systematische prestatiekloof tussen de X-Sensitive en SH-Detection datasets suggereert dat de kwaliteit van de labeling en de samenstelling van de corpus de representatieve kwaliteit aanzienlijk beïnvloeden, een factor die bij het trainen of evalueren van veiligheidsmodellen in overweging moet worden genomen.

De auteurs concluderen dat hoewel zelfbeschadigingsconcepten consistent kristalliseren in de late lagen, de geometrische aard van deze representaties complex en model-specifiek is, wat de aanname uitdaagt dat er een enkele, stabiele "veiligheidsrichting" bestaat over alle lagen en architecturen heen.