K-SENSE: A Knowledge-Guided Self-Augmented Encoder for Neuro-Semantic Evaluation of Mental Health Conditions on Social Media

Riassunto Tecnico: K-SENSE (Knowledge-Guided Self-Augmented Encoder)

1. Il Problema (Problem Statement)

Il rilevamento precoce di condizioni di salute mentale (come stress e depressione) attraverso i testi dei social media è una sfida aperta nella psichiatria computazionale. I modelli di Natural Language Processing (NLP) tradizionali incontrano tre ostacoli principali:

• Linguaggio figurato e implicito: Gli utenti raramente usano termini clinici; esprimono il disagio attraverso l'ironia, l'umorismo o descrizioni di eventi banali.
• Necessità di "Mentalizzazione": Per comprendere un post, è necessario inferire l'intento del parlante e le sue reazioni emotive, capacità che i modelli standard non possiedono esplicitamente.
• Rumore e Incoerenza: L'uso di modelli generativi per estrarre conoscenza esterna (come COMET) può introdurre "allucinazioni" o informazioni irrilevanti che confondono il classificatore.

2. Metodologia (Methodology)

Il framework proposto, K-SENSE, introduce un'architettura a tre passaggi (Triple-Pass) progettata per integrare la conoscenza commonsense con la robustezza delle rappresentazioni interne.

• Passaggio 1: Estrazione della Conoscenza (Knowledge Extraction): Utilizza il modello COMET per generare inferenze su cinque dimensioni dello stato mentale (intento del parlante, reazione emotiva, bisogni, reazione degli altri ed effetto sugli altri). Queste inferenze vengono codificate tramite MiniLM-L6-v2.
• Passaggio 2: Codifica Semantica Standard: Il post viene elaborato tramite MentalRoBERTa-base per ottenere una rappresentazione semantica iniziale.
• Passaggio 3: Ancora Semantica Auto-Aumentata (Self-Augmented Semantic Anchor): Viene eseguito un secondo passaggio indipendente attraverso MentalRoBERTa con una maschera di dropout differente. La somma di queste due passate crea un' "ancora semantica" più stabile, che riduce il rumore indotto dal dropout e funge da query per l'attenzione.

Componenti Chiave dell'Architettura:

• Cross-Space Projection: Poiché i due encoder (MiniLM e MentalRoBERTa) operano in spazi geometrici diversi, viene introdotta una proiezione lineare appresa per allineare le rappresentazioni prima della fusione.
• Integrazione Temporale via GRU: Invece di una semplice media, le informazioni della conoscenza vengono elaborate da una rete GRU per catturare la traiettoria emotiva (es. l'escalation della frustrazione) attraverso le frasi del post.
• Supervised Contrastive Learning (SCL): Viene applicata una funzione di perdita contrastiva supervisionata per migliorare la separabilità delle classi nello spazio delle rappresentazioni, rendendo i cluster di "stress" e "non-stress" più distinti.

3. Contributi Principali (Key Contributions)

1. Integrazione Unificata: Un framework che combina la conoscenza commonsense esterna con l'auto-aumento interno per compensare rispettivamente il rumore della conoscenza e la varianza del testo.
2. Meccanismo di Filtraggio della Conoscenza: Utilizzando l'ancora semantica come query di attenzione, il modello impara a dare meno peso alle inferenze di COMET che sono incoerenti con il contenuto semantico del post.
3. Architettura Triple-Pass con Proiezione: Risolve il problema dell'incompatibilità dimensionale tra encoder di conoscenza e encoder semantici.
4. Validazione Quantitativa: Dimostrazione che l'apprendimento contrastivo migliora significativamente la qualità dei cluster (misurata tramite Silhouette Score e Davies-Bouldin Index).

4. Risultati (Results)

Il modello è stato valutato su due dataset: Dreaddit (stress) e Depression_Mixed (depressione).

Conclusioni degli esperimenti di ablazione:

• La proiezione dello spazio è fondamentale: senza di essa, l'aggiunta di conoscenza peggiora le prestazioni.
• Mantenere l'encoder della conoscenza (MiniLM) congelato è preferibile al fine-tuning, che causa overfitting su dataset piccoli.
• L'integrazione tramite GRU supera il semplice mean-pooling, confermando l'importanza della sequenzialità emotiva.

5. Significato e Implicazioni (Significance)

K-SENSE dimostra che l'integrazione della conoscenza psicologica non deve essere "naïve". Il contributo scientifico risiede nella capacità di utilizzare la robustezza del modello linguistico per filtrare il rumore proveniente da modelli generativi esterni. Sebbene l'autore sottolinei i limiti legati alla dimensione ridotta dei dataset e alla necessità di validazione clinica reale, il lavoro fornisce una base metodologica solida per lo sviluppo di sistemi di sorveglianza passiva della salute mentale più affidabili e meno sensibili alle variazioni superficiali del linguaggio.