Resumen Técnico: SuiChat-CN

Enunciado del Problema

El suicidio sigue siendo un desafío crítico de salud pública global, que requiere estrategias de prevención oportunas y efectivas. Si bien la investigación computacional ha avanzado en la detección de riesgo de suicidio en plataformas de redes sociales basadas en publicaciones (por ejemplo, Twitter, Weibo), estos enfoques se basan en el análisis de mensajes aislados. Este paradigma es insuficiente para entornos de mensajería instantánea (MI) como los chats grupales de Telegram, que exhiben propiedades lingüísticas e interaccionales distintas:

• Fragmentación y Brevedad: Los mensajes son cortos y a menudo carecen de contexto independiente.
• Dinámicas Multiparte: Las conversaciones involucran a múltiples participantes, lo que requiere el seguimiento de la toma de turnos y los roles de los hablantes.
• Matices Implícitos y Culturales: Las señales de riesgo a menudo dependen de metáforas, homófonos, jerga o eufemismos culturalmente específicos en lugar de palabras clave explícitas.
• Dependencia del Contexto: Como se ilustra en el artículo, un mensaje que parece benigno en aislamiento (por ejemplo, "sal") puede indicar un alto riesgo (uso de drogas) cuando se observa dentro del historial conversacional.

Los conjuntos de datos existentes carecen de la granularidad para modelar estas dinámicas de múltiples turnos y dependientes del contexto, particularmente para el idioma chino.

Metodología

Los autores presentan SuiChat-CN, un conjunto de datos de referencia y una tubería de construcción diseñados específicamente para la evaluación de riesgo de suicidio contextual en chats grupales chinos.

1. Tubería de Construcción del Conjunto de Datos

La construcción sigue una tubería de cuatro etapas (Figura 3):

• Recopilación de Datos: Se obtuvieron registros en bruto de 20 grupos públicos chinos relacionados con el suicidio en Telegram (enero de 2020 – junio de 2025). Los datos se anonimizaron mediante hash SHA-256 para eliminar los identificadores de usuario/grupo.
• Extracción de Palabras Señal: Se construyó un léxico jerárquico de 3.508 palabras señal, que abarca tanto términos explícitos (por ejemplo, menciones directas de suicidio) como señales implícitas (por ejemplo, jerga de internet, homófonos, metáforas). Un LLM (GLM4-32B) ayudó a extraer candidatos implícitos, que luego fueron validados por expertos en psicología.
• Expansión del Contexto: Se aplicó un algoritmo de expansión de contexto bidireccional a mensajes sospechosos. Centrado en un mensaje semilla, el algoritmo se expande hacia atrás y hacia adelante basándose en restricciones de brechas temporales (MTS), tamaño de segmento (SS) y rango (STS). También recupera mensajes históricos referenciados mediante enlaces de respuesta para preservar la coherencia conversacional.
• Anotación: Se utilizó un proceso riguroso de dos etapas que involucró anotación piloto y anotación principal.
  • Taxonomía: Se definió una taxonomía de riesgo de seis clases, adaptada de la Escala de Evaluación de la Gravedad del Suicidio de Columbia (C-SSRS):
    1. Irrelevante (Sin riesgo)
    2. Emoción Depresiva
    3. Ideación Suicida
    4. Método/Comportamiento de Suicidio
    5. Intento de Suicidio
    6. Inducción al Suicidio/Agresión Verbal
  • Control de Calidad: Se utilizaron expertos humanos y un sistema de votación multi-modelo (17 LLM) para generar etiquetas "plata". Se requirió consenso ($\rho \ge 2/3$) para la aceptación, con arbitraje humano para desacuerdos.

2. Marco de Evaluación

Los autores evaluaron más de 40 modelos, incluidos LLM propietarios basados en API (por ejemplo, GPT-5, Gemini, Kimi) y modelos de peso abierto (por ejemplo, Llama, Qwen, DeepSeek), junto con PLM.

• Escenarios: Zero-shot, Few-shot (con ejemplos de expertos), Few-shot con palabras clave enmascaradas y Few-shot con contexto eliminado.
• Divulgación Parcial: Se realizaron experimentos donde solo era visible el primer $\tau \in \{30, 50, 70, 90, 100\}\%$ de una conversación para simular la detección en tiempo real de transmisión.
• Ajuste Fino: Modelos seleccionados se ajustaron finamente en el conjunto de datos para evaluar las ganancias de rendimiento.

Contribuciones Clave

1. Conjunto de Datos SuiChat-CN: Un conjunto de referencia que contiene 13.312 segmentos contextuales derivados de 258.228 mensajes en bruto de 1.406 usuarios. Es el primer conjunto de datos que se centra específicamente en la naturaleza multiparte y dependiente del contexto del riesgo de suicidio en chats grupales chinos.
2. Tubería de Construcción: Una metodología novedosa que combina el descubrimiento de palabras señal, la validación de expertos y la expansión de contexto bidireccional para transformar registros de chat fragmentados en unidades coherentes de evaluación de riesgo.
3. Evaluación Exhaustiva: Evaluación extensa de PLM y más de 40 LLM en diversos entornos (prompts, ablación, ajuste fino y contexto parcial) para establecer líneas base para este dominio específico.
4. Diseño de Taxonomía: Una taxonomía de riesgo de seis clases que equilibra la interpretabilidad clínica con las necesidades prácticas de la supervisión de chats grupales, abarcando el espectro completo desde contenido irrelevante hasta inducción activa.

Resultados Clave

• El Contexto es Crítico: Eliminar el contexto conversacional o enmascarar palabras clave degradó universalmente el rendimiento del modelo. Los modelos que dependen únicamente de mensajes aislados no lograron capturar señales de riesgo implícitas.
• Rendimiento del Modelo:
  • Los modelos propietarios (por ejemplo, Gemini-2.5-Pro, Seed-OSS-36B, Kimi-K2) generalmente superaron a los modelos de peso abierto, alcanzando puntuaciones F1 superiores al 70% en configuraciones few-shot.
  • Entre los modelos de peso abierto, DeepSeek-R1 y Llama-3.3-70B se acercaron al rendimiento de sistemas propietarios de nivel medio.
  • El ajuste fino mejoró significativamente los modelos de peso abierto (por ejemplo, Llama-3-8B vio una ganancia de +59.4 puntos F1), reduciendo la brecha con los sistemas propietarios, aunque no pudo compensar completamente la falta de contexto.
• Hallazgos de Divulgación Parcial:
  • Las señales de alto riesgo (específicamente Intento de Suicidio, Clase 4) a menudo estaban retrasadas en la conversación. Los modelos tuvieron dificultades para detectar estos riesgos cuando solo era visible el primer 30% del diálogo.
  • La precisión para las clases de alto riesgo mejoró significativamente a medida que se revelaba más contexto (por ejemplo, la precisión L4 para algunos modelos saltó de ~40% al 30% de divulgación a >80% al 100%).
  • Esto desafía la suposición de que las señales de riesgo urgentes siempre aparecen al principio de un diálogo; en los chats grupales, la evidencia a menudo se distribuye a lo largo de los turnos.
• Señales Implícitas: El análisis mostró que las señales implícitas aparecen 2,3 veces más frecuentemente que las señales explícitas en muestras de alto riesgo, destacando la necesidad de modelar expresiones de riesgo culturalmente específicas y en evolución.

Significado y Afirmaciones

El artículo afirma que SuiChat-CN aborda una brecha crítica en la evaluación del riesgo de suicidio al cambiar el enfoque de publicaciones aisladas a conversaciones contextuales y multiparte.

• Realismo: El conjunto de datos refleja las dinámicas reales de la mensajería instantánea, donde el riesgo a menudo es implícito y distribuido.
• Necesidad de Contexto: Los resultados demuestran que la detección temprana confiable en chats grupales requiere modelar el historial conversacional, no solo la coincidencia de palabras clave.
• Postura Ética: Debido a la sensibilidad de los datos, el conjunto de datos no se publica. Está disponible únicamente para instituciones acreditadas de investigación en salud mental y prevención del suicidio bajo estrictos acuerdos de uso de datos para garantizar un uso responsable y proteger la privacidad del usuario.
• Dirección Futura: El trabajo subraya la necesidad de sistemas capaces de monitoreo continuo y modelado de contexto largo para identificar efectivamente señales de riesgo retrasadas o distribuidas en escenarios reales de MI.

Los autores enfatizan que, aunque los modelos actuales muestran promesas, los desafíos de la detección temprana en entornos multiparte siguen siendo significativos, particularmente para las categorías de riesgo más graves que a menudo requieren evidencia conversacional acumulada para ser identificadas correctamente.