FigSIM: A Dataset for Fine-grained Suicide Severity and Figurative Language in Suicide Memes

Resumen Técnico: FigSIM: Un conjunto de datos para la detección de la severidad del suicidio y el lenguaje figurado en memes de suicidio

Planteamiento del Problema
Los memes de suicidio —publicaciones multimodales que combinan plantillas visuales con texto generado por el usuario para expresar pensamientos relacionados con el suicidio— son cada vez más prevalentes en las redes sociales. Si bien pueden servir como mecanismos de afrontamiento, también plantean riesgos significativos, incluyendo el potencial de desencadenar angustia, ocultar el dolor personal o fomentar inadvertidamente un comportamiento imitativo. Las estrategias actuales de moderación de contenido y los sistemas de detección automatizados enfrentan limitaciones críticas para abordar este fenómeno. La investigación existente se ha centrado mayoritariamente en la clasificación binaria (suicida vs. no suicida) utilizando texto o imágenes naturalistas, fallando a menudo al capturar la naturaleza matizada, implícita y figurada de la comunicación mediante memes. Además, existe una falta de conjuntos de datos anotados diseñados específicamente para analizar la intersección del lenguaje figurado (por ejemplo, metáforas, ironía) y la severidad del suicidio con un nivel de detalle fino dentro del formato de meme. Esta brecha dificulta el desarrollo de marcos de moderación conscientes del contexto capaces de distinguir entre el contenido dañino y la expresión de apoyo o de afrontamiento.

Metodología
Los autores presentan FigSIM, el primer conjunto de datos diseñado para el análisis detallado de los memes de suicidio. La metodología abarca la construcción del conjunto de datos, la anotación y un exhaustivo benchmarking.

• Recopilación de Datos: El conjunto de datos comprende 1,049 memes recopilados de la comunidad de Reddit r/SuicideMeme (abril de 2018 – diciembre de 2022). Las imágenes fueron filtradas para asegurar la legibilidad del texto en inglés mediante OCR y la eliminación de duplicados cercanos.
• Esquema de Anotación: Se desarrolló un marco de anotación multidimensional en consulta con psicólogos e investigadores de prevención del suicidio, basado en escalas clínicas (Escala de Calificación de la Gravedad del Suicidio de Columbia) y directrices de medios (#chatsafe, Mindframe). El esquema cubre cinco categorías:
  1. Fenómeno Figurativo: Detección multietiqueta de Metáfora, Juego de palabras/Doble sentido e Ironía/Sarcasmo.
  2. Escala de Severidad del Suicidio: Una escala ordinal que va desde "Ninguno" hasta "Deseo de morir", "Ideación suicida", "Planificación del suicidio", "Intentos de suicidio" y "Muerte por suicidio".
  3. Contenido Relacionado con el Suicidio: Detección multietiqueta de representaciones estilizadas vs. naturalistas de métodos/lugares, factores protectores, factores de riesgo y descripciones en tercera persona.
  4. Modalidad: Clasificación como solo texto, solo imagen o complementaria (requiere ambas).
  5. Contexto: Determinación de si se requiere conocimiento externo para la interpretación.
• Proceso de Anotación: Dos rondas de anotación piloto refinaron el esquema. La anotación a gran escala fue realizada por dos anotadores independientes (uno de psicología y uno de computación), con un tercero que adjudicó los desacuerdos. El acuerdo entre anotadores (IAA) fue sustancial a casi perfecto para la severidad y el contenido, pero moderado para los fenómenos figurados y el contexto, lo que refleja la subjetividad inherente.
• Benchmarking: Los autores evaluaron 16 modelos unimodales y multimodales a través de tres tareas: detección de lenguaje figurado, detección de la severidad del suicidio y detección de contenido relacionado con el suicidio. Los modelos de referencia incluyeron modelos solo de texto (BERT, MentalBERT, RoBERTa), solo de imagen (ResNet-50, ViT, DINOv2) y modelos multimodales (CLIP, BLIP-2). Adicionalmente, se probaron varios Modelos de Lenguaje Grande Multimodales (MLLM) utilizando prompting de cero disparos (zero-shot) y de pocos disparos (few-shot), junto con modelos especializados en memes de salud mental.

Contribuciones Clave

1. Conjunto de Datos FigSIM: Un novedoso conjunto de datos detallado de 1,049 memes de suicidio con anotaciones manuales para fenómenos figurados, severidad clínica del suicidio y tipos de contenido específicos.
2. Benchmarking Exhaustivo: Una evaluación sistemática de 16 modelos (20 configuraciones) a través de arquitecturas unimodales y multimodales, estableciendo líneas de base de rendimiento para el análisis de memes de suicidio.
3. Análisis Empírico: Análisis exhaustivo de las características del conjunto de datos, el rendimiento de los modelos y los patrones de error, resaltando desafíos específicos como la subpredicción de riesgos de alta severidad en contextos figurados.

Resultados

• Rendimiento de los Modelos: Los Modelos de Lenguaje Grande Multimodales (MLLM) superaron consistentemente a los modelos de base unimodales. El modelo con mejor rendimiento, Claude-sonnet-4-5 (zero-shot), alcanzó puntuaciones macro-F1 de 70.21% para la detección de lenguaje figurado, 71.60% para la severidad del suicidio y 58.51% para el contenido relacionado con el suicidio. Los MLLM comerciales superaron generalmente a sus contrapartes de código abierto.
• Perspectivas de Modalidad: Los modelos de lenguaje superaron significativamente a los modelos solo de imagen, lo que sugiere que las pistas lingüísticas son primordiales para inferir la intención suicida. Sin embargo, los enfoques multimodales arrojaron los mejores resultados generales.
• Análisis de Errores:
  • Sesgo de Severidad: Los modelos mostraron una tendencia a sobrepredecir categorías de menor severidad (por ejemplo, "Ninguno", "Deseo de morir") y subpredecir categorías de mayor severidad (por ejemplo, "Planificación del suicidio", "Intentos de suicidio/muerte").
  • Impacto Figurativo: Este sesgo de subpredicción fue significativamente más pronunciado en memes que contenían lenguaje figurado, particularmente metáforas. Incluso cuando las pistas figuradas se identificaban correctamente, los modelos tenían dificultades para mapear las expresiones indirectas con los niveles de severidad apropiados.
  • Contexto y Modalidad: Los modelos tuvieron más dificultades con memes que requerían contexto externo o aquellos que dependían de una sola modalidad (solo texto o solo imagen), aunque estos casos eran menos frecuentes en el conjunto de datos.
• Análisis de Moderación: La evaluación de las herramientas de moderación existentes (Azure AI, OpenAI, Llama-Guard) mostró que, si bien las tasas de marcado aumentaron con la severidad del suicidio, los memes figurados a menudo recibieron puntuaciones de severidad más bajas que los no figurados, lo que indica un posible punto ciego en la moderación automatizada actual.

Significancia y Reivindicaciones
El artículo postula que los memes de suicidio presentan desafíos únicos tanto para el modelado como para la moderación de contenido debido a su inherente ambigüedad, humor y dependencia del lenguaje figurado. Los autores afirman que FigSIM proporciona una base necesaria para:

• Avanzar en la Investigación: Permitir el estudio de la detección de riesgo de suicidio de grano fino más allá de la clasificación binaria y el análisis de solo texto.
• Mejorar la Moderación: Informar el desarrollo de estrategias de moderación conscientes del contexto y específicas del dominio que puedan distinguir mejor entre el contenido dañino y los mecanismos de afrontamiento.
• Abordar Brechas: Resaltar las limitaciones de los modelos actuales para interpretar expresiones indirectas y la dificultad específica de evaluar la severidad cuando el lenguaje figurado está presente.

Los autores mantienen una postura modesta, reconociendo que el conjunto de datos deriva de una única fuente (Reddit) y que las anotaciones reflejan juicios interpretativos en lugar de diagnósticos clínicos. Enfatizan que el conjunto de datos está destinado a apoyar la generación de hipótesis y la construcción de evidencia para una comunicación en línea más segura, en lugar de servir como una herramienta de diagnóstico. El trabajo subraya la necesidad urgente de enfoques más matizados para comprender y moderar el contenido relacionado con el suicidio en el panorama evolutivo de los memes en las redes sociales.