FigSIM: A Dataset for Fine-grained Suicide Severity and Figurative Language in Suicide Memes

Resumo Técnico: FigSIM: Um Conjunto de Dados para Análise Detalhada da Gravidade do Suicídio e Linguagem Figurativa em Memes de Suicídio

Problema
Memes de suicídio — postagens multimodais que combinam templates visuais com texto gerado pelo usuário para expressar pensamentos relacionados ao suicídio — são cada vez mais prevalentes nas redes sociais. Embora possam servir como mecanismos de enfrentamento, eles também representam riscos significativos, incluindo o potencial de desencadear angústia, ocultar a dor pessoal ou, inadvertidamente, incentivar o comportamento imitativo. As estratégias atuais de moderação de conteúdo e os sistemas de detecção automatizada enfrentam limitações críticas ao abordar este fenômeno. A pesquisa existente tem se concentrado amplamente na classificação binária (suicida vs. não suicida) usando texto ou imagens naturalistas, falhando frequentemente em capturar a natureza matizada, implícita e figurativa da comunicação por meio de memes. Além disso, há uma carência de conjuntos de dados anotados especificamente projetados para analisar a interseção entre linguagem figurativa (ex: metáforas, ironia) e a gravidade do suicídio em níveis detalhados dentro do formato de meme. Essa lacuna dificulta o desenvolvimento de frameworks de moderação sensíveis ao contexto, capazes de distinguir entre conteúdo prejudicial e expressões de apoio ou de enfrentamento.

Metodologia
Os autores apresentam o FigSIM, o primeiro conjunto de dados projetado para a análise detalhada de memes de suicídio. A metodologia abrange a construção do conjunto de dados, anotação e benchmarking extensivo.

• Coleta de Dados: O conjunto de dados compreende 1.049 memes coletados da comunidade Reddit r/SuicideMeme (abril de 2018 – dezembro de 2022). As imagens foram filtradas para garantir a legibilidade do texto em inglês via OCR e a remoção de duplicatas quase idênticas.
• Esquema de Anotação: Um framework de anotação multidimensional foi desenvolvido em consulta com psicólogos e pesquisadores de prevenção ao suicídio, fundamentado em escalas clínicas (Escala de Avaliação de Gravidade de Suicídio de Columbia) e diretrizes de mídia (#chatsafe, Mindframe). O esquema cobre cinco categorias:
  1. Fenômeno Figurativo: Detecção multilabel de Metáfora, Trocadilho/Duplo sentido e Ironia/Sarcasmo.
  2. Escala de Gravidade do Suicídio: Uma escala ordinal variando de "Nenhum" a "Desejo de morrer", "Ideação suicida", "Planejamento de suicídio", "Tentativas de suicídio" e "Morte por suicídio".
  3. Conteúdo Relacionado ao Suicídio: Detecção multilabel de representações estilizadas vs. naturalistas de métodos/locais, fatores de proteção, fatores de risco e descrições em terceira pessoa.
  4. Modalidade: Classificação como apenas texto, apenas imagem ou complementar (exige ambos).
  5. Contexto: Determinação de se o conhecimento externo é necessário para a interpretação.
• Processo de Anotação: Duas rodadas de anotação piloto refinaram o esquema. A anotação em larga escala foi realizada por dois anotadores independentes (um da psicologia e um da computação), com um terceiro atuando como adjudicador de divergências. A concordância entre anotadores (IAA) foi de substancial a quase perfeita para gravidade e conteúdo, mas moderada para fenômenos figurativos e contexto, refletindo a subjetividade inerente.
• Benchmarking: Os autores avaliaram 16 modelos unimodais e multimodais em três tarefas: detecção de linguagem figurativa, detecção de gravidade de suicídio e detecção de conteúdo relacionado ao suicídio. Os baselines incluíram modelos apenas de texto (BERT, MentalBERT, RoBERTa), apenas de imagem (ResNet-50, ViT, DINOv2) e modelos multimodais (CLIP, BLIP-2). Adicionalmente, vários Modelos de Linguagem de Grande Escala Multimodais (MLLMs) foram testados usando prompting zero-shot e few-shot, juntamente com modelos especializados em memes de saúde mental.

Principais Contribuições

1. Conjunto de Dados FigSIM: Um novo conjunto de dados detalhado de 1.049 memes de suicídio com anotações manuais para fenômenos figurativos, gravidade clínica do suicídio e tipos específicos de conteúdo.
2. Benchmark Abrangente: Uma avaliação sistemática de 16 modelos (20 configurações) através de arquiteturas unimodais e multimodais, estabelecendo baselines de desempenho para a análise de memes de suicídio.
3. Análise Empírica: Análise minuciosa das características do conjunto de dados, desempenho dos modelos e padrões de erro, destacando desafios específicos como a subprevisão de riscos de alta gravidade em contextos figurativos.

Resultos

• Desempenho dos Modelos: Modelos de Linguagem de Grande Escala Multimodais (MLLMs) superaram consistentemente os baselines unimodais. O modelo com melhor desempenho, Claude-sonnet-4-5 (zero-shot), alcançou pontuações macro-F1 de 70,21% para detecção de figuras de linguagem, 71,60% para gravidade de suicídio e 58,51% para conteúdo relacionado ao suicídio. MLLMs comerciais geralmente superaram seus equivalentes de código aberto.
• Insights de Modalidade: Modelos de linguagem superaram significativamente os modelos apenas de imagem, sugerindo que pistas linguísticas são primordiais para inferir a intenção de suicídio. No entanto, abordagens multimodais produziram os melhores resultados gerais.
• Análise de Erros:
  • Viés de Gravidade: Os modelos exibiram uma tendência de sobreprever categorias de menor gravidade (ex: "Nenhum", "Desejo de morrer") e subprever categorias de maior gravidade (ex: "Planejamento de suicídio", "Tentativas de suicídio/morte").
  • Impacto Figurativo: Este viés de subprevisão foi significativamente mais pronunciado para memes contendo linguagem figurativa, particularmente metáforas. Mesmo quando as pistas figurativas eram identificadas corretamente, os modelos tinham dificuldade em mapear expressões indiretas para os níveis de gravidade apropriados.
  • Contexto e Modalidade: Os modelos tiveram mais dificuldade com memes que exigiam contexto externo ou aqueles que dependiam de uma única modalidade (apenas texto ou apenas imagem), embora esses casos fossem menos frequentes no conjunto de dados.
• Análise de Moderação: A avaliação de ferramentas de moderação existentes (Azure AI, OpenAI, Llama-Guard) mostrou que, embora as taxas de sinalização aumentassem com a gravidade do suicídio, memes figurativos frequentemente recebiam pontuações de gravidade menores do que os não figurativos, indicando um possível ponto cego na moderação automatizada atual.

Significância e Alegações
O artigo postula que os memes de suicídio apresentam desafios únicos tanto para a modelagem quanto para a moderação de conteúdo devido à sua ambiguidade inerente, humor e dependência de linguagem figurativa. Os autores alegam que o FigSIM fornece uma base necessária para:

• Avançar a Pesquisa: Permitir o estudo da detecção de risco de suicídio detalhada além da classificação binária e da análise apenas de texto.
• Melhorar a Moderação: Informar o desenvolvimento de estratégias de moderação sensíveis ao contexto e específicas do domínio que possam distinguir melhor entre conteúdo prejudicial e mecanismos de enfrentamento.
• Abordar Lacunas: Destacar as limitações dos modelos atuais em interpretar expressões indiretas e a dificuldade específica de avaliar a gravidade quando a linguagem figurativa está presente.

Os autores mantêm uma postura modesta, reconhecendo que o conjunto de dados é derivado de uma única fonte (Reddit) e que as anotações refletem julgamentos interpretativos, não diagnósticos clínicos. Eles enfatizam que o conjunto de dados destina-se a apoiar a geração de hipóteses e a construção de evidências para uma comunicação online mais segura, e não para servir como uma ferramenta de diagnóstico. O trabalho ressalta a necessidade urgente de abordagens mais sutis para compreender e moderar o conteúdo relacionado ao suicídio no cenário em evolução dos memes nas redes sociais.