STEMTOX: From Social Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

Resumo Técnico: STEMTOX – De Tags Sociais à Detecção de Memes Tóxicos de Alta Granularidade via Aprendizado Multi-Tarefa Guiado por Entropia

1. Declaração do Problema

Os memes evoluíram de humor leve para veículos potentes de disseminação de conteúdo prejudicial, incluindo discurso de ódio, desinformação e ideologias tóxicas. Detectar esse conteúdo é um desafio único devido à natureza sutil e dependente do contexto dos memes, que frequentemente dependem de referências culturais, sarcasmo e linguagem codificada. Embora os Modelos Visão-Linguagem (VLMs) tenham surgido como ferramentas poderosas para moderação de conteúdo, estudos recentes indicam que eles lutam para detectar memes de ódio com precisão, especialmente quando carecem de compreensão contextual profunda.

Um gargalo crítico no avanço desse campo é a escassez de dados. Os conjuntos de dados existentes são frequentemente curados manualmente com escopo limitado (focando em eventos ou alvos específicos), carecem de rótulos de toxicidade de alta granularidade além da classificação binária e frequentemente omitem metadados auxiliares (como tags sociais) que fornecem contexto crucial. Além disso, as abordagens atuais frequentemente falham em aproveitar a riqueza semântica das tags sociais para guiar a classificação, resultando em lacunas de desempenho na detecção robusta de toxicidade.

2. Metodologia

A. O Conjunto de Dados TOXICTAGS
Para abordar as limitações de dados, os autores introduzem o TOXICTAGS, um conjunto de dados novo, diversificado e do mundo real, composto por 6.300 postagens baseadas em memes obtidas do Imgflip. Diferentemente de conjuntos de dados anteriores, o TOXICTAGS é independente de eventos e enriquecido com metadados auxiliares, incluindo títulos e tags socialmente relevantes.

O conjunto de dados é construído através de um pipeline de anotação humana rigoroso em duas etapas:

• Etapa I (Classificação Binária): Os memes são classificados como tóxicos ou normais.
• Etapa II (Classificação de Alta Granularidade): Os memes tóxicos são further categorizados em três classes nuances: odiosos, perigosos ou ofensivos.
• Anotação de Tags: Cada postagem é anotada com um conjunto de tags sociais que contextualizam o meme. O conjunto de dados inclui 7.209 tags únicas após a filtragem de ruído.
• Controle de Qualidade: O processo envolveu 25 anotadores, com três anotações independentes por amostra para minimizar viés. As pontuações finais de concordância entre anotadores foram 0,753 (Etapa I) e 0,793 (Etapa II), medidas pelo $\kappa$ de Fleiss.

B. O Framework STEMTOX
Os autores propõem o STEMTOX, um novo framework de aprendizado multi-tarefa guiado por entropia projetado para realizar conjuntamente a classificação de memes tóxicos e a geração de tags fundamentadas socialmente.

• Arquitetura: O STEMTOX utiliza uma espinha dorsal multimodal de VLM (testada com PALIGEMMA e LLAVA) que processa entradas de imagem e texto.
• Seleção de Camadas Guiada por Entropia: Em vez de confiar apenas na camada oculta final, o STEMTOX seleciona dinamicamente os embeddings de tokens mais confiantes através das camadas intermediárias. Ele calcula a entropia de Shannon das representações de tokens em cada camada $l$. A camada com a entropia mínima (maior confiança) é selecionada para formar a representação de sequência efetiva ($h_{eff}$). Esse mecanismo permite que o modelo extraia características das representações internas mais certas, mitigando o desvio representacional frequentemente observado nas camadas terminais.
• Objetivo Multi-Tarefa: O framework é treinado com uma função de perda combinada:
  $$L_{total} = L_{gen} + L_{cls}$$
  Onde $L_{gen}$ é a perda generativa para prever tags sociais e $L_{cls}$ é a perda de classificação para detecção de toxicidade. A tarefa generativa atua como um regularizador semântico, moldando o espaço de representação compartilhado para ser mais discriminativo para a classificação de toxicidade.
• Estratégia de Treinamento: O modelo emprega adaptadores LoRA para ajuste fino eficiente e utiliza entropia cruzada ponderada para lidar com o desequilíbrio de classes.

3. Contribuições Principais

1. Conjunto de Dados TOXICTAGS: O primeiro conjunto de dados de memes do mundo real com rótulos de toxicidade de alta granularidade (odiosos, perigosos, ofensivos, normais) juntamente com tags sociais ricas e anotadas por humanos. Ele vai além do paradigma binário tradicional tóxico/normal.
2. Pipeline de Anotação em Duas Etapas: Um processo validado que reduz erros de anotação e captura a nuance da toxicidade dos memes, demonstrando que uma taxonomia de quatro classes é eficaz para moderação.
3. Framework STEMTOX: Uma arquitetura multi-tarefa nova que integra a geração de tags com a classificação de toxicidade. Introduz um mecanismo guiado por entropia para selecionar representações de camadas ótimas, melhorando significativamente o desempenho de classificação ao aproveitar a supervisão semântica da geração de tags.
4. Validação Empírica: Avaliação abrangente mostrando que a incorporação de tags contextuais e o uso de seleção guiada por entropia melhoram substancialmente o desempenho dos VLMs de última geração.

4. Resultados Experimentais

Desempenho no TOXICTAGS:

• Detecção de Toxicidade: O STEMTOX com aprendizado multi-tarefa superou consistentemente as bases de referência de tarefa única. Usando a espinha dorsal PALIGEMMA, o STEMTOX alcançou uma pontuação Macro-F1 de 72,55 para a Etapa I e 64,66 para a Etapa II. Isso representa uma melhoria significativa em relação ao treinamento de tarefa única (60,85 e 42,78, respectivamente).
• Comparação com Bases de Referência: O STEMTOX superou configurações poderosas de few-shot GPT-4O (onde exemplos foram selecionados com base na similaridade de tags) e modelos que dependem de características da Última Camada Oculta (LHL).
• Geração de Tags: Em termos de qualidade de geração de tags (medida por chrF, METEOR e Similaridade Semântica), o STEMTOX (PALIGEMMA) alcançou pontuações de 0,4872, 0,265 e 0,626, respectivamente. Isso superou significativamente geradores de tags de última geração como RAM++ e TAG2TEXT, que lutaram para capturar o contexto social implícito e o vocabulário específico de memes.

Generalização:

• O framework foi testado em dois conjuntos de dados de benchmark externos, FHM (Hateful Memes) e MAMI (Misogynistic Memes), que carecem de tags nativas. As tags foram inferidas usando um modelo ajustado finamente no TOXICTAGS.
• O STEMTOX alcançou resultados superiores nesses benchmarks em comparação com cinco bases de referência concorrentes (PromptHate, ProCap, ModHate, Few-Shot, M2KE), atingindo um Macro-F1 de 78,11 no FHM e 79,67 no MAMI.

Análise de Erros:

• A análise revelou que os modelos lutam mais com as categorias "ofensivas" (maior incerteza) e tags específicas relacionadas a humor/gíria (para PALIGEMMA) ou morte/religião (para LLAVA).
• A seleção guiada por entropia foi encontrada como crucial, pois os modelos que dependem da camada final (LHL) mostraram desempenho inferior.

5. Significado e Alegações

O artigo afirma que o STEMTOX oferece uma fundação nova e escalável para moderação de conteúdo aprimorada em ambientes online multimodais. Ao introduzir um conjunto de dados enriquecido com tags sociais e um framework que aproveita essas tags através do aprendizado multi-tarefa, os autores demonstram que:

• O Contexto é Fundamental: Metadados auxiliares (tags) não são meramente suplementares, mas essenciais para detecção robusta de toxicidade.
• Supervisão Generativa: Usar uma tarefa generativa (tagging) para supervisionar uma tarefa discriminativa (classificação) leva a representações internas mais ricas e significativas.
• Orientação por Entropia: Selecionar dinamicamente representações com base na confiança (entropia mínima) é uma estratégia mais eficaz do que confiar em camadas terminais fixas para tarefas multimodais complexas.

Os autores posicionam este trabalho como um passo rumo à construção de sistemas de moderação mais precisos, conscientes do contexto e socialmente responsáveis, abordando a lacuna entre as capacidades atuais dos VLMs e a realidade nuances do discurso de ódio online.

6. Limitações

Os autores reconhecem várias limitações:

• Modalidade: O conjunto de dados e o framework são atualmente limitados a memes baseados em imagem, excluindo formatos de vídeo e áudio.
• Impacto Psicológico: O estudo não examina o impacto psicológico ou emocional de memes de ódio nos espectadores.
• Consequências do Mundo Real: A ligação entre toxicidade online e violência ou comportamento criminoso offline não é investigada.