AHA-Memes: A Fine-Grained Multimodal Benchmark for Understanding Hate in Arabic Memes

Resumo Técnico: AHA-MEMES

Declaração do Problema

Memes de ódio representam uma forma crescente de dano online multimodal, onde a intenção hostil é transmitida através da interpretação conjunta de imagens, texto, referências culturais e alvos implícitos. Enquanto a detecção de memes de ódio avançou em línguas de altos recursos, o árabe permanece significativamente subexplorado. Os recursos existentes para conteúdo multimodal em árabe concentram-se primariamente na detecção de propaganda ou dependem de rótulos de conteúdo nocivo binários e grosseiros. Esta limitação obscurece detalhes críticos sobre quem é o alvo, a forma específica de ódio expressa e como o significado de ódio é construído através da interação de modalidades e contexto cultural. Além disso, a dependência de recursos culturalmente homogêneos e centrados no inglês limita a capacidade dos modelos de lidar com pistas visuais e linguísticas culturalmente específicas prevalentes nas redes sociais árabes.

Metodologia

Construção do Conjunto de Dados (AHA-MEMES)

Os autores introduzem o AHA-MEMES, o primeiro benchmark multimodal de larga escala e de grão fino para memes de ódio em árabe.

• Curadoria de Dados: Os memes foram obtidos do Facebook, Instagram, Pinterest e Twitter (X). Seguiu-se um processo de coleta semi-manual seguido de remoção de duplicatas usando embeddings de imagem e extração de texto via OCR com EasyOCR. Memes sem texto incorporado detectável foram descartados.
• Amostragem: Para abordar a escassez de conteúdo de ódio em dados brutos de redes sociais, foi empregada uma estratégia de pré-seleção fraca usando o Gemma-3-12B para atribuir rótulos binários preliminares a 71 mil memes. Deste grupo, 5 mil memes foram selecionados para anotação manual, resultando em um conjunto equilibrado de 1.850 memes de ódio e 3.150 memes não-ódio.
• Esquema de Anotação: Um esquema de anotação hierárquico e bilíngue (Inglês/Árabe) foi desenvolvido.
  • Tarefa Binária: is_hateful (Ódio vs. Não-Ódio). O ódio é definido como ataques a características protegidas (ex: raça, religião, gênero). Ataques a grupos que promovem o ódio (ex: terroristas) e ofensividade genérica que não visa categorias protegidas são rotulados como Não-Ódio.
  • Tarefas de Grão Fino:
    • Para memes de Ódio: Anotação multilabel de estratégias de ataque (Zombaria, Incitação, Desumanização, Insultos, Desprezo, Inferioridade, Exclusão, Outro).
    • Para memes de Não-Ódio: Anotação multilabel de subtipos (Humor, Sarcasmo, Outro).
• Dataset Silver: Além dos 5 mil memes "gold" anotados por humanos, os autores fornecem um corpus auxiliar de aproximadamente 66 mil memes árabes com rótulos "silver" gerados pelo Gemini-3.1-Pro. Esses rótulos cobrem ódio binário, tipos de grão fino, categorias de alvo, dialeto, emoção, sentimento e técnicas de propaganda, destinados ao aprendizado supervisionado fraco em vez de avaliação direta.

Configuração Experimental

O artigo avalia uma ampla gama de sistemas sob configurações de zero-shot, few-shot e fine-tuning:

• Baselines Unimodais: Modelos apenas de texto (AraBERTv2, MARBERTv2, CAMeLBERT-mix, XLM-R, mBERT) e modelos apenas de imagem (ViT, BEiT, Swin, ConvNeXt, DINOv2).
• Fusão Multimodal: Modelos de fusão tardia (late-fusion) que concatenam representações agrupadas (pooled) dos codificadores de texto e imagem mais fortes.
• Modelos de Visão-Linguagem (VLMs):
  • Pesos abertos (Open-weight): Qwen3-VL (8B/2B), Fanar-2-Oryx-IVU, Phi-3.5-Vision, SmolVLM, InternVL3.5.
  • Pesos fechados (Closed-weight): Gemini-2.5-Pro, GPT-5, Gemini-3.5-Flash.
• Paradigmas de Aprendizado:
  • Fine-tuning: Aplicado a VLMs de pesos abertos (usando LoRA) e codificadores unimodais.
  • Zero-shot: Prompting direto de VLMs.
  • Few-shot In-Context Learning (ICL): ICL aumentado por recuperação usando fusão de ranking recíproco (RRF) de similaridades de texto e imagem para selecionar demonstrações.

Principais Resultados

Detecção de Ódio Binário

• VLMs com Fine-tuning são Superiores: O Qwen3-VL-8B com fine-tuning alcançou o melhor macro-F1 binário de 0,768, superando o melhor modelo de fusão tardia (0,730), o melhor VLM de peso fechado zero-shot (Gemini-2.5-Pro com 0,711) e o codificador de texto mais forte (MARBERTv2 com 0,709).
• Dominância do Texto: Modelos apenas de texto forneceram o sinal unimodal mais forte. Codificadores específicos para o árabe (MARBERTv2, AraBERTv2) superaram significativamente os baselines multilíngues (mBERT, XLM-R), destacando o valor do pré-treinamento rico em dialetos.
• Complementaridade Visual: Modelos apenas de imagem foram competitivos, mas menos confiáveis como modelos autônomos. A fusão tardia melhorou o desempenho em relação aos baselines de apenas texto, sugerindo que o conteúdo visual fornece contexto complementar.
• Limitações do Zero-shot: VLMs zero-shot exibiram baixa revocação (recall) para a classe de ódio (ex: Qwen3-VL-8B-Instruct teve recall de 0,318), frequentemente perdendo memes de ódio. O fine-tuning mitigou substancialmente isso, melhorando a revocação para 0,656.

Classificação de Tipos de Ódio de Grão Fino

• Alta Dificuldade: A classificação de grão fino continua desafiadora, com todos os modelos pontuando abaixo de 0,35 macro-F1. O melhor resultado foi alcançado pelo VLM de peso fechado Gemini-2.5-Pro (0,340), seguido de perto pelo Qwen3-VL-8B com fine-tuning (0,334).
• Desequilíbrio de Rótulos: A lacuna entre macro-F1 e micro-F1 indica que os modelos performam melhor em rótulos frequentes (ex: Humor, Sarcasmo, Zombaria) e têm dificuldade com tipos de ódio raros (ex: Exclusão).
• ICL Few-shot: O aprendizado few-shot aumentado por recuperação proporcionou ganhos moderados sobre o prompting zero-shot (melhorando o macro-F1 binário de 0,643 para 0,708 para o Qwen3-VL-8B com RRF e K=5), mas não superou o fine-tuning completo.

Análise de Erros

• Ódio Implícito: O principal modo de falha para modelos zero-shot foi a classificação errônea de ataques sectários, religiosos ou misóginos implícitos como humor ou sátira.
• Comprimento do Texto: As taxas de erro binário aumentaram com o comprimento do texto árabe extraído, sugerindo que legendas mais longas e contextuais exigem inferência pragmática mais profunda.
• Prompting: O prompting de estilo racional (rationale-style) rendeu ganhos limitados e dependeu do modelo; às vezes degradou o desempenho para modelos menores quando a razão era solicitada em árabe.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Dataset AHA-MEMES: A introdução do primeiro dataset de memes de ódio em árabe de larga escala com 5 mil memes anotados por humanos, apresentando anotações hierárquicas e multilabel para tipos de ódio e categorias de alvo.
2. Corpus Silver Auxiliar: O lançamento de aproximadamente 66 mil memes com rótulos silver para apoiar pesquisas futuras em aprendizado supervisionado fraco e modelagem multimodal de larga escala.
3. Estrutura de Anotação: Um esquema de anotação bilíngue projetado para capturar pistas dialetais e culturalmente específicas, distinguindo entre ódio a grupos protegidos e ofensividade genérica.
4. Benchmark Abrangente: Uma avaliação rigorosa através de cinco famílias de modelos (texto, imagem, fusão, VLM aberto, VLM fechado) sob configurações zero-shot, few-shot e fine-tuning, estabelecendo baselines fortes e destacando os desafios específicos da detecção de ódio em árabe fundamentada culturalmente.

Os autores posicionam este trabalho como um passo fundamental para uma moderação de conteúdo mais segura nas redes sociais árabes, enfatizando que, embora os VLMs abertos com fine-tuning ofereçam atualmente o melhor desempenho, a tarefa permanece difícil devido à natureza matizada e culturalmente dependente da expressão de ódio em memes. O dataset e as diretrizes são liberados para facilitar a reprodutibilidade e extensões futuras.