Beyond Binary Classification: Detecting Fine-Grained Sexism in Social Media Videos

1. Problema

A detecção automatizada de sexismo em redes sociais enfrenta desafios significativos devido à natureza multifacetada e contextual do fenômeno. A maioria das ferramentas atuais limita-se a classificação binária (sexista vs. não sexista) ou a categorias de alto nível (como toxicidade ou abuso). Essa abordagem falha em capturar manifestações sutis, implícitas e complexas de sexismo, como estereótipos, negação da desigualdade, discriminação baseada na identidade de gênero e objetificação. Além disso, a detecção em vídeos (multimodal) é menos explorada do que em texto ou memes, e a falta de rótulos granulares e sensíveis ao contexto impede a transparência e a confiança nas ferramentas de moderação automatizada.

2. Metodologia

Os autores propõem uma abordagem integrada que combina a criação de um novo conjunto de dados, a definição de uma taxonomia hierárquica e a avaliação de modelos de linguagem grandes (LLMs).

• Dataset FineMuSe: Foi criado o FineMuSe, um novo conjunto de dados multimodal em espanhol para detecção de sexismo.

  • Origem dos Dados: O dataset contém 828 vídeos curtos coletados de três plataformas distintas: TikTok (367), BitChute (33) e YouTube Shorts (428). A inclusão de múltiplas plataformas visa capturar diferentes comunidades de usuários e domínios linguísticos.
  • Processamento: Os vídeos foram transcritos usando Whisper-ctranslate2 (com diarização de falantes) e processados com FFmpeg.
  • Annotação: A anotação foi realizada por especialistas (6 anotadores com formação em linguística e experiência em detecção de linguagem abusiva), divididos em duas equipes. O processo foi realizado em três níveis modais: texto, áudio e vídeo.

• Taxonomia Hierárquica: Diferente de abordagens anteriores de classes mutuamente exclusivas, o FineMuSe utiliza uma abordagem de rótulos múltiplos (multi-label) com três níveis:

  1. Nível Binário: Conteúdo Sexista vs. Não Sexista.
  2. Nível Granular (Subcategorias):
     • Conteúdo Sexista: Estereótipos, Negação da Desigualdade e Rejeição do Feminismo, Discriminação (orientação sexual/identidade de gênero/LGBTQ+), e Objetificação.
     • Conteúdo Não Sexista: Contra-discurso (Counter-speech) e Relato de experiências sexistas.
  3. Dispositivos Retóricos: Ironia e Humor (aplicáveis tanto a conteúdo sexista quanto não sexista).

• Avaliação de Modelos: Foram testados diversos LLMs (Large Language Models) em configuração zero-shot (sem ajuste fino):

  • Modelos apenas de Texto: Llama-3, Qwen2.5, Salamandra, GPT-4o, Claude 3.7, Gemini.
  • Modelos Multimodais (Texto + Imagem): Versões V+L dos modelos acima.
  • Modelos de Vídeo: Gemini-2.0-Flash (capaz de processar vídeo diretamente).
  • Métricas: Acurácia para detecção binária e Macro F1 para a tarefa de classificação granular multi-rótulo.

3. Principais Contribuições

1. FineMuSe: Apresentação do primeiro dataset multimodal em espanhol com anotações binárias e granulares para vídeos de redes sociais, cobrindo múltiplas plataformas e variedades linguísticas do espanhol (Peninsular e Latino-americano).
2. Taxonomia Abrangente: Desenvolvimento de uma taxonomia hierárquica detalhada que inclui não apenas formas de sexismo, mas também conteúdo não sexista (contra-discurso) e dispositivos retóricos (ironia/humor), reconhecendo a sobreposição de categorias.
3. Análise de Modos e Plataformas: Estudo detalhado de como o sexismo se manifesta em diferentes modalidades (texto, áudio, vídeo) e como a detecção varia entre plataformas (TikTok/BitChute vs. YouTube Shorts).
4. Benchmark de LLMs: Avaliação extensiva de modelos de última geração na detecção de sexismo granular, incluindo a análise de justificativas geradas pelos modelos em comparação com anotações humanas.

4. Resultados

• Desempenho dos Modelos:

  • Escala do Modelo: Modelos maiores (ex: Llama-3-70B, GPT-4o, Claude-3.7-Sonnet) superaram consistentemente os modelos menores em ambas as tarefas (binária e granular).
  • Multimodalidade: Modelos multimodais (V+L) superaram os modelos apenas de texto, especialmente na parte do dataset do YouTube Shorts, indicando que o contexto visual é crucial para capturar pistas não verbalizadas. O Claude-3.7-Sonnet (V+L) obteve o melhor desempenho geral (Acurácia de 85,8% em P1 e 83,6% em P2; Macro F1 de 67,5% e 72,8% respectivamente).
  • Dificuldade por Categoria: As categorias "Estereótipos" e "Desigualdade" foram as mais fáceis de detectar. A categoria "Objetificação" foi consistentemente a mais difícil, com modelos atingindo F1 abaixo de 30 em algumas configurações, devido à sua raridade no dataset (provavelmente devido à moderação de conteúdo das plataformas) e à dependência de pistas visuais sutis.
  • Correlação Humano-Máquina: Houve alta correlação entre as previsões do modelo e anotações humanas para "Estereótipos" e "Discriminação", mas baixa correlação para "Objetificação". Os modelos tendem a detectar o sexismo no texto, mas falham em identificar a objetificação transmitida visualmente.

• Qualidade das Explicações:

  • Os LLMs foram capazes de gerar justificativas de qualidade comparável à dos anotadores humanos em termos de relevância, informatividade e fundamentação (groundedness), embora os humanos tenham preferência ligeira por explicações humanas em alguns casos específicos.

• Acordo entre Anotadores (IAA):

  • O acordo inter-anotadores (Kappa de Fleiss) foi substancial para a classificação binária, mas variou de moderado a baixo para categorias granulares específicas, especialmente para Ironia e Humor, refletindo a subjetividade inerente a esses conceitos.

5. Significância e Conclusão

O trabalho demonstra que a detecção de sexismo não pode se limitar a classificações binárias se o objetivo for compreender e moderar efetivamente o discurso online. O FineMuSe preenche uma lacuna crítica ao fornecer dados de alta qualidade para treinar e avaliar modelos na detecção de nuances sexistas em vídeos.

Os resultados indicam que, embora os LLMs multimodais de última geração sejam competitivos com humanos na identificação de conteúdo sexista, eles ainda lutam para capturar tipos de sexismo co-ocorrentes quando estes são transmitidos principalmente através de pistas visuais (como a objetificação). O estudo destaca a necessidade de futuras pesquisas focadas na melhoria da compreensão visual de modelos e na análise de como dispositivos retóricos (ironia/humor) influenciam a classificação errônea. A transparência fornecida pelas explicações geradas pelos modelos é um passo importante para aumentar a confiança nas ferramentas de moderação automatizada.