Fall into a Pit, Gain in a Wit: Cognitive-Guided Harmful Meme Detection via Misjudgment Risk Pattern Retrieval

---

1. O Problema

Os memes da internet tornaram-se um meio multimodal popular, mas são frequentemente weaponizados para transmitir opiniões nocivas através de dispositivos retóricos sutis, como ironia, metáfora e sátira.

• Desafio Atual: As abordagens existentes de detecção, incluindo técnicas baseadas em Modelos de Linguagem Multimodal Grandes (MLLMs), lutam para interpretar essas expressões implícitas. Elas tendem a depender de correspondências superficiais de conteúdo (texto e imagem isolados), falhando quando novos memes usam templates diferentes para expressar a mesma retórica nociva.
• Falha Específica: Os MLLMs frequentemente cometem erros de julgamento (falsos negativos, ignorando o tom nocivo, ou falsos positivos, interpretando humor benigno como ódio) porque não formalizam os "pontos cegos cognitivos" ou armadilhas de raciocínio inerentes à análise de memes.

2. Metodologia: PatMD

O artigo propõe o PatMD (Misjudgment Risk Pattern Detection), uma abordagem que muda o paradigma de uma detecção centrada no conteúdo para uma detecção centrada na decisão cognitiva. A ideia central é aprender com os erros passados (as "fossas") para gerar padrões de risco que guiam proativamente o modelo a evitá-los (a "astúcia").

O framework opera em três etapas principais:

A. Elaboração de Padrões de Risco de Julgamento Errado (Misjudgment Risk Pattern Elicitation)

Nesta fase, constrói-se uma base de conhecimento onde cada meme histórico é desconstruído:

1. Deconstrução de Dano Hierárquico: Os memes são analisados através de uma árvore de dano hierárquica de quatro níveis:
   • L1 (Categoria Macro): Ex. Nacionalidade, Gênero, Raça.
   • L2 (Sujeitos Principais): Grupos ou símbolos específicos visados.
   • L3 (Técnicas Expressivas): Métodos usados (ex. estereótipos, ironia).
   • L4 (Instanciação): A manifestação concreta da técnica no meme.
2. Atribuição Causal de Julgamento Errado: Com base na estrutura acima, o sistema gera um Padrão de Risco de Julgamento Errado.
   • Para amostras benignas, o padrão explica por que o conteúdo poderia ser mal interpretado como nocivo (falso positivo).
   • Para amostras nocivas, o padrão explica como a intenção nociva está oculta, levando a um falso negativo.

B. Recuperação de Padrões Consciente de Risco (Risk-aware Pattern Retrieval)

Para um meme alvo, o sistema busca padrões relevantes na base de conhecimento:

1. Recuperação de Candidatos Bipartida: Recupera inicialmente amostras benignas e nocivas com base na similaridade de embeddings (texto e imagem).
2. Reclassificação Baseada na Árvore de Dano: Em vez de apenas similaridade superficial, o sistema utiliza uma correspondência estrutural na árvore hierárquica. Se a estrutura do dano (níveis L1 a L4) do meme alvo coincide com a de um candidato, recebe um "bônus" de pontuação. Isso permite recuperar memes que têm a mesma lógica nociva, mesmo que o conteúdo visual/textual seja diferente.

C. Raciocínio Aumentado por Padrões para Detecção (Pattern-Augmented Reasoning)

Os padrões recuperados são injetados no processo de raciocínio do MLLM através de um prompt estruturado:

• Referências de Reflexão Crítica: O prompt inclui os padrões recuperados categorizados como "Motivos de Falha" (para memes nocivos) ou "Motivos de Falso Alarme" (para memes benignos).
• Guia de Raciocínio: O MLLM é instruído a analisar o meme alvo considerando esses avisos explícitos, forçando-o a evitar as armadilhas cognitivas identificadas anteriormente antes de emitir um julgamento final.

3. Principais Contribuições

1. Mudança de Paradigma Cognitivo: Propõe uma abordagem que foca em por que o modelo pode errar, em vez de apenas o que o conteúdo é.
2. Estruturação de Erros: Introduz a formalização de erros de julgamento em "Padrões de Risco" reutilizáveis e generalizáveis, organizados em uma árvore de dano hierárquica.
3. Mecanismo de Recuperação Híbrido: Combina similaridade semântica tradicional com correspondência estrutural baseada em árvores de dano para recuperar exemplos relevantes que compartilham a mesma lógica de risco.
4. Framework PatMD: Um sistema automatizado que integra esses componentes para guiar MLLMs na detecção de memes nocivos.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark GOAT-bench, contendo 6.626 memes em 5 tarefas de detecção (Ódio, Misoginia, Ofensividade, Sarcasmo e Nocividade).

• Desempenho Geral: O PatMD superou consistentemente as melhores abordagens existentes (baselines especializadas e MLLMs gerais).
  • Melhoria Média: +8,30% no F1-score e +7,71% na acurácia em comparação com os baselines.
  • Comparação com MLLMs: Ao aplicar o PatMD em modelos como GPT-4o e InternVL3-14B, houve ganhos significativos (ex. +16,41% no F1 para GPT-4o na tarefa de Ódio).
• Robustez e Generalização:
  • Memes Não Vistos (Unseen): O modelo manteve alta performance em memes políticos recentes não presentes na base de treinamento, demonstrando que os padrões capturam a lógica cognitiva do dano, não apenas memorização de dados.
  • Resiliência Adversarial: Sob ataques de ruído visual (SaltPepper-I-High), o PatMD manteve uma vantagem significativa sobre modelos puros, embora houvesse uma leve degradação devido à dependência de detalhes visuais finos para a desconstrução estrutural.
• Estudo de Ablação: A remoção da reclassificação baseada na árvore de dano causou a maior queda de desempenho, confirmando a importância da estrutura hierárquica para capturar riscos profundos.

5. Significado e Conclusão

O trabalho PatMD representa um avanço significativo na detecção de conteúdo nocivo em redes sociais. Ao invés de apenas tentar "entender melhor" a imagem ou o texto, ele ensina o modelo a reconhecer suas próprias falhas de raciocínio.

• Interpretabilidade: O processo gera uma lógica de decisão transparente, onde o modelo explica seu julgamento com base em padrões de risco históricos.
• Aplicabilidade: A abordagem é agnóstica ao modelo, funcionando bem tanto em MLLMs de código aberto quanto em modelos proprietários de ponta.
• Impacto: Oferece uma solução prática para o problema de memes sutis e sarcásticos, que são atualmente os mais difíceis de moderar em plataformas digitais, reduzindo erros de classificação e protegendo comunidades online de discursos de ódio velados.

Em resumo, o artigo demonstra que "cair em uma fossa" (analisar erros passados) permite "ganhar em astúcia" (criar mecanismos de defesa cognitiva), resultando em sistemas de moderação de conteúdo mais robustos e inteligentes.