Resumo Técnico: Adaptando o Aprendizado por Reforço com Supervisão de Cadeia de Pensamento para a Detecção Explicável de Memes Odiosos e Propagandísticos

1. Definição do Problema

Memes odiosos e propagandísticos exploram a interação entre imagem e texto para transmitir uma intenção prejudicial que nenhuma das modalidades revela isoladamente. Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham avançado na compreensão de visão-linguagem, sua aplicação na moderação de conteúdo de memes permanece subexplorada, particularmente no que diz respeito a modelos baseados em "pensamento" que geram etapas de raciocínio intermediárias explícitas. As abordagens existentes carecem frequentemente de integração sistemática de supervisão de Cadeia de Pensamento (CoT - Chain-of-Thought), rotulagem detalhada e Aprendizado por Reforço (RL) para este domínio específico. Além disso, o Ajuste Fino Supervisionado (SFT - Supervised Fine-Tuning) padrão oferece controle limitado sobre o equilíbrio entre a correção da previsão e a fidelidade das explicações geradas. O artigo aborda a lacuna na aplicação de pós-treinamento baseado em RL para otimizar tanto o desempenho de classificação quanto a qualidade da explicação para a detecção de memes odiosos e propagandísticos em diferentes idiomas (Inglês e Árabe) e tarefas (detecção binária de ódio e detecção multiclasse de propaganda).

2. Metodologia

A abordagem proposta emprega um pipeline de pós-treinamento de múltiplos estágios fundamentado em supervisão de CoT e Otimização de Política Relativa ao Grupo (GRPO - Group Relative Policy Optimization).

2.1. Construção e Anotação de Dados

• Datasets: O estudo utiliza o benchmark Hateful Memes (FHM) (Inglês, binário) e o conjunto de dados Arabic Propagandistic Memes (ArMeme) (Árabe, quatro classes: propaganda, não-propaganda, não-meme, outro).
• Anotações Detalhadas: Para o FHM, são utilizadas as anotações públicas existentes para categorias protegidas e tipos de ataque. Para o ArMeme, onde não existiam anotações detalhadas de propaganda, os autores desenvolveram um pipeline de anotação multi-LLM. Isso envolve dois modelos independentes (GPT-4.1 e Llama-4-Scout) gerando rótulos de técnicas de propaganda estruturadas e justificativas, que são então consolidados por um terceiro modelo (Gemini-3-Pro).
• Destilação de Cadeia de Pensamento (CoTD): Um modelo professor forte (GPT-4.1) gera rastros de raciocínio passo a passo condicionados à imagem, texto e rótulos do meme. Esses rastros são usados como alvos de supervisão durante o treinamento, mas não são expostos durante a inferência para evitar o vazamento de rótulos (label leakage).
• Dados Não Rotulados: Para experimentos autossupervisionados, os autores construíram pools de dados não rotulados agregando datasets públicos de memes (para FHM) e realizando crawling de redes sociais (para ArMeme), filtrando duplicatas e não-memes.

2.2. Pipeline de Treinamento

A metodologia segue um processo de três estágios:

1. Aquecimento por SFT (SFT Warm-up): O MLLM é inicializado via Ajuste Fino Supervisionado em rótulos de ouro, explicações e rastros de raciocínio destilados. As variantes incluem o treinamento com apenas rótulos binários, adição de rótulos detalhados e incorporação de CoT destilada.
2. GRPO Supervisionado: O modelo passa por otimização de RL usando GRPO. Diferente do PPO, o GRPO não requer uma rede de valor aprendida; em vez disso, ele amostra um grupo de $K$ conclusões e usa a média do grupo de recompensa como uma linha de base (baseline).
   • Função de Recompensa Composta: A recompensa $R(y)$ combina cinco componentes:
     • $R_{fmt}$: Conformidade de formato (garantindo que a estrutura de saída inclua raciocínio, rótulo e explicação).
     • $R_{lbl}$: Correção do rótulo.
     • $R_{exp}$: Regularização do comprimento da explicação (visando ~100 palavras).
     • $R_{think}$: Regularização do comprimento do pensamento. Isso penaliza rastros de CoT excessivamente curtos (abaixo de um limite $L_{min}$) para evitar o "hack de recompensa" (reward hacking, ex: raciocínio vazio) sem incentivar a verbosidade.
     • $R_{met}$: Similaridade semântica (escore METEOR) em relação à justificativa de ouro.
3. GRPO Autossupervisionado: Para aproveitar dados não rotulados, o modelo é treinado adicionalmente usando pseudo-rótulos baseados em consenso. Amostras são selecionadas com base no desacordo do modelo (acordo parcial através de múltiplas predições amostradas por temperatura). Um mecanismo de voto majoritário atribui pseudo-rótulos, que são então usados para computar um sinal de recompensa junto com recompensas estruturais.

3. Principais Contribuições

1. Generalização Transversal de Tarefa e de Idioma: O estudo estende o pós-treinamento baseado em GRPO de um único dataset binário em inglês para uma tarefa complexa de detecção de propaganda multiclasse em árabe, introduzando um pipeline de duplo anotador para rotulagem detalhada em um cenário anteriormente não rotulado.
2. Análise Empírica Abrangente: O artigo fornece extensos estudos de ablação analisando a interação entre supervisão de CoT, rotulagem detalhada e otimização de RL através de baselines unimodais, zero-shot e de ajuste fino.
3. Otimização de RL Estabilizada: A introdução de uma recompensa de comprimento de pensamento baseada em limiar ($R_{think}$) mitiga efetivamente o hack de recompensa (encurtamento dos rastros de raciocínio) enquanto mantém o desempenho equilibrado por classe.
4. GRPO Autossupervisionado: O trabalho explora a viabilidade de pseudo-rotulagem baseada em consenso para treinamento de RL sem anotações humanas, demonstrando sua eficácia em configurações multiclasse dentro do domínio, ao mesmo tempo em que destaca limitações em cenários de descompasso de distribuição e classificação binária.

4. Resultados

Os experimentos foram conduzidos nos benchmarks FHM e ArMeme utilizando o Qwen3-VL-8B-Thinking como modelo base.

• Ganhos de Desempenho:
  • FHM: A abordagem proposta alcançou 82,0% de acurácia e 0,80 de macro-F1, superando o estado da arte anterior (79,9% de acurácia, 0,79 de macro-F1) em +2,1% de acurácia e +0,01 de macro-F1.
  • ArMeme: A abordagem alcançou 0,612 de macro-F1 (com GRPO autossupervisionado), representando um aumento de +7,6 pontos sobre o trabalho anterior (0,536) e um aumento de +6,1 pontos sobre o benchmark original.
• Comparação com Baselines:
  • A abordagem generativa baseada em RL superou fortes baselines de classificação de sequência (ex: Gemma-3-12B-IT, Qwen3-VL-8B-Instruct) em macro-F1 no ArMeme (0,612 vs. 0,594), fornecendo explicações interpretáveis.
  • Baselines unimodais (apenas texto ou apenas imagem) tiveram desempenho significativamente inferior à abordagem de raciocínio multimodal, confirmando a necessidade da interação cross-modal.
• Descobertas de Ablação:
  • Supervisão Detalhada: Adicionar rótulos detalhados durante o SFT melhorou o macro-F1 em +8,0 pontos no ArMeme (0,43 para 0,51).
  • Destilação de CoT: A CoT destilada proporcionou ganhos adicionais durante o SFT e serviu como uma inicialização crítica para o GRPO.
  • Aquecimento por SFT: O início a frio (cold-start) do GRPO (sem SFT) resultou em desempenho degenerado no ArMeme (0,332 de macro-F1), provando que a inicialização por SFT é crítica para tarefas complexas.
  • GRPO Autossupervisionado: Melhorou o macro-F1 do ArMeme em +1,5 pontos (0,597 para 0,612), mas reduziu ligeiramente o desempenho do FHM (-1,0 ponto), atribuído ao descompasso de distribuição no pool não rotulado do FHM e ao viés de voto majoritário em classificação binária.

5. Significância e Alegações

O artigo afirma ser, tanto quanto o conhecimento dos autores permite, o primeiro estudo sistemático de GRPO em raciocínio multimodal sob configurações translinguais, detalhadas e autossupervisionadas.

• Insight Metodológico: O estudo demonstra que o pós-treinamento baseado em RL com recompensas compostas, especificamente quando combinado com a regularização de comprimento de pensamento, pode otimizar conjuntamente a acurácia de classificação e a qualidade da explicação de uma forma que o SFT padrão não consegue.
• Escalabilidade da Supervisão Sintética: O sucesso do pipeline de anotação multi-LLM sugere que rótulos detalhados sintéticos e baseados em consenso podem servir como um proxy escalável para a anotação humana em tarefas de moderação de conteúdo.
• Condições para Autossupervisão: O trabalho destaca que o GRPO autossupervisionado é eficaz quando os dados não rotulados estão dentro do domínio e o espaço de rótulos é diverso o suficiente para evitar o viés de consenso (como visto na tarefa de quatro classes do ArMeme), mas é menos eficaz quando descompassos de distribuição ou vieses de maioria binária predominam (como visto no FHM).
• Generativo vs. Discriminativo: Os resultados sugerem que modelos de raciocínio generativos oferecem um desempenho por classe mais equilibrado e explicações acionáveis em comparação com modelos tradicionais de classificação de sequência, tornando-os adequados para a moderação de conteúdo prática onde a interpretabilidade é necessária.

Os autores disponibilizam todo o código, extensões de dados e recursos de avaliação para facilitar pesquisas futuras neste domínio.