Resumo Técnico: FBHM: Avaliação Funcional e Direcionamento de VLMs para Detecção de Memes de Ódio

1. Definição do Problema

A detecção de memes de ódio permanece um desafio formidável para Modelos de Visão-Linguagem (VLMs). Os benchmarks existentes, como os conjuntos de dados Facebook Hateful Memes (FHM) e MAMI, são estruturalmente observacionais. Eles confundem mecanismos retóricos de ódio com características específicas de comunidades alvos, impedindo uma avaliação causal das vulnerabilidades dos modelos. Consequentemente, modelos ajustados (fine-tuned) nesses conjuntos de dados frequentemente exploram heurísticas específicas do dataset (ex: vieses demográficos) em vez de aprender um raciocínio multimodal robusto. Quando confrontados com variações controladas de funcionalidade ou de comunidades alvo, esses modelos sofrem uma lacuna de generalização severa, colapsando para um desempenho próximo ao aleatório. Além disso, estratégias de adaptação padrão, como o Ajuste de Parâmetros Eficientes (PEFT) e o Aprendizado em Contexto de Poucos Disparos (Few-Shot ICL), falham em preencher essa lacuna sob restrições extremas de dados (ex: 500 amostras), muitas vezes levando ao esquecimento catastrófico do desempenho no domínio de origem.

2. Metodologia

A. O Benchmark FBHM

Para abordar a falta de avaliação causal, os autores introduzem o FBHM (Functionality Based Hateful Memes), um conjunto de dados sistematicamente curado de 5.000 memes. O dataset é construído ao longo de dois eixos ortogonais:

1. 25 Funcionalidades Retóricas Distintas: Inspiradas em princípios de teste funcional da engenharia de software e trabalhos anteriores de discurso de ódio em NLP (ex: HateCheck), estas funcionalidades cobrem cinco dimensões: formatos visuais, ofuscação textual, composição estrutural, inferência pragmática e contrastes não odiosos.
2. 10 Comunidades Alvo: Incluindo muçulmanos, judeus, negros, brancos, mulheres, homens, transgêneros, gays, imigrantes e pessoas com deficiência.

O processo de curadoria envolve a criação de um par imagem-texto base para uma funcionalidade específica e, em seguida, a geração de 10 variantes controladas substituindo apenas a comunidade alvo. Esta estrutura permite uma avaliação contrafactual isolada, permitindo que pesquisadores determinem se um modelo falha devido a um mecanismo retórico específico ou a um grupo alvo específico.

B. LSV (Vetores de Direcionamento Aprendíveis)

Para fechar eficientemente a lacuna de generalização com o mínimo de dados, os autores propõem o LSV, uma estratégia para regimes de dados ultra-baixos. Diferente do PEFT, que atualiza os pesos do modelo, o LSV aplica uma intervenção causal em um VLM congelado através da otimização de vetores de direcionamento contínuos por camada.

• Mecanismo: Para um modelo congelado $M$ com $L$ camadas, o LSV aprende um conjunto de vetores de direcionamento por camada $V = \{v_1, \dots, v_L\}$ e coeficientes escalares $\alpha = \{\alpha_1, \dots, \alpha_L\}$. O estado oculto na camada $l$ é modificado como:
  $$h'_l(x_q) = h_l(x_q) + c \cdot \alpha_l \cdot v_l$$
  onde $c$ é um hiperparâmetro de escala de tempo de inferência.
• Objetivo de Treinamento: Os vetores são otimizados em um conjunto de direcionamento mínimo ($D_{steer}$) de 500 amostras (derivadas de apenas 50 memes base únicos) usando um objetivo de perda duplo:
  1. Alinhamento de Distribuição ($L_d$): Minimiza a divergência de Kullback-Leibler (KL) entre a distribuição do vocabulário do modelo direcionado em uma consulta e uma distribuição de referência construída a partir de um prompt de demonstração de ICL (32 exemplares). Isso transfere o raciocínio cognitivo do prompt de ICL para os vetores.
  2. Âncora de Verdade Fundamental ($L_{gt}$): Uma perda de entropia cruzada no primeiro token gerado para garantir que o direcionamento se alinhe com o rótulo de classificação correto.
• Inferência: No tempo de inferência, o modelo base permanece congelado e nenhum prompt de demonstração de ICL é fornecido. Os vetores aprendidos são injetados diretamente na passagem direta (forward pass) zero-shot.

3. Principais Contribuições

1. Novo Benchmark Diagnóstico: Introdução do FBHM, um conjunto de dados estruturado causalmente que permite a avaliação isolada através de 25 funcionalidades e 10 comunidades alvo.
2. Evidência Empírica de Falha de Generalização: Demonstração de que VLMs de última geração (incluindo Qwen-3, Pixtral, InternVL-3.5 e modelos proprietários como GPT-4.1/5-mini) alcançam pontuações altas in-domain no FHM/MAMI, mas falham catastroficamente no FBHM, provando a dependência de heurísticas espúrias.
3. Limitações da Adaptação Padrão: Evidência de que técnicas padrão (PEFT e ICL de poucos disparos) são insuficientes para alinhar o raciocínio multimodal em memes de ódio complexos quando restritas a conjuntos de direcionamento mínimos, muitas vezes degradando o desempenho no domínio de origem.
4. Framework LSV: Introdução do LSV, um método que destila o raciocínio de ICL em vetores de ativação via um objetivo de intervenção causal, recuperando com sucesso a generalização sem atualizações de peso.

4. Resultados e Análise

Ganhos de Desempenho

O benchmarking revela uma enorme lacuna de desempenho. Modelos ajustados no FHM/MAMI caem para um desempenho próximo ao aleatório (ex: ~45 Macro-F1) no FBHM.

• Eficácia do LSV: O LSV aumenta o desempenho do FBHM em aproximadamente 30 pontos de Macro-F1. Por exemplo, o modelo Base Qwen-3 melhora de 45.99 para 72.78 Macro-F1 no conjunto de teste do FBHM.
• Comparação: O LSV supera significativamente tanto o PEFT (que produz ganhos negligenciáveis e degrada o desempenho de origem) quanto o ICL de 32 disparos (que fornece ganhos modestos, mas falha em cobrir todo o espaço funcional devido aos limites da janela de contexto).

Robustez e Equidade

• Preservação do Domínio de Origem: Crucialmente, como o LSV não atualiza os pesos, ele preserva ou até melhora o desempenho nos benchmarks originais FHM e MAMI, evitando o esquecimento catastrófico.
• Alinhamento Uniforme: A análise do desempenho por comunidade alvo mostra que o LSV expande uniformemente a fronteira de classificação para a faixa de 70–80% em todos os 10 grupos alvo, eliminando os gargalos específicos de comunidade observados nas linhas de base de ICL.
• Cobertura de Funcionalidade: A análise de gráfico de radar indica que o LSV suaviza as capacidades de raciocínio estrutural, entregando ganhos em quase todas as 25 funcionalidades, enquanto as variantes de ICL falham em bolsões funcionais específicos e localizados.

Análise de Erros

Apesar das melhorias, modos de falha residuais persistem:

• Falsos Negativos: Ofuscação complexa (codificação algébrica/hexadecimal de insultos), inversão de retórica ("dia do oposto") e sarcasmo pseudo-positivo continuam sendo desafiadores.
• Falsos Positivos: Perturbações de fonte (OCR corrompido) e contra-discursos contendo vocabulário adjacente ao ódio são frequentemente classificados incorretamente. Esses padrões recorrem em várias arquiteturas (Qwen, GPT-4/5), sugerindo que exigem uma compreensão de discurso mais profunda além do direcionamento de nível de ativação.

Escalonamento de Inferência

A constante de escala ideal $c$ é encontrada como dependente da arquitetura e do ajuste fino. A validação em pequenas divisões retidas (held-out splits) prevê com precisão o $c$ ideal para o conjunto de teste, confirmando a praticidade da abordagem para implantação no mundo real sem acesso ao conjunto de teste.

5. Significância e Alegações

O artigo afirma que o FBHM expõe uma falha crítica no alinhamento atual de VLMs: pontuações in-domain altas mascaram uma falha em generalizar para diversas estruturas funcionais. A significância deste trabalho reside em:

1. Rigor Diagnóstico: Fornecer uma ferramenta para descobrir disparidades de funcionalidade e de alvo que os benchmarks padrão não detectam.
2. Alinhamento Eficiente: Demonstrar que a intervenção causal via vetores de direcionamento aprendíveis pode alinhar o raciocínio multimodal complexo com apenas 500 amostras, superando a adaptação baseada em pesos e métodos pesados em contexto.
3. Segurança e Equidade: Oferecer um método para melhorar a robustez da detecção de ódio em diversas demografias sem sacrificar o desempenho em dados benignos ou exigir um retreinamento massivo.

Os autores concluem que, embora o LSV melhore significativamente as capacidades de detecção zero-shot, ele serve como uma ferramenta diagnóstica para auxiliar moderadores humanos, em vez de um árbitro totalmente autônomo, especialmente dada a persistência de vieses pragmáticos complexos como ironia e ofuscação matemática.