💻 computer science

MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

Este artigo propõe um framework de supervisão fraca baseada em prompts utilizando um Qwen3-VLM quantizado para decompor a detecção de discurso de ódio em memes em funções de rotulagem direcionadas por perguntas, alcançando as melhores classificações em inglês, chinês e hindi na tarefa compartilhada LT-EDI 2026 ao abordar efetivamente os desafios do discurso de ódio multimodal, culturalmente matizado e multilíngue.

Autores originais: Ivo Bueno, Lea Hirlimann, Enkelejda Kasneci

Publicado 2026-04-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ivo Bueno, Lea Hirlimann, Enkelejda Kasneci

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando identificar um tipo específico de piada que é, na verdade, mal-intencionada (discurso de ódio) em uma coleção de memes da internet. Memes são complicados porque são como quebra-cabeças de duas camadas: eles têm uma imagem e um texto, e frequentemente usam sarcasmo, ironia ou piadas internas que só fazem sentido se você conhecer o contexto cultural.

Os autores deste artigo tentaram construir um sistema computacional para resolver esses quebra-cabeças, especificamente procurando por piadas homofóbicas ou transfóbicas. Veja como eles fizeram isso, explicado de forma simples:

O Problema: Fazer a "Grande Pergunta" Não Funcionou

Os pesquisadores primeiro tentaram fazer uma pergunta única e gigantesca a uma inteligência artificial superinteligente (chamada Modelo de Linguagem-Vision): "Este meme é odioso?"

Pense nisso como pedir a um aluno para resolver um problema matemático complexo, escrever uma redação e desenhar uma imagem, tudo em uma única frase. A IA frequentemente ficava confusa. Ela tentava adivinhar o alvo, o tom, o sarcasmo e o veredito final tudo ao mesmo tempo, e cometia erros. Isso é especialmente difícil quando os memes estão em idiomas diferentes (inglês, hindi e chinês), porque as "piadas internas" mudam dependendo da cultura.

A Solução: A Abordagem da "Sala de Interrogatório"

Em vez de fazer uma grande pergunta, a equipe mudou sua estratégia. Eles decidiram dividir o problema em uma série de perguntas pequenas e específicas, como um interrogatório ou uma lista de verificação.

Eles criaram um sistema de "Supervisão Fraca com Prompt". Imagine um detetive (a IA) que não apenas adivinha se um suspeito é culpado. Em vez disso, o detetive faz 89 perguntas específicas sobre as evidências:

"A piada visa um grupo específico?"
"O tom é sarcástico?"
"O texto está realmente dizendo o oposto do que parece?"
"A imagem está mostrando um estereótipo?"

A IA responde a essas perguntas com simples "Sim/Não" ou categorias curtas. Essas respostas não são o veredito final; são pistas.

A Linha de Montagem

Uma vez que a IA responde a todas as 89 perguntas para um meme, a equipe pega essas respostas e as alimenta em um programa computacional clássico e mais simples (um classificador Random Forest). Pense neste programa como um juiz que ouve todas as pistas do detetive.

O Detetive (IA): "A piada é sobre identidade de gênero, é sarcástica e visa uma pessoa específica."
O Juiz (Classificador): "Certo, com base nessas pistas específicas, tenho 90% de certeza de que isso é discurso de ódio."

O Que Eles Encontraram

Os resultados foram como um truque de mágica:

Melhor Precisão: Este método de "lista de verificação" foi muito melhor do que apenas pedir à IA uma grande pergunta. Funcionou especialmente bem para memes em hindi e chinês, onde as nuances culturais são muito sutis.
O Passo de "Poda": No início, eles tinham muitas perguntas (algumas eram repetitivas ou confusas). Eles usaram uma ferramenta de "poda" para cortar as perguntas ruins, deixando apenas as pistas mais úteis. Isso tornou o sistema ainda mais afiado.
Os Rankings: Na competição em que participaram, seu sistema ficou em 1º lugar para inglês, 2º para chinês e 3º para hindi.

A Pegadinha (Limitações)

Os autores são honestos sobre as falhas em seu sistema:

Viés Ocidental: As perguntas foram escritas principalmente a partir de uma perspectiva ocidental. Elas podem perder sinais culturais específicos de discurso de ódio na Índia ou na China que não se assemelham à versão "ocidental".
Leitura de Texto: A IA precisa ler o texto dentro das imagens. Às vezes, ela perde palavras ou as lê errado, o que desequilibra as pistas.

A Conclusão

O artigo mostra que, ao tentar capturar piadas sutis e mal-intencionadas em memes, é melhor dividir o problema em perguntas pequenas e gerenciáveis e deixar um sistema ponderar as respostas, em vez de pedir a um supercomputador que adivinhe a resposta completa de uma só vez. É a diferença entre perguntar a um aluno "Qual é a resposta?" versus pedir que ele mostre seu trabalho passo a passo.

1. Declaração do Problema

Detectar discurso de ódio em memes é um desafio complexo devido à sua natureza multimodal (combinando texto e imagens) e à dependência de indícios culturalmente fundamentados, como sarcasmo, ironia e conhecimento compartilhado.

Limitações das Abordagens Atuais: O prompting direto de ponta a ponta em Modelos Visão-Linguagem (VLMs) é frequentemente frágil. Uma única previsão deve resolver simultaneamente a identificação do alvo, a posição, a implicitidade e a ironia, o que é difícil em cenários multilíngues.
Lacunas Multilíngues e Culturais: Modelos padrão lutam com nuances culturais sutis, gírias e expressões específicas de homofobia e transfobia em diferentes idiomas (inglês, hindi, chinês).
Custo: O ajuste fino de grandes modelos para tarefas específicas incorre em altos custos computacionais e de dados.

2. Metodologia: Supervisão Fraca Promptada (PWS)

Os autores propõem uma estrutura de Supervisão Fraca Promptada (PWS) que decompõe a tarefa complexa de classificação de memes em funções de rotulagem (LFs) estruturadas e baseadas em perguntas. Em vez de um único rótulo de ponta a ponta, o sistema gera características estruturadas para um classificador a jusante.

Componentes Principais do Pipeline:

Geração de Perguntas (Funções de Rotulagem):
- A equipe construiu 59 perguntas iniciais (posteriormente expandidas para 89) projetadas para capturar aspectos complementares do discurso de ódio (por exemplo, identificação do alvo, ódio explícito/implícito, identidade do narrador, posição).
- As respostas são restritas a opções binárias, ordinais ou categóricas para garantir saída estruturada.
Extração de Características:
- Um Qwen3-VLM quantizado (Qwen3-VL-30B-A3B-Instruct, quantizado nf4) é usado para responder a essas perguntas direcionadas para cada meme.
- O modelo recebe a imagem do meme e a pergunta específica da LF.
- As respostas são mapeadas para inteiros, criando um vetor de características para cada meme.
Classificação:
- Um classificador Random Forest leve (500 estimadores) é treinado nesses vetores de características para cada idioma.
- O modelo utiliza pesos de classe balanceados para lidar com conjuntos de dados desbalanceados.
Refinamento Iterativo:
- AddLF (Expansão de Função de Rotulagem): A equipe analisou exemplos mal classificados para identificar padrões recorrentes (por exemplo, identidade do narrador) não capturados pelas LFs iniciais, adicionando 30 novas perguntas.
- Estratégias de Poda: Dois métodos foram empregados para reduzir redundância e ruído:
  - F1Prune: Remove características uma a uma de forma gananciosa se o Macro-F1 de validação melhorar.
  - ImpPrune: Remove as $k$ características menos importantes com base nas pontuações de importância de características do Random Forest.

3. Contribuições Principais

Novo Framework: Introdução de uma abordagem PWS para detecção de discurso de ódio multimodal que substitui o prompting frágil de ponta a ponta por características estruturadas e interpretáveis baseadas em perguntas.
Desempenho Multilíngue: O método supera significativamente a classificação direta por VLM, particularmente em idiomas de recursos limitados ou culturalmente distintos (chinês e hindi).
Interpretabilidade: Ao analisar a importância das características e o agrupamento (via UMAP), os autores fornecem insights sobre por que o modelo toma decisões, revelando redundância e complementaridade entre as funções de rotulagem.
Resultados de Ponta: O sistema alcançou os primeiros lugares na tarefa compartilhada LT-EDI 2026 (1º em inglês, 2º em chinês, 3º em hindi).

4. Resultados Experimentais

O sistema foi avaliado no conjunto de dados LT-EDI 2026 de Classificação de Memes de Homofobia e Transfobia (inglês, hindi, chinês).

Método	Inglês (Macro-F1)	Chinês (Macro-F1)	Hindi (Macro-F1)	Todos (Agregado)
Qwen3-VL Direto	0,77	0,32	0,21	0,13
Direto c/ Raciocínio	0,67	0,10	0,08	0,10
Modelo Base PWS	0,85	0,66	0,64	0,47
AddLF + ImpPrune	0,85	0,72	0,67	0,44

Diferença de Desempenho: A abordagem PWS superou significativamente o prompting direto de VLM. A lacuna foi mais pronunciada em chinês e hindi, onde o prompting direto lutou (0,32 e 0,21 versus 0,72 e 0,67).
Impacto do Refinamento:
- AddLF consistentemente melhorou ou manteve o desempenho, especialmente para idiomas não ingleses.
- ImpPrune foi mais eficaz que o F1Prune para desempenho por idioma, reduzindo as características de 89 para 33 para o hindi enquanto melhorava as pontuações, indicando que muitas LFs iniciais eram ruidosas ou redundantes.
Análise Cross-Lingual:
- F1Prune removeu principalmente características específicas de idioma (baixa similaridade de Jaccard entre idiomas).
- ImpPrune removeu um grande conjunto de características compartilhadas e não informativas (alta similaridade de Jaccard), sugerindo a presença de "sinais fracos" agnósticos de idioma que prejudicavam o desempenho.

5. Significado e Insights

PQ1 (Eficácia): A supervisão fraca promptada é uma estratégia superior para detecção de discurso de ódio em memes, oferecendo robustez contra a fragilidade de prompts únicos de VLM.
PQ2 (Idioma/Cultura): Embora o método melhore o desempenho multilíngue, a análise revelou que LFs centradas no inglês (refletindo perspectivas ocidentais sobre questões queer) podem não transferir perfeitamente. No entanto, a poda ajuda a isolar sinais específicos de idioma.
PQ3 (Comportamento do Modelo): A análise de características mostrou que um pequeno subconjunto de LFs carrega a maioria do peso preditivo. Algumas características são redundantes (por exemplo, perguntar sobre orientação sexual de maneiras ligeiramente diferentes), enquanto outras fornecem informações complementares (por exemplo, distinguir posições neutras).
Limitações e Trabalho Futuro:
- Viés Cultural: As LFs foram projetadas principalmente a partir de uma perspectiva ocidental, potencialmente perdendo marcadores culturalmente específicos em hindi e chinês.
- OCR: A falta de uma etapa dedicada de OCR significa que o texto embutido nas imagens é processado conjuntamente com a imagem, potencialmente introduzindo erros.
- Direções Futuras: Incorporar OCR explícito, prompting adaptativo culturalmente e perspectivas diversas no design de LFs para melhorar a generalizabilidade sem retreinamento caro.

Conclusão

O artigo demonstra que decompor tarefas multimodais complexas em perguntas direcionadas permite uma detecção de discurso de ódio mais robusta e interpretável. Ao aproveitar um VLM quantizado para extração de características e um classificador leve para agregação, os autores alcançaram resultados de ponta em uma tarefa compartilhada multilíngue, provando que "fazer as perguntas certas" é mais eficaz do que "adivinhar a resposta certa" em um único tiro.