💬 NLP

BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

O artigo da equipe BioSentinel detalha sua participação na tarefa 2.2 do EXIST 2026, onde empregaram um modelo baseado em XLM-RoBERTa treinado com uma função de perda composta para equilibrar efetivamente as previsões de rótulos suaves (soft-label) e rótulos rígidos (hard-label) para classificar a intenção sexista em memes, alcançando, por fim, classificações específicas na avaliação do CLEF 2026.

Autores originais: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma praça de cidade gigante e caótica, onde todos estão gritando, sussurrando e desenhando figuras nas paredes. Às vezes, essas figuras (chamadas de "memes") são apenas piadas engraçadas, mas outras vezes, elas escondem comentários maldosos sobre gênero que são difíceis de detectar. Este é o mundo da detecção de sexismo, um ramo da ciência da computação onde ensinamos as máquinas a ler o ambiente e entender se uma piada é inofensiva ou ofensiva.

Mas aqui está a parte complicada: os humanos nem sempre concordam sobre o que é maldoso. Uma pessoa pode ver um meme como um insulto direto, enquanto outra acha que é apenas uma piada irônica e sutil, e uma terceira pode não ver nada de errado. Isso é chamado de desacordo. No passado, os computadores eram ensinados a escolher apenas uma "resposta certa", como um professor corrigindo uma prova com um gabarito único. No entanto, este artigo argumenta que, quando os humanos não concordam, o computador não deve apenas adivinhar uma resposta; ele deve aprender a entender a amplitude das opiniões, de forma semelhante a uma previsão do tempo que diz "há 60% de chance de chuva" em vez de apenas gritar "está chovendo!". Essa abordagem é chamada de Aprendizado com Desacordo (Learning with Disagreement), e ajuda as máquinas a serem mais sutis e menos excessivamente confiantes.

A Missão da Equipe BioSentinel: Ler o Texto, Ignorar a Imagem

Conheça a equipe BioSentinel, um grupo de pesquisadores que entrou em uma competição de alto nível chamada EXIST 2026. O desafio deles? Construir um robô que pudesse olhar para memes e decidir se o criador estava sendo direto (obviamente sexista), preconceituoso/julgador (usando ironia ou pistas sutis) ou não (não é sexista).

A reviravolta? A competição não queria apenas que o robô escolhesse um rótulo. Ela queria que o robô cuspisse uma distribuição de probabilidade — uma maneira sofisticada de dizer: "Estou 70% seguro de que isso é direto, 20% seguro de que é preconceituoso e 10% seguro de que é inofensivo". Isso imita como um grupo de juízes humanos poderia votar de forma diferente sobre o mesmo meme.

A Estratégia: Um Detetive Apenas de Texto

A equipe, liderada por Chandru Munisamy e amigos da Índia, decidiu jogar um jogo muito específico. Embora memes sejam imagens com texto, eles escolheram ignorar as imagens inteiramente. Eles agiram como um detetive que apenas lê a transcrição de uma conversa, ignorando as expressões faciais e a linguagem corporal.

Por quê? Eles queriam ver se conseguiam ser realmente bons em entender as palavras e a incerteza dos rótulos sem se distraírem com a parte visual desordenada. Eles usaram um poderoso "cérebro linguístico" chamado XLM-RoBERTa (um modelo com 270 milhões de parâmetros que fala tanto inglês quanto espanhol) e ensinaram a ele um truque especial.

Em vez de apenas dizer ao modelo: "Esta é a resposta", eles deram dois tipos de lição de casa:

A Lição de Casa Suave: "Aqui está como os humanos votaram. Tente corresponder a essa mistura exata de opiniões." Eles usaram uma ferramenta matemática chamada Divergência KL para fazer com que os palpites do modelo se parecessem com o padrão de votação humano.
A Lição de Casa Dura: "Aqui está o vencedor oficial da votação. Certifique-se de acertar isso também." Eles usaram uma ferramenta padrão chamada Entropia Cruzada Ponderada (Weighted Cross-Entropy) para garantir que o modelo não ficasse muito confuso.

Ao misturar essas duas lições (70% suave, 30% dura), eles esperavam criar um modelo que fosse ao mesmo tempo preciso e consciente do desacordo humano.

Os Resultados: Um Desempenho Sólido, Mas Não Perfeito

Quando a equipe BioSentinel testou seu sistema no exame oficial (o conjunto de teste), eis o que aconteceu:

Pontuação de Rótulo Suave (Soft-Label): Eles alcançaram uma pontuação de 0,3229 (chamada de ICM-Soft-Norm). Isso foi melhor do que um robô básico que apenas "adivinha a resposta mais comum", que obteve 0,2835.
Pontuação de Rótulo Duro (Hard-Label): Para escolher a melhor resposta única, eles pontuaram 0,4236 (F1-score).
Classificação: De 118 equipes que enviaram previsões de rótulo suave, eles ficaram em 40º lugar. De 187 equipes enviando previsões de rótulo duro, ficaram em 49º.

A equipe descobriu que seu método de treinamento de "mistura e combinação" funcionou. Quando removeram a lição "suave" (a divergência KL), sua capacidade de corresponder às opiniões humanas caiu drasticamente (de 0,312 para 0,142). Quando removeram a lição "dura", sua precisão em respostas únicas caiu. A combinação foi a chave para o sucesso.

A Luta com o "Preconceito/Julgamento"

No entanto, o robô tinha um ponto cego. Ele foi péssimo em detectar o sexismo preconceituoso/julgador (aquele tipo sutil e irônico). Sua pontuação para essa categoria específica foi de um valor muito baixo: 0,071.

Por quê? A equipe percebeu que, sem a imagem, o robô estava perdendo o "punchline" (o ápio da piada). Muitos desses memes dependem de uma piada visual — como uma caricatura ou uma expressão facial específica — que o texto sozinho não consegue explicar. Por exemplo, um texto dizendo "Sentado à mesa da sua família..." pode parecer inocente, mas se a foto mostra um pai recebendo o maior peixe e a mãe recebendo o menor, a piada fica clara. Sem a imagem, o robô viu apenas uma frase neutra.

A equipe também notou algo curioso sobre como o robô aprendeu. Durante os dois primeiros dias de treinamento, ele sequer chegou a adivinhar "preconceituoso" uma única vez. Ele só começou a entender essa categoria difícil depois que já havia aprendido a diferenciar entre "inofensivo" e "direto". Isso sugere que o conteúdo sutil é o mais difícil de aprender e pode precisar de mais tempo ou treinamento especial.

O Que Eles Não Fizeram (E Por Que Isso Importa)

O artigo é muito honesto sobre o que eles não fizeram. Eles não tentaram usar os dados de ondas cerebrais (EEG) ou dados de rastreamento ocular que os organizadores da competição forneceram. Por quê? Porque os dados não coincidiam entre os conjuntos de treinamento e de teste. Eles também não tentaram usar modelos maiores e mais complexos porque, em sua configuração específica, esses modelos tornaram-se instáveis e confusos.

Eles também testaram uma configuração de "temperatura" (um botão que torna os palpites do robô mais ou menos confiantes). Em seu teste de prática, girar esse botão para 0,7 tornou o robô ligeiramente melhor em corresponder às opiniões humanas (elevando a pontuação de 0,317 para 0,326) e tornou sua confiança mais realista. No entanto, para o teste oficial final, eles mantiveram as configurações padrão para segurança.

A Conclusão

A equipe BioSentinel mostrou que é possível construir um detector de sexismo decente usando apenas texto, desde que você o ensine a respeitar o desacordo humano. Ao usar uma mistura de lições "suaves" e "duras", eles criaram um modelo que entende as áreas cinzentas da opinião humana melhor do que os métodos antigos.

Mas o artigo também nos avisa: se você quiser capturar as piadas sutis e irônicas, não pode apenas ler o texto. Você precisa ver a imagem. A dificuldade do robô com a categoria "preconceituosa/julgadora" prova que, às vezes, o contexto visual é a única coisa que faz a piada (ou o insulto) fazer sentido. A equipe sugere que os futuros robôs devem tentar olhar tanto para as palavras quanto para as imagens para obter a história completa.

Resumo Técnico: BioSentinel no EXIST 2026

Definição do Problema
Este artigo aborda a Tarefa 2.2 do EXIST 2026, "Intenção de Fonte em Memes", um desafio focado na classificação da intenção comunicativa por trás de memes que contêm conteúdo potencialmente sexista. A tarefa opera sob um paradigma de Aprendizado com Desacordo (Le-Wi-Di - Learning with Disagreement), exigindo que os modelos prevejam não apenas um rótulo rígido único (direto, de julgamento ou nenhum), mas também uma distribuição de probabilidade suave que reflita a variância nas opiniões dos anotadores humanos. O conjunto de dados consiste em 3.984 instâncias de treinamento e 1.053 de teste em inglês e espanhol, cada uma anotada por seis avaliadores humanos. Um desafio fundamental é a subjetividade inerente ao sexismo "de julgamento" (implícito/irônico), onde os anotadores frequentemente discordam, e o desequilíbrio de classes, com a categoria "julgamento" representando apenas 14,2% das instâncias resolvíveis.

Metodologia
A equipe BioSentinel propõe uma abordagem centrada no texto utilizando o transformer xlm-roberta-base (270 milhões de parâmetros). O sistema exclui deliberadamente dados de imagem e de sensores fisiológicos (EEG, rastreamento ocular) para isolar a eficácia da otimização de rótulos suaves no texto, citando problemas com recursos ausentes e sincronização nos dados multimodais.

A inovação central reside na função de perda composta projetada para lidar com o paradigma Le-Wi-Di:
$\mathcal{L}_{train} = \alpha \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{CE}$

Divergência KL ( $\mathcal{L}_{KL}$ ): Minimiza a divergência entre a distribuição prevista pelo modelo e a distribuição suave de referência (gold) derivada dos votos dos anotadores. Este termo ( $\alpha=0,7$ ) é o principal motor para alinhar as previsões com a incerteza humana.
Entropia Cruzada Ponderada ( $\mathcal{L}_{CE}$ ): Aplicada a instâncias com rótulos rígidos oficiais, utilizando pesos de classe normalizados fixos para penalizar mais pesadamente a classe sub-representada "julgamento" ( $\beta=0,3$ ).
Arquitetura: O modelo processa o texto extraído via OCR através do XLM-RoBERTa, seguido por uma cabeça de classificação (768 $\to$ 256 $\to$ 3).
Configuração de Treinamento: Treinado por 6 épocas em GPUs NVIDIA A100 usando AdamW com uma taxa de aprendizado de $2 \times 10^{-5}$ . O checkpoint final (Época 4) foi selecionado com base na divergência KL mínima de validação.
Análise de Temperatura: Embora as previsões oficiais de teste tenham usado softmax bruto ( $T=1,0$ ), uma análise post-hoc no conjunto de validação indicou que uma temperatura de $T=0,7$ melhorou as métricas de rótulo suave e reduziu o Erro de Calibração Esperado (ECE).

Resultados Principais
No conjunto de teste oficial, o sistema alcançou o seguinte desempenho:

ICM-Soft-Norm: 0,3229 (Classificação 40ª de 118 submissões).
ICM-Norm: 0,3778.
Hard Macro-F1: 0,4236 (Classificação 49ª de 187 submissões).

O sistema superou significativamente o baseline de classe majoritária (F1 = 0,1676) e o baseline de distribuição prévia (ICM-Soft-Norm = 0,2835).

Ablação e Análise

Contribuição da Perda: Estudos de ablação confirmaram que a divergência KL é crítica para o desempenho de rótulo suave (o ICM-Soft-Norm caiu de 0,312 para 0,142 quando removida), enquanto a Entropia Cruzada é essencial para a precisão de rótulo rígido (o F1 caiu de 0,348 para 0,294 quando removida).
Desempenho de Classe: O modelo teve dificuldades significativas com a classe "julgamento" (F1 = 0,071). A análise de erro sugere que isso se deve à dependência exclusiva do texto de OCR, que perde o contexto visual, a ironia e os tropos culturais essenciais para identificar o sexismo implícito.
Comportamento de Cold-Start: O modelo exibiu um fenômeno de "cold-start", produzindo zero previsões de "julgamento" nas duas primeiras épocas, indicando uma dificuldade em aprender padrões sutis sem treinamento estendido ou aumento de dados específico.
Estabilidade da Arquitetura: Execuções exploratórias com modelos maiores (Gemma 2 2B, DeBERTa-v3-large, XLM-RoBERTa-large) foram menos estáveis que o modelo base sob os mesmos hiperparâmetros, frequentemente divergindo ou convergindo para previsões de classe majoritária.

Significância e Alegações
Os autores posicionam este trabalho como uma demonstração de que a otimização de rótulo suave via divergência KL captura efetivamente o desacordo dos anotadores em tarefas de PLN subjetivas, superando abordagens padrão de voto majoritário. O artigo afirma que combinar a divergência KL com entropia cruzada ponderada permite que um modelo leve, apenas de texto, equilibre o alinhamento distributivo com a precisão de rótulo rígido.

Os autores mantêm uma postura modesta em relação às suas descobertas:

Limitações: Eles reconhecem que a abordagem apenas de texto falha inerentemente em capturar interações texto-visuais centrais para a interpretação de memes, particularmente para a classe "julgamento".
Escopo: As questões de estabilidade com modelos maiores são apresentadas como observações exploratórias, e não conclusões definitivas sobre a escala do modelo, observando que uma busca dedicada de hiperparâmetros seria necessária para a generalização.
Ética: O artigo alerta explicitamente contra o uso de tais sistemas para moderação de conteúdo automatizada sem supervisão humana, devido aos riscos de censura injusta e propagação de conteúdo nocivo via falsos negativos.

Em conclusão, o sistema BioSentinel valida a utilidade do paradigma Le-Wi-Di e das funções de perda compostas para a detecção de sexismo em memes, ao mesmo tempo em que destaca os desafios específicos de modelar a intenção implícita sem contexto multimodal.