Resumo Técnico: Aprendizado Contínuo com Modelos Fundacionais Multilíngues para Detecção de Insultos Reapropriados

Declaração do Problema

Sistemas automatizados de moderação de conteúdo enfrentam desafios significativos em distinguir entre discurso de ódio e linguagem reapropriada, particularmente no contexto LGBTQ+. Insultos reapropriados são termos historicamente ofensivos reaproveitados por comunidades marginalizadas para autoempoderamento e solidariedade. Quando algoritmos falham em reconhecer esse contexto, correm o risco de sinalizar postagens inofensivas como tóxicas ou de deixar passar discurso de ódio real. Este artigo aborda a tarefa MultiPride na EVALITA 2026, que foca na detecção do uso reapropriado versus não reapropriado de insultos relacionados ao LGBTQ+ em tuítes em inglês, espanhol e italiano.

A tarefa é caracterizada por três obstáculos metodológicos primários:

1. Escassez de Dados: Disponibilidade limitada de dados de treinamento rotulados.
2. Desequilíbrio de Classes: Uma disparidade significativa entre instâncias reapropriadas (minoritárias) e não reapropriadas (majoritárias), variando de 9% (inglês) a 24% (italiano).
3. Variação Cross-Linguística: Diferenças culturais e linguísticas na forma como a reapropriação é expressa, significando que um modelo eficaz para sarcasmo em inglês pode falhar em capturar marcadores culturais italianos.

Metodologia

Os autores propõem um framework multilíngue de quatro estágios projetado para abordar sistematicamente esses desafios por meio de seleção de modelo orientada por dados, aumento de dados, adaptação de domínio e calibração de limiar.

1. Análise de Dados e Detecção de Viés

O framework começa com análises descritivas e testes de qui-quadrado para identificar relações estatísticas entre linguagem e distribuições de rótulos. Esta análise confirmou que os rótulos não estão distribuídos aleatoriamente entre as línguas, justificando a necessidade de estratégias específicas por idioma.

2. Seleção de Modelo Fundacional

Oito modelos de incorporação multilíngues foram avaliados usando uma abordagem de validação cruzada estratificada em cinco dobras. Os critérios de seleção priorizaram a estabilidade da pontuação F1 média macro sobre o desempenho absoluto máximo para garantir robustez contra deslocamentos na distribuição de dados.

• Modelo Selecionado: XLM-RoBERTa-large foi escolhido como modelo fundacional, alcançando uma pontuação F1 média macro de 0,7553 ± 0,04, equilibrando desempenho e eficiência computacional.

3. Aprendizado por Transferência Indutivo com Aumento de Dados (RUN 1)

Para mitigar a escassez de dados e o desequilíbrio de classes, o framework emprega:

• Aumento por Tradução Reversa: Usando o GPT-4o-mini, tuítes originais foram traduzidos para as outras duas línguas-alvo e re-traduzidos. Este esquema "um-para-muitos" triplicou o tamanho do corpus de treinamento, preservando o conteúdo semântico e mantendo as proporções originais de distribuição de classes (9–24%).
• Subamostragem Dinâmica por Época: Um amostrador de lotes personalizado impõe uma razão de 1:3 entre instâncias positivas e negativas durante o treinamento. Para cada instância positiva, três instâncias negativas são selecionadas aleatoriamente sem reposição. Esta abordagem estocástica previne o colapso da classe majoritária e o sobreajuste, garantindo que o modelo aprenda características distintivas da classe minoritária.
• Otimização de Hiperparâmetros: Utilizando o Optuna com um amostrador Estimador Parzen Estruturado em Árvore (TPE) e um Podador Mediano para buscar eficientemente as taxas de aprendizado, tamanhos de lote e decaimento de peso ótimos.

4. Integração de Conhecimento de Domínio (RUN 2)

Um caminho secundário introduz conhecimento específico de domínio via pré-treinamento de Modelagem de Linguagem Mascaramentada (MLM).

• O modelo fundacional passa por pré-treinamento MLM no conjunto de dados aumentado (15% de mascaramento de tokens) para aprofundar sua representação dos padrões de discurso LGBTQ+.
• Este modelo adaptado é então ajustado finamente usando o mesmo pipeline de aprendizado por transferência indutivo (aumento, subamostragem e validação cruzada) do RUN 1.

5. Refinamento de Limiares Específicos por Língua (RUN 3 e RUN 4)

Reconhecendo que as pontuações de confiança do modelo variam significativamente entre as línguas, o framework abandona um limiar de decisão universal (0,5).

• Análise ROC: Curvas de Característica Operacional do Receptor são analisadas independentemente para os conjuntos de validação em inglês, espanhol e italiano.
• Otimização: Os limiares de decisão são ajustados para maximizar a pontuação F1 média macro para cada língua.
  • Inglês: Limiar mais alto (~0,58) necessário devido a pontuações de confiança médias mais altas.
  • Italiano: Limiar mais baixo (~0,42) necessário para capturar pistas sutis de reapropriação.
  • Espanhol: Limiar intermediário (~0,50).
• Aplicação: O RUN 3 aplica esses limiares às previsões do RUN 1, e o RUN 4 aplica-os às previsões do RUN 2.

Resultados Chave

O framework foi avaliado em uma estação de trabalho RTX 4090 usando treinamento de precisão mista. As quatro execuções experimentais produziram os seguintes insights:

• Ganhos de Desempenho: A otimização baseada em limiar (RUN 3 e RUN 4) resultou em uma melhoria absoluta de 2–5% nas pontuações F1 sem exigir re-treinamento do modelo.
• Seleção de Modelo: O XLM-RoBERTa-large provou ser superior a incorporações de recuperação densa (por exemplo, multilingual-e5-large, bge-m3) para esta tarefa específica de classificação.
• Eficácia do Aumento: A tradução reversa expandiu com sucesso o conjunto de dados em três vezes, preservando a distribuição crítica da classe minoritária.
• Impacto do MLM: A adaptação de domínio via MLM (RUN 2) mostrou resultados dependentes da língua. Embora tenha oferecido melhorias marginais para o inglês, o espanhol e o italiano exibiram respostas variáveis, sugerindo que línguas morfologicamente ricas com dados de pré-treinamento limitados criam paisagens de otimização diferentes que exigem ajuste preciso de hiperparâmetros.
• Análise de Erros:
  • Inglês: Erros frequentemente envolviam confundir sarcasmo ou discurso hipotético com reapropriação (por exemplo, questionar permissão para usar um insulto).
  • Espanhol: Erros ocorreram em contextos ativistas onde insultos foram reapropriados para opor estruturas heteronormativas.
  • Italiano: O sistema lutou com falsos negativos, perdendo marcadores culturais sutis de solidariedade de grupo interno e uso de linguagem íntima.

Significado e Alegações

O artigo afirma que uma abordagem "tamanho único" para análise de sentimentos multilíngue é insuficiente para a detecção de insultos reapropriados. As principais contribuições são:

1. Rejeição de Limiares Universais: O estudo demonstra que os limites de decisão ótimos variam significativamente entre as línguas devido a diferenças distribucionais na confiança do modelo e variação linguística. Ajustar limiares por idioma é um método computacionalmente gratuito para impulsionar significativamente o desempenho.
2. Manuseio Robusto de Desequilíbrio: A combinação de tradução reversa que preserva semântica e subamostragem dinâmica aborda efetivamente a escassez de dados e o desequilíbrio de classes sem os efeitos colaterais do reamostramento agressivo.
3. Limitações Pragmáticas: Os autores concluem modestamente que, embora o framework melhore o desempenho estatístico, modelos baseados apenas em texto lutam com nuances pragmáticas. O sistema frequentemente confunde sarcasmo com reapropriação (inglês) ou perde solidariedade implícita (italiano).
4. Direção Futura: O artigo sugere que melhorias futuras na precisão exigem ir além do texto para incluir pistas não linguísticas (emojis, tom, sinais de relacionamento social) e modelagem de discurso fundamentada culturalmente, em vez de depender exclusivamente de características lexicais.

A metodologia é totalmente reproduzível, com código e configurações experimentais disponíveis através do repositório GitHub fornecido.