CoGate-LSTM: Prototype-Guided Feature-Space Gating for Mitigating Gradient Dilution in Imbalanced Toxic Comment Classification

Resumo Técnico: CoGate-LSTM

1. O Problema

A classificação de comentários tóxicos para moderação online enfrenta dois desafios principais:

• Desequilíbrio Extremo de Classes: Em conjuntos de dados reais (como o Jigsaw Toxic Comment), as classes de alto risco e raras (ex: threat, severe_toxic, identity_hate) representam uma fração mínima dos dados (muitas vezes <1%).
• Diluição de Gradiente: Em modelos convencionais, o gradiente de atualização é dominado pela classe majoritária (não tóxica). À medida que o desequilíbrio aumenta, a contribuição dos exemplos minoritários para a atualização dos pesos do modelo tende a zero, fazendo com que o modelo "esqueça" ou sub-represente as classes raras.
• Limitações dos Modelos Atuais:
  • Modelos clássicos (SVM, XGBoost) são eficientes, mas falham em capturar toxicidade contextual ou implícita.
  • Modelos baseados em Transformers (como BERT) têm alto desempenho médio, mas sofrem com baixa recall nas classes minoritárias e possuem custos de inferência proibitivos para aplicações em tempo real em CPU.

2. Metodologia: CoGate-LSTM

O CoGate-LSTM é uma arquitetura recorrente leve e eficiente projetada para mitigar a diluição de gradiente através de um mecanismo de portão (gating) baseado em similaridade cosseno no espaço de características.

Componentes Principais:

1. Mecanismo de Portão por Similaridade Cosseno (Cosine-Similarity Feature Gating):

   • Diferente da atenção tradicional que repondera a posição dos tokens, este mecanismo opera no nível das dimensões das características.
   • Um vetor de referência aprendível ($v$) codifica uma direção prototípica de toxicidade.
   • Para cada embedding de token ($\tilde{e}_t$), calcula-se a similaridade cosseno com $v$.
   • Um portão escalar ($g_t$) é gerado via função sigmoide: $g_t = \sigma(\beta \cdot \text{sim}_t)$.
   • Efeito: Se o token estiver alinhado com a toxicidade ($\text{sim}_t > 0$), o portão se aproxima de 1 (preservando o embedding). Se for benigno, o portão se aproxima de 0 (suprimindo o embedding). Isso amplifica seletivamente os sinais das classes minoritárias no espaço de características.

2. Fusão de Embeddings Multi-fonte:

   • Combina embeddings congelados de três fontes para capturar diferentes nuances:
     • GloVe: Estrutura de co-ocorrência global.
     • FastText: Morfologia e subpalavras (robusto a ofuscação).
     • BERT-CLS: Semântica contextual (usado apenas como fonte de features, sem fine-tuning completo do BERT).
   • Esses vetores são concatenados e projetados para um espaço compartilhado antes de passar pelo portão.

3. Arquitetura de Codificação:

   • BiLSTM em Nível de Caracteres: Um BiLSTM paralelo processa a sequência de caracteres para capturar variações de subpalavras e ofuscação (ex: "t0xic").
   • BiLSTM em Nível de Palavras: Processa a sequência de embeddings portões.
   • Atenção Multi-cabeça e Normalização: Adicionada após o BiLSTM para refinar a representação.
   • Fusão: As saídas dos níveis de palavra e caractere são concatenadas e passadas por um classificador MLP.

4. Treinamento e Rebalanceamento:

   • SMOTE no Espaço de Embeddings: Gera exemplos sintéticos minoritários através de interpolação linear entre embeddings de toxicidade, evitando a manipulação de texto bruto.
   • Loss Weighted Focal Loss: Penaliza mais os exemplos difíceis e as classes minoritárias, ajustando os pesos inversamente à frequência.

3. Contribuições Chave

1. Mecanismo de Portão Direcional: Propõe o primeiro mecanismo de portão baseado em similaridade cosseno que amplifica sinais de minorias no nível do embedding, demonstrando ser superior a portões lineares ou MLPs em cenários de desequilíbrio severo.
2. Arquitetura Eficiente para CPU: Integra embeddings congelados, codificação de caracteres e SMOTE em um modelo leve (7,3M parâmetros), capaz de rodar em CPUs com baixa latência.
3. Análise Abrangente: Fornece uma avaliação detalhada no benchmark Jigsaw, incluindo ablações, sensibilidade a hiperparâmetros, análise de erro por comprimento de texto e transferência zero-shot para outro domínio (CAD).

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados Jigsaw Toxic Comment Classification:

• Desempenho Geral:
  • Macro-F1: 0,881 (95% CI: [0,873, 0,889]).
  • Acurácia: 96,0%.
  • Comparação: Superou o BERT ajustado (fine-tuned) em +6,9 pontos de Macro-F1 e o XGBoost em +4,7 pontos.
• Desempenho em Classes Minoritárias (Onde o modelo brilha):
  • severe_toxic: +71% de melhoria no F1 em relação ao BERT.
  • threat: +33% de melhoria.
  • identity_hate: +28% de melhoria.
• Eficiência e Escalabilidade:
  • Parâmetros: 7,3M (aprox. 15x menos que o BERT).
  • Latência: 48 ms por comentário (apenas o classificador, com embeddings BERT pré-computados) em uma única thread de CPU. O BERT leva ~520 ms.
  • Throughput: Capaz de processar ~166 comentários/segundo em uma máquina de 8 núcleos.
• Ablações:
  • A remoção do portão de similaridade cosseno causou a maior queda de desempenho (-4,8 pontos de Macro-F1), confirmando-o como o componente principal.
  • A fusão de embeddings multi-fonte e a codificação de caracteres também trouxeram ganhos significativos (-2,4 e -2,9 pontos, respectivamente, quando removidos).

5. Significância e Impacto

O CoGate-LSTM demonstra que é possível alcançar desempenho de ponta na detecção de toxicidade sem depender de modelos Transformer massivos e custosos.

• Viabilidade de Implantação: Oferece uma solução viável para moderação em tempo real em hardware limitado (CPU), reduzindo custos operacionais e latência.
• Justiça e Robustez: Ao focar especificamente na amplificação de sinais de classes raras, o modelo reduz o viés de negligência contra categorias de alto risco (como ameaças e ódio à identidade), que são frequentemente ignoradas por modelos padrão.
• Interpretabilidade: O mecanismo de portão baseado em protótipos oferece uma forma de entender quais direções no espaço de características estão sendo amplificadas para identificar toxicidade.

Em resumo, o trabalho propõe uma alternativa elegante e eficiente aos modelos "brutos" de grande escala, resolvendo o problema fundamental da diluição de gradiente em dados desbalanceados através de um controle direcional inteligente das características de entrada.