When Surface Form Changes Moderation Decisions: A Paired Study of Code-Mixed Workflow Instability

Resumo Técnico: Quando a Mudança na Forma de Superfície Altera Decisões de Moderação

Definição do Problema
A pesquisa atual sobre moderação de discurso de ódio avalia predominantemente os modelos como classificadores binários em entradas de inglês limpo, utilizando métricas como acurácia, F1 ou AUC. No entanto, sistemas de moderação implantados operam como pipelines de fluxo de trabalho que roteiam o conteúdo para ações específicas: PERMITIR (ALLOW), SINALIZAR (FLAG) ou REVISAR (REVIEW). Isso cria uma incompatibilidade entre a avaliação de classificação padrão e a realidade operacional da moderação de conteúdo. O artigo argumenta que essa discrepância é exacerbada em ambientes multilíngues onde usuários frequentemente empregam entradas de código misto (ex: Tamil–Inglês). Embora trabalhos anteriores tenham identificado lacunas de robustez em configurações multilíngues, permanece incerto como variações na forma de superfície (como o código misto) alteram as ações de moderação roteadas sob pontos de operação fixos ajustados em dados limpos. Especificamente, o estudo investiga se conteúdos semanticamente equivalentes expressos em diferentes formas de superfície disparam decisões de moderação distintas, levando à instabilidade do fluxo de trabalho.

Metodologia
Os autores empregam um cenário de avaliação pareada para isolar os efeitos da variação de superfície das diferenças de composição de dataset.

• Construção de Dados: Partindo de exemplos de discurso de ódio em inglês rotulados (de HateBenchSet), os autores constroem variantes em código misto Tamil–Inglês e variantes apenas em Tamil semanticamente alinhadas. O processo de geração segue o pipeline CodeMixBench, com inspeção manual de um subconjunto aleatório para garantir a preservação semântica e a consistência dos rótulos. Aproximadamente 25% dos candidatos gerados foram filtrados devido a deriva semântica ou geração malformada.
• Arquitetura do Pipeline: Um pipeline de moderação de referência é definido onde um detector pré-treinado (mBERT ajustado) produz um escore de risco $s(x)$. Uma camada de decisão mapeia este escore para três ações baseadas em limiares $\tau_{low}$ e $\tau_{high}$:
  • PERMITIR (ALLOW) se $s(x) < \tau_{low}$
  • SINALIZAR (FLAG) se $s(x) > \tau_{high}$
  • REVISAR (REVIEW) caso contrário.
• Ponto de Operação: Os limiares são ajustados em um conjunto de desenvolvimento de inglês limpo para minimizar a taxa de revisão sujeito a orçamentos estritos para Falso-Aceite de Ódio (HFA $\le$ 0,05) e Falso-Sinalização de Não-Ódio (NFF $\le$ 0,10). Esses limiares são então congelados e aplicados aos conjuntos de teste limpos, de código misto e em Tamil sem reajuste.
• Métricas: O estudo foca em métricas de nível de fluxo de trabalho:
  • HFA: Probabilidade de permitir conteúdo de ódio.
  • NFF: Probabilidade de sinalizar conteúdo não odioso.
  • Taxa de Revisão (RR): Probabilidade de rotear para revisão humana.
  • Taxa de Inversão de Decisão (Decision Flip Rate): A fração de exemplos pareados onde a ação roteada muda entre as visões limpa e estressada (código misto/Tamil).
• Estratégias de Intervenção: Os autores avaliam duas estratégias de adiamento para mitigar erros:
  1. Abstenção Baseada em Confiança: Roteamento de previsões de visão única de baixa confiança para REVISÃO.
  2. Adiamento Baseado em Desacordo: Roteamento de casos para REVISÃO se as ações roteadas das visões pareadas (limpa vs. código misto) divergirem.

Principais Contribuições

1. Framework de Avaliação de Nível de Fluxo de Trabalho: O artigo desloca o foco da acurácia de classificação ao nível do rótulo para o comportamento de roteamento de ação (PERMITIR/SINALIZAR/REVISAR) sob pontos de operação fixos.
2. Quantificação da Instabilidade: Usando entradas limpas e de código misto pareadas, os autores demonstram que a variação de superfície causa uma instabilidade substancial nas ações de moderação, mesmo quando o significado subjacente é preservado.
3. Diferenciação de Modos de Falha: O estudo distingue entre instabilidade de código misto (variação parcial de superfície causando mudanças de ação) e degradação de cobertura linguística (falha de transferência translinguística total), mostrando que elas se manifestam de forma diferente em métricas de fluxo de trabalho.
4. Análise de Adiamento: O artigo testa uma regra de adiamento simples, sem necessidade de treinamento, baseada em desacordo, analisando seu trade-off entre a redução de erros automáticos e o aumento da carga de revisão humana.

Resultados

• Instabilidade de Decisão: Sob limiares ajustados em inglês limpo, as entradas de código misto produzem uma taxa de inversão de decisão pareada de 0,265 (IC 95% [0,251, 0,281]). Isso significa que mais de um quarto do mesmo conteúdo recebe uma ação de moderação diferente apenas devido à variação de superfície.
• Efeitos no Fluxo de Trabalho:
  • Carga de Revisão: A taxa de revisão aumenta significativamente de 0,138 (limpo) para 0,297 (código misto).
  • Falso-Sinalização: A taxa de falso-sinalização de não-ódio (NFF) sobe de 0,069 para 0,104.
  • Falso-Aceite: Curiosamente, a taxa de falso-aceite de ódio (HFA) diminui (de 0,040 para 0,011), indicando que o código misto torna o modelo mais conservador, deslocando casos de "Permitir" para "Revisar" ou "Sinalizar", em vez de aumentar a aceitação de conteúdo prejudicial.
• Tamil-Somente vs. Código Misto: Entradas apenas em Tamil mostram uma degradação ainda mais forte (Taxa de inversão 0,557, Taxa de revisão 0,637), sugerindo uma limitação de cobertura linguística mais ampla do que o padrão específico de instabilidade visto no código misto.
• Estratégias de Adiamento:
  • Abstenção Baseada em Confiança: Reduz o NFF em entradas de código misto (0,104 $\to$ 0,032), mas aumenta a taxa de revisão para 0,417.
  • Adiamento Baseado em Desacordo: Alcança um HFA menor (0,003) e uma taxa de revisão moderada (0,355), mas resulta em um NFF maior (0,046) comparado à abstenção por confiança.
• Sensibilidade do Modelo: Diferentes backbones exibem variadas instabilidades. Enquanto o mBERT mostra uma taxa de inversão de 0,265, o MetaHateBERT apresenta uma taxa de 0,608 com um aumento acentuado no NFF, e o HateBERT zero-shot colapsa para um regime de revisão próximo a 100%.

Significância e Alegações
O artigo afirma que a avaliação de nível de fluxo de trabalho revela falhas de moderação que os resumos de classificação padrão não capturam. Especificamente:

• Métricas padrão (como acurácia ou F1) podem mascarar riscos operacionais porque não capturam a redistribuição de ações (ex: um deslocamento de "Permitir" para "Revisar" pode parecer uma mudança de classificação "correta", mas representa um aumento significativo no custo operacional e potencial fricção do usuário).
• O principal efeito do código misto neste cenário não é um aumento uniforme em todos os tipos de erro, mas uma redistribuição de ações que aumenta a carga de revisão humana e a taxa de falso-sinalização de conteúdo não odioso.
• O desacordo entre visões pareadas pode servir como um sinal prático de incerteza para reduzir erros automáticos, mas isso ocorre ao custo de uma maior carga de revisão, destacando um trade-off fundamental em pipelines de segurança.
• As descobertas sugerem que a robustez na moderação deve ser avaliada no nível das ações implantadas, e não apenas na previsão de rótulos, pois as variações na forma de superfície podem alterar materialmente as decisões subsequentes, mesmo quando o conteúdo semântico permanece inalterado.

Os autores mantêm um escopo modesto, observando que seus resultados são específicos para o cenário Tamil–Inglês e para o pipeline de geração utilizado, e não pretendem oferecer um sistema implantável ou um relato abrangente de todos os cenários de moderação multilíngue.