When Surface Form Changes Moderation Decisions: A Paired Study of Code-Mixed Workflow Instability

Resumen Técnico: Cuando el cambio en la forma superficial altera las decisiones de moderación

Planteamiento del problema
La investigación actual sobre la moderación de discursos de odio evalúa predominantemente los modelos como clasificadores binarios sobre entradas de inglés limpio, utilizando métricas como la precisión (accuracy), F1 o AUC. Sin embargo, los sistemas de moderación desplegados operan como canales de flujo de trabajo (workflows) que dirigen el contenido hacia acciones específicas: PERMITIR (ALLOW), MARCAR (FLAG) o REVISAR (REVIEW). Esto crea un desajuste entre la evaluación de clasificación estándar y la realidad operativa de la moderación de contenido. El artículo sostiene que esta discrepancia se exacerba en entornos multilingüües donde los usuarios emplean frecuentemente entradas de código mixto (por ejemplo, tamil-inglés). Si bien trabajos previos han identificado brechas de robustez en entornos multilingües, no está claro cómo las variaciones en la forma superficial (como el código mixto) alteran las acciones de moderación dirigidas bajo puntos operativos fijos ajustados sobre datos limpios. Específicamente, el estudio investiga si el contenido semánticamente equivalente expresado en diferentes formas superficiales desencadena decisiones de moderación distintas, provocando inestabilidad en el flujo de trabajo.

Metodología
Los autores emplean un entorno de evaluación por pares para aislar los efectos de la variación superficial de las diferencias en la composición del conjunto de datos.

• Construcción de datos: Partiendo de ejemplos de discurso de odio en inglés etiquetados (de HateBenchSet), los autores construyen variantes de código mixto tamil-inglés y variantes solo en tamil semánticamente alineadas. El proceso de generación sigue el pipeline de CodeMixBench, con una inspección manual de un subconjunto aleatorio para asegurar la preservación semántica y la consistencia de las etiquetas. Aproximadamente el 25% de los candidatos generados fueron filtrados debido a deriva semántica o generación malformada.
• Arquitectura del pipeline: Se define un pipeline de moderación de referencia donde un detector preentrenado (mBERT ajustado) emite una puntuación de riesgo $s(x)$. Una capa de decisión mapea esta puntuación a tres acciones basadas en umbrales $\tau_{low}$ y $\tau_{high}$:
  • PERMITIR (ALLOW) si $s(x) < \tau_{low}$
  • MARCAR (FLAG) si $s(x) > \tau_{high}$
  • REVISAR (REVIEW) en caso contrario.
• Punto operativo: Los umbrales se ajustan en un conjunto de desarrollo de inglés limpio para minimizar la tasa de revisión sujeto a presupuestos estrictos para Falsos Aceptos de Odio (HFA $\le$ 0.05) y Falsos Marcados de No-Odio (NFF $\le$ 0.10). Estos umbrales se mantienen congelados y se aplican a los conjuntos de prueba limpios, de código mixto y de tamil sin reajuste.
• Métricas: El estudio se centra en métricas de nivel de flujo de trabajo:
  • HFA: Probabilidad de permitir contenido de odio.
  • NFF: Probabilidad de marcar contenido no de odio.
  • Tasa de Revisión (RR): Probabilidad de dirigir a revisión humana.
  • Tasa de Cambio de Decisión (Decision Flip Rate): La fracción de ejemplos emparejados donde la acción de moderación cambia entre las vistas limpia y estresada (código mixto/tamil).
• Estrategias de intervención: Los autores evalúan dos estrategias de aplazamiento (deferral) para mitigar errores:
  1. Abstención basada en la confianza: Dirigir las predicciones de vista única de baja confianza a REVISAR.
  2. Aplazamiento basado en el desacuerdo: Dirigir los casos a REVISAR si las acciones dirigidas de las vistas emparejadas (limpia vs. código mixto) discrepan.

Contribuciones clave

1. Marco de evaluación a nivel de flujo de trabajo: El artículo desplaza el enfoque de la precisión de clasificación a nivel de etiqueta hacia el comportamiento de direccionamiento de acciones (ALLOW/FLAG/REVIEW) bajo puntos operativos fijos.
2. Cuantificación de la inestabilidad: Utilizando entradas emparejadas de tipo limpio y de código mixto, los autores demuestran que la variación superficial causa una inestabilidad sustancial en la acción de moderación, incluso cuando el significado subyacente se preserva.
3. Diferenciación de modos de falla: El estudio distingue entre inestabilidad de código mixto (variación superficial parcial que causa cambios de acción) y degradación de la cobertura lingüística (falla de transferencia translingüística completa), mostrando que se manifiestan de forma distinta en las métricas de flujo de trabajo.
4. Análisis de aplazamiento: El artículo pone a prueba una regla de aplazamiento por desacuerdo simple y sin entrenamiento, analizando su compromiso (trade-off) entre la reducción de errores automáticos y el aumento de la carga de revisión humana.

Resultados

• Inestabilidad de decisión: Bajo umbrales ajustados en inglés limpio, las entradas de código mixto producen una tasa de cambio de decisión emparejada de 0.265 (IC 95% [0.251, 0.281]). Esto significa que más de una cuarta parte del mismo contenido recibe una acción de moderación diferente debido únicamente a la variación superficial.
• Efectos en el flujo de trabajo:
  • Carga de revisión: La tasa de revisión aumenta significativamente de 0.138 (limpio) a 0.297 (código mixto).
  • Falsos Marcados: La tasa de falsos marcados de no-odio (NFF) aumenta de 0.069 a 0.104.
  • Falsos Aceptos: Curiosamente, la tasa de falsos aceptos de odio (HFA) disminuye (de 0.040 a 0.011), lo que indica que el código mixto hace que el modelo sea más conservador, desplazando los casos de "Permitir" a "Revisar" o "Marcar" en lugar de aumentar la aceptación de contenido dañino.
• Solo Tamil vs. Código Mixto: Las entradas solo en tamil muestran una degradación aún más fuerte (Tasa de cambio 0.557, Tasa de revisión 0.637), lo que sugiere una limitación de cobertura lingüística más amplia en lugar del patrón específico de inestabilidad observado en el código mixto.
• Estrategias de aplazamiento:
  • Abstención basada en la confianza: Reduce el NFF en entradas de código mixto (0.104 $\to$ 0.032) pero aumenta la tasa de revisión a 0.417.
  • Aplazamiento basado en el desacuerdo: Logra un HFA más bajo (0.003) y una tasa de revisión moderada (0.355) pero resulta en un NFF más alto (0.046) en comparación con la abstención por confianza.
• Sensibilidad del modelo: Diferentes arquitecturas (backbones) exhiben distinta inestabilidad. Mientras que mBERT muestra una tasa de cambio de 0.265, MetaHateBERT muestra una tasa de 0.608 con un aumento agudo en NFF, y el modelo zero-shot HateBERT colapsa hacia un régimen de revisión cercano al 100%.

Significancia y Reivindicaciones
El artículo sostiene que la evaluación a nivel de flujo de trabajo revela fallas de moderación que los resúmenes de clasificación estándar pasan por alto. Específicamente:

• Las métricas estándar (como precisión o F1) pueden enmascarar riesgos operativos porque no capturan la redistribución de acciones (por ejemplo, un cambio de "Permitir" a "Revisar" puede parecer un cambio de clasificación "correcto", pero representa un aumento significativo en el costo operativo y en la fricción potencial para el usuario).
• El efecto principal del código mixto en este entorno no es un aumento uniforme en todos los tipos de error, sino una redistribución de acciones que aumenta la carga de revisión humana y la tasa de falsos marcados para contenido no de odio.
• El desacuerdo entre las vistas emparejadas puede servir como una señal práctica de incertidumbre para reducir los errores automáticos, pero esto conlleva el costo de una mayor carga de revisión, resaltando un compromiso fundamental en los pipelines de seguridad.
• Los hallazgos sugieren que la robustez en la moderación debe evaluarse al nivel de las acciones desplegadas en lugar de solo la predicción de etiquetas, ya que las variaciones en la forma superficial pueden alterar materialmente las decisiones posteriores incluso cuando el contenido semántico permanece inalterado.

Los autores mantienen un alcance modesto, señalando que sus resultados son específicos para el entorno tamil-inglés y el pipeline de generación utilizado, y no pretenden ofrecer un sistema desplegable ni un relato exhaustivo de todos los escenarios de moderación multilingües.