Resumen Técnico: Detección de Toxicidad Justa y Calibrada con Entrenamiento Robusto y Abstención

Declaración del Problema

Los clasificadores de toxicidad frecuentemente aprenden correlaciones espurias entre menciones de identidad (por ejemplo, "blanco", "musulmán", "gay") y etiquetas de toxicidad. Dado que el discurso de odio a menudo coocurre con menciones de grupos protegidos, los modelos tratan los términos de identidad como señales de toxicidad. Esto conduce a falsos positivos sistemáticos donde contenido neutral o antirracista que menciona estas identidades es penalizado desproporcionadamente.

Las evaluaciones estándar suelen centrarse en métricas de clasificación (como el AUC de BPSN/BNSP) mientras tratan la calibración y la abstención como preocupaciones de calidad separadas. Este artículo argumenta que dicha separación es engañosa por tres razones:

1. La Disparidad de Calibración es una Violación de la Equidad: Si las puntuaciones de confianza corresponden a diferentes niveles de precisión entre grupos, las decisiones basadas en umbrales son inherentemente sesgadas.
2. La Eficacia de la Abstención es una Propiedad de Equidad: La deferencia basada en la confianza solo funciona como un mecanismo de seguridad si la confianza rastrea la corrección de manera uniforme en todos los subgrupos.
3. Dependencia Post-hoc: Las intervenciones como el escalado de temperatura o la optimización de umbrales tienen éxito o fracasan en función de cómo el método de entrenamiento moldeó la distribución de probabilidad subyacente.

El artículo propone un marco integrado que evalúa los clasificadores de toxicidad en tres ejes: clasificación, calibración y abstención.

Metodología

Datos

El estudio utiliza el conjunto de datos Civil Comments (Jigsaw), estratificado y muestreado aleatoriamente hacia abajo hasta 200.000 ejemplos. Los grupos se asignan en función de la primera identidad mencionada en el comentario. El conjunto de prueba incluye 18.217 ejemplos de fondo (sin identidad mencionada) y ocho grupos de identidad con soporte suficiente (por ejemplo, blanco, negro, musulmán, gay/lesbiana, judío, cristiano, femenino, masculino). Los grupos con menos de 50 ejemplos se excluyen para garantizar estimaciones estables de bootstrap. HateXplain se utiliza para la evaluación de transferencia de cero disparos (zero-shot) para evaluar la generalización.

Métodos de Entrenamiento

Se comparan tres intervenciones durante el entrenamiento:

1. Minimización del Riesgo Empírico (ERM): Una línea base ajustada finamente en DistilBERT-base-uncased, que minimiza la pérdida promedio de manera uniforme sin conciencia de subgrupos.
2. ERM Ponderado: Aplica pesos por ejemplo basados en la frecuencia del grupo ($w_i = N / (G \cdot n_{g_i})$), recortados para evitar que los grupos raros dominen los gradientes.
3. Optimización Robusta Distribucional de Grupo (Group DRO): Utiliza pesos adaptativos por grupo actualizados mediante un objetivo minimax para centrarse en el grupo con mayor pérdida.

Intervenciones Post-hoc

Se aplican tres mecanismos a las salidas entrenadas:

1. Escalado de Temperatura: Aprende un escalar $T$ para corregir la mala calibración uniforme.
2. Abstención Basada en Confianza: Calcula curvas de riesgo-cobertura reteniendo la fracción superior $c$ de predicciones basada en la confianza ($max(p, 1-p)$).
3. Optimización de Umbrales por Identidad: Realiza búsquedas en cuadrícula de umbrales para minimizar las brechas de error absoluto entre subgrupos y el fondo.

Métricas de Evaluación

El marco emplea intervalos de confianza de bootstrap apareados del 95% ($n=1000$) para todas las métricas:

• Clasificación: AUC de subgrupo, BPSN (Positivo Benigno, Negativo de Subgrupo) y BNSP (Negativo Benigno, Positivo de Subgrupo).
• Calibración: Error de Calibración Esperado (ECE) por subgrupo y la Brecha de Equidad de Calibración ($\Delta ECE = ECE_{subgrupo} - ECE_{fondo}$).
• Comportamiento de la Cola: Porcentaje de ejemplos benignos con toxicidad predicha alta ($p > 0.9$ y $p > 0.99$).
• Abstención: Curvas de riesgo-cobertura y brechas de error residual en varios niveles de cobertura.

Resultados Clave

1. Disparidad de Calibración Oculta en ERM

Mientras que ERM logra una calibración agregada casi perfecta (ECE $\approx$ 0.013) y un AUC general sólido (0.940), exhibe una disparidad de calibración significativa en todos los subgrupos de identidad.

• Cada subgrupo de identidad está significativamente mal calibrado en comparación con el fondo (por ejemplo, brecha de ECE del subgrupo judío +0.134; subgrupo blanco +0.077).
• El modelo es excesivamente seguro en contenido que menciona identidades. Una predicción de $p=0.85$ en un comentario que menciona un grupo protegido no tiene la misma precisión que $p=0.85$ en contenido de fondo.
• Esta disparidad es invisible para las métricas de clasificación estándar como BPSN.

2. Las Intervenciones de Entrenamiento Reconfiguran, No Eliminan, la Disparidad

Los métodos de equidad alteran las compensaciones entre ejes en lugar de resolver todos los problemas simultáneamente:

• ERM Ponderado: Mejora la equidad de clasificación (el AUC de BPSN aumenta de +0.06 a +0.12) pero empeora significativamente la brecha de equidad de calibración (hasta +0.232). Crea una distribución "bimodal" donde la mayoría de los comentarios benignos con identidad reciben puntuaciones cercanas a cero, pero una pequeña cola es empujada a una confianza extrema ($p > 0.99$).
• Group DRO: Elimina la disparidad de calibración (las brechas cruzan cero) pero solo al volverse uniformemente mal calibrado a nivel global (el ECE sube a 0.118). Desacopla la confianza de la corrección, haciendo que la curva de riesgo-cobertura para la abstención suba en lugar de bajar.

3. Las Intervenciones Post-hoc Heredan los Modos de Fallo del Entrenamiento

• Escalado de Temperatura: Fracasa para todos los métodos. ERM ya está calibrado globalmente; ERM Ponderado tiene una mala calibración selectiva y específica de subgrupos que un escalar no puede arreglar; DRO tiene un desacoplamiento estructural entre confianza y corrección.
• Optimización de Umbrales: No puede reparar el sesgo "pesado en la cola" donde una pequeña fracción de comentarios benignos recibe puntuaciones de toxicidad extremas.
• Abstención: Funciona bien bajo ERM para contenido de fondo pero es injusta. No logra proteger el contenido que menciona identidades porque los errores son "seguros pero incorrectos" (alta confianza, etiqueta incorrecta) en lugar de inciertos. Bajo DRO, la abstención se rompe por completo, ya que diferir predicciones de baja confianza no difiere preferentemente las incorrectas.

4. Casos de Fallo Cualitativos

Comentarios benignos antirracistas o descriptivos que mencionan "blanco" reciben frecuentemente puntuaciones de toxicidad altas ($p > 0.9$) por parte de ERM y ERM Ponderado. Estas predicciones "seguras pero incorrectas" sobreviven a los filtros de confianza, lo que explica por qué las brechas de abstención persisten para el contenido que menciona "blanco" incluso en niveles altos de cobertura.

Contribuciones y Significado

El artículo presenta cuatro contribuciones principales:

1. Comparación de Múltiples Métodos: Una comparación rigurosa, validada por bootstrap, de ERM, ERM Ponderado y Group DRO combinados con intervenciones post-hoc.
2. Calibración como Equidad: Introducción de la brecha de equidad de calibración, demostrando que la calibración agregada puede ocultar violaciones graves a nivel de subgrupo.
3. Compensaciones No Dominadas: Caracterización de los métodos de entrenamiento como ocupando posiciones distintas en el espacio de equidad:
   • ERM: Peor equidad de clasificación, pero comportamiento de abstención más limpio.
   • ERM Ponderado: Mejor equidad de clasificación, pero peor disparidad de calibración e introducción de errores seguros pero incorrectos.
   • Group DRO: Corrige la paridad de calibración pero rompe la utilidad de la abstención.
4. Dependencia Post-hoc: Demostración de que la eficacia de los mecanismos de seguridad (escalado, abstención) está determinada por los modos de fallo específicos del método de entrenamiento.

Significado:
El artículo argumenta que la equidad en la IA Socialmente Responsable (SRAI) requiere un marco multi-eje. Los métodos que parecen equivalentes en métricas de clasificación agregadas difieren drásticamente en sus modos de fallo, los cuales determinan el daño en el mundo real. Específicamente, las intervenciones de equidad que mejoran la clasificación a menudo introducen predicciones "seguras pero incorrectas" en contenido benigno con identidad, que ninguna intervención post-hoc puede reparar. Los autores concluyen que en esta prueba, ERM Ponderado es la opción práctica más defendible debido a su equilibrio entre equidad de clasificación, calibración y compatibilidad con la abstención, aunque aún introduce nuevos modos de fallo no presentes en la ERM de línea base.