Bridging Fairness and Explainability: Can Input-Based Explanations Promote Fairness in Hate Speech Detection?

Resumen Técnico: ¿Pueden las explicaciones basadas en la entrada promover la equidad en la detección de discurso de odio?

1. El Problema (Contexto y Motivación)

Los modelos de Procesamiento de Lenguaje Natural (NLP), especialmente los modelos de lenguaje de gran escala (LLMs), tienden a replicar y amplificar sesgos sociales presentes en sus datos de entrenamiento. En tareas críticas como la detección de discurso de odio, esto puede resultar en un trato injusto hacia grupos marginados (por ejemplo, penalizar erróneamente contenido que menciona términos de identidad racial o religiosa).

Aunque la explicabilidad (la capacidad de entender por qué un modelo toma una decisión) se considera una herramienta clave para la equidad, existe un debate sobre si las explicaciones son fiables. Algunos temen que los modelos puedan ser entrenados para "engañar" a las explicaciones, ocultando su dependencia de características sensibles (como la raza o el género) sin eliminar el sesgo real.

2. Metodología

Este estudio es el primero en realizar un análisis cuantitativo sistemático sobre la relación entre la explicabilidad y la equidad en la detección de discurso de odio. Los autores evalúan tanto modelos encoder-only (como BERT y RoBERTa) como modelos decoder-only (como Llama 3.2 y Qwen).

El estudio se estructura en torno a tres preguntas de investigación (RQ) mediante un flujo de trabajo experimental:

• RQ1: Detección de sesgo: Evalúan si las explicaciones basadas en la entrada (atribución de importancia a cada token) pueden identificar predicciones sesgadas midiendo la correlación entre la "dependencia de tokens sensibles" y la "injusticia individual" (IU).
• RQ2: Selección de modelos: Investigan si las métricas de explicabilidad en un conjunto de validación pueden usarse para seleccionar automáticamente el modelo más justo de entre varios candidatos.
• RQ3: Mitigación de sesgo: Implementan una técnica de regularización durante el entrenamiento donde se penaliza la dependencia del modelo hacia los tokens sensibles, utilizando la explicación como señal de supervisión ($L = L_{task} + \alpha L_{debias}$).

Métricas clave:

• Equidad de grupo: Disparidades en precisión (ACC), tasa de falsos positivos (FPR) y tasa de falsos negativos (FNR).
• Equidad individual: El grado en que la predicción cambia al sustituir un término de un grupo social por otro (contrafactual).

3. Contribuciones Clave

1. Primer estudio cuantitativo integral: A diferencia de estudios previos cualitativos, este ofrece una evaluación a gran escala y sistemática.
2. Identificación de métodos robustos: Determinan que los métodos de atribución basados en L2-norm (como Integrated Gradients L2) y métodos de oclusión son los más eficaces para detectar y mitigar sesgos.
3. Desmitificación de la selección de modelos: Demuestran que las explicaciones no son herramientas fiables para la selección automática de modelos justos.
4. Análisis de robustez: Demuestran que ciertas explicaciones siguen siendo capaces de detectar sesgos incluso después de que el modelo ha sido entrenado para mitigarlos.

4. Resultados Principales

• Sobre la detección (RQ1): Las explicaciones basadas en la entrada son muy efectivas para identificar predicciones sesgadas. Los métodos basados en la norma L2 y la oclusión superan significativamente a los métodos basados en la media o a los juicios de LLMs (como "LLM-as-a-judge").
• Sobre la selección (RQ2): Las explicaciones no son fiables para seleccionar modelos justos de forma automática. El rendimiento de estos métodos es inferior a la simple evaluación de la equidad en el conjunto de validación.
• Sobre la mitigación (RQ3): La mitigación basada en explicaciones es altamente efectiva. Logra reducir significativamente las disparidades (especialmente en la tasa de falsos negativos) manteniendo un equilibrio óptimo entre la precisión de la tarea y la equidad.
• Comparación con LLMs: El estudio revela que las explicaciones basadas en la entrada son más precisas para detectar sesgos que pedirle a un LLM (como GPT) que juzgue si una respuesta es sesgada.

5. Significancia y Conclusiones

El trabajo establece un puente crítico entre la interpretabilidad y la ética en la IA. La conclusión principal es que la explicabilidad no es solo una herramienta de diagnóstico para humanos, sino que puede ser un motor de entrenamiento para crear modelos más equitativos.

Sin embargo, el estudio advierte a los desarrolladores que no deben confiar en las explicaciones para la selección automática de modelos y que deben preferir métodos de atribución robustos (L2/Oclusión) para asegurar que el proceso de auditoría de sesgos sea veraz y no sea engañado por técnicas de mitigación superficiales.