💬 NLP

Self-Explaining Hate Speech Detection with Moral Rationales

Este artículo presenta la Atención de Racionalidad Moral Supervisada (SMRA, por sus siglas en inglés), un nuevo marco de autoexplicación que alinea la atención del modelo con racionalidades morales anotadas por expertos basadas en la Teoría de las Fundaciones Morales para mejorar la robustez e interpretabilidad de la detección de discursos de odio, respaldado por el recién lanzado conjunto de datos HateBRMoralXplain en portugués brasileño.

Autores originales: Francielle Vargas, Jackson Trager, Diego Alves, Surendrabikram Thapa, Matteo Guida, Berk Atil, Daryna Dementieva, Andrew Smart, Ameeta Agrawal

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Francielle Vargas, Jackson Trager, Diego Alves, Surendrabikram Thapa, Matteo Guida, Berk Atil, Daryna Dementieva, Andrew Smart, Ameeta Agrawal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás caminando por una plaza digital gigante y ruidosa donde la gente grita, bromea, discute y, a veces, dice cosas terribles. En el mundo de la informática, específicamente en un campo llamado Procesamiento de Lenguaje Natural (que es solo una forma elegante de decir "enseñar a las computadoras a entender el lenguaje humano"), los científicos están tratando de construir porteros digitales. Estos porteros son algoritmos diseñados para detectar el "discurso de odio": los gritos hirientes, dañinos y peligrosos que atacan a las personas basándose en quiénes son. Pero aquí está la parte difícil: las computadoras suelen ser pésimas entendiendo por qué algo es malo. Son como niños que memorizaron una lista de "malas palabras" pero no entienden la diferencia entre un insulto juguetón entre amigos y una amenaza real. Si una computadora solo busca palabras específicas que son malas, podría confundirse con el sarcasmo, los chistes culturales o el odio disfrazado de forma ingeniosa. Esto es un gran problema porque si el portero digital comete errores, podría silenciar a personas inocentes o dejar pasar el odio peligroso por las grietas. Para solucionar esto, los investigadores están tratando de enseñar a las computadoras no solo qué marcar, sino por qué lo están marcando, utilizando un concepto llamado razonamiento moral; básicamente, pedirle a la computadora que piense en la justicia, el daño y la lealtad, tal como lo hace un humano.

Entra un nuevo equipo de investigadores que decidió dejar de adivinar y empezar a enseñar a las computadoras a pensar como filósofos morales. Introdujeron un nuevo y astuto sistema llamado Atención de Racional Moral Supervisada (SMRA, por sus siglas en inglés). Piensa en el SMRA como un programa de entrenamiento para un detective digital. En lugar de solo mostrarle al detective una lista de "malas palabras" para buscar, los entrenadores (expertos humanos) le muestran frases específicas y le dicen: "¡Mira aquí! Esta parte es mala porque hiere los sentimientos de alguien", o "Esta parte es mala porque rompe las reglas de la justicia". La computadora aprende a prestar atención a estas "pistas morales" específicas en lugar de solo escanear palabras clave superficiales. Para hacer posible este entrenamiento, el equipo también creó una nueva y masiva biblioteca de ejemplos llamada HateBRMoralXplain. Esto no es solo una lista de comentarios malos; es una colección de 7,000 comentarios reales de Instagram de Brasil, cuidadosamente etiquetados por expertos que explicaron exactamente qué regla moral se rompió y por qué. Es como darle al detective un libro de texto lleno de casos de la vida real y las notas manuscritas del experto en los márgenes.

Cuando pusieron a prueba a este nuevo detective, los resultados fueron prometedores. El sistema SMRA no solo mejoró ligeramente en la detección del discurso de odio; se volvió mejor en explicar por qué detectaba que algo era de odio. En las pruebas, el sistema mejoró su precisión para encontrar el discurso de odio y, lo que es más importante, su capacidad para señalar las palabras exactas que hacían que el comentario fuera dañino. El artículo sugiere que, al enfocarse en estas razones morales más profundas, la computadora es menos propensa a ser engañada por correlaciones espurias (como pensar que una palabra es mala solo porque aparece a menudo cerca de otras palabras malas) y más propensa a entender el contexto real. Curiosamente, el equipo encontró que, si bien la computadora mejoró en la detección de las razones "morales", no necesariamente se volvió "más justa" en todos los sentidos, lo que sugiere que enseñar a una computadora a ser moral es un viaje complejo, no un interruptor mágico. También probaron usar modelos de IA gigantes y poderosos (como los LLM) para hacer el trabajo, pero descubrieron que incluso estos modelos súper inteligentes tenían dificultades para entender los matices morales a menos que se les dieran instrucciones muy específicas y el contexto adecuado.

Los investigadores también descubrieron algo fascinante sobre el "por qué". Cuando compararon su detective enfocado en la moral con uno que solo buscaba palabras de "odio", el enfocado en la moral era mucho mejor para alinearse con el juicio humano. Sin embargo, señalaron que las explicaciones se volvieron más concisas —más cortas y directas— lo cual es bueno, pero a veces significaba que la computadora perdía algunos detalles diminutos (una ligera caída en la "exhaustividad"). El artículo sugiere que este intercambio vale la pena porque las explicaciones son más fieles al proceso de pensamiento real del modelo. Al final, el equipo concluye que, si bien su nuevo método no es una solución perfecta que resuelva todos los problemas, es un paso significativo hacia adelante. Demuestra que, si queremos que las computadoras sean buenos ciudadanos digitales, necesitamos enseñarles a importar el peso moral de las palabras, no solo las palabras mismas. El artículo termina con una nota de cautela: esta es todavía una investigación temprana y, aunque los resultados son alentadores, todavía hay mucho por aprender sobre cómo hacer que estos sistemas funcionen en diferentes culturas e idiomas sin introducir nuevos sesgos.

Resumen Técnico: Detección de Discurso de Odio Autoexplicativa con Racionales Morales

Planteamiento del Problema

Los modelos existentes de detección de discurso de odio (HS, por sus siglas en inglés) sufren de opacidad y una dependencia excesiva de claves léxicas superficiales. Esta dependencia conduce a la vulnerabilidad ante correlaciones espurias, una reducción de la robustez y una falta de contextualización cultural. Además, los modelos estándar suelen heredar sesgos de los datos de entrenamiento y de los procesos de anotación, lo que resulta en la victimización injusta de grupos marginados. Si bien existen enfoques de IA explicable, estos se categorizan mayoritariamente como post-hoc (generan explicaciones después de la predicción, a menudo infieles o computacionalmente costosas) o autoexplicativos (integran la explicación en el proceso de aprendizaje). Sin embargo, los métodos autoexplicativos actuales suelen fallar al capturar el razonamiento normativo y moral esencial para distinguir el discurso de odio culturalmente contingente del lenguaje inofensivo. Estudios recientes sugieren que los valores morales constituyen una representación latente transferible entre lenguas, pero los modelos estándar no aprovechan esto explícitamente.

Metodología: Atención de Racionales Morales Supervisada (SMRA)

Los autores proponen la Atención de Racionales Morales Supervisada (SMRA), un marco autoexplicativo diseñado para alinear la atención neuronal con los racionales morales anotados por expertos.

Mecanismo Central

SMRA modifica los clasificadores basados en Transformers estándar (por ejemplo, BERT) mediante la introducción de una regularización inductiva normativa en el objetivo de entrenamiento. En lugar de depender únicamente de marcadores léxicos, el modelo es guiado para atender a tokens identificados como moralmente salientes por expertos humanos.

Definición de la Tarea: El marco aborda dos tareas:
- Clasificación Binaria de Discurso de Odio: Predecir si el contenido es discurso de odio.
- Clasificación de Sentimiento Moral Multietiqueta: Identificar qué categorías de la Teoría de las Fundaciones Morales (MFT) (Cuidado/Daño, Justicia/Trampa, Lealtad/Traición, Autoridad/Subversión, Pureza/Degradación) están presentes.
Pérdida de Alineación de Atención: Para las instancias de entrenamiento con racionales morales disponibles, SMRA minimiza el Error Cuadrático Medio (MSE) entre la distribución de atención normalizada del modelo ( $a$ ) y una máscara de racional binaria ( $r$ ) derivada de las anotaciones humanas.
Función de Objetivo: La pérdida total ( $\ell_{total}$ ) combina la pérdida de entropía cruzada estándar ( $\ell_{CE}$ ) para la clasificación con la pérdida de alineación de atención supervisada ( $\ell_{MSE}$ ):
$\ell_{total} = \ell_{CE} + \alpha \cdot \ell_{MSE}$
Donde $\alpha$ controla la fuerza de la supervisión de la atención. Esta pérdida se aplica solo a las muestras con racionales morales anotados.

Conjunto de Datos: HateBRMoralXplain

Para apoyar este marco, los autores introducen HateBRMoralXplain, una extensión del benchmark HateBR de portugués brasileño.

Composición: 7,000 comentarios de Instagram (3,500 ofensivos, 3,500 no ofensivos) anotados por tres expertos.
Anotaciones: Incluye etiquetas de odio, categorías de MFT y racionales morales a nivel de token (extensiones de texto mínimas que justifican la etiqueta moral).
Metadatos: Enriquecido con metadatos sociopolíticos (partido político, género del autor de la publicación original) para facilitar el análisis de sesgo.
Acuerdo entre Anotadores: Un acuerdo sustancial a casi perfecto para las etiquetas morales primarias ( $\kappa = 0.811$ ), con un acuerdo de moderado a sustancial para las etiquetas secundarias y terciarias.

Contribuciones Clave

Marco SMRA: El primer marco de detección de discurso de odio autoexplicativo que alinea la atención del modelo directamente con los racionales morales anotados por expertos, con el objetivo de mejorar la interpretabilidad, la robustez y la contextualización cultural.
Conjunto de Datos HateBRMoralXplain: Un corpus a gran escala, anotado por expertos para el portugués brasileño de bajos recursos, unicamente enriquecido con categorías morales, racionales anotados por humanos y metadatos sociopolíticos.
Evaluación Empírica: Una evaluación exhaustiva de SMRA frente a líneas base (ajuste fino estándar, métodos post-hoc como LIME/SHAP y otros enfoques autoexplicativos como SRA) y Modelos de Lenguaje de Gran Escala (LLMs) utilizando diversas estrategias de prompting.

Resultados

Los experimentos se realizaron en la detección binaria de discurso de odio y en la clasificación de sentimiento moral multietiqueta utilizando mBERT y BERTimbau.

Mejoras de Rendimiento

Rendimiento Predictivo: SMRA mejoró consistentemente el rendimiento sobre las líneas base. En la clasificación binaria, aumentó la Exactitud (+0.0004) y el Macro F1 (+0.0082). En la clasificación de sentimiento moral multietiqueta, mejoró el Macro F1 (+0.015) y el AUROC (+0.002).
Calidad de la Explicación (Plausibilidad): SMRA mejoró significativamente la alineación con los racionales humanos.
- F1 de IoU: Mejoras de +0.0743 (binario) y +0.241 (moral) sobre las líneas base.
- F1 de Token: Mejoras de +0.0503 (binario) y +0.241 (moral) sobre las líneas base.
Calidad de la Explicación (Fidelidad):
- Comprensividad: Disminuyó ligeramente (−0.0203), indicando que las explicaciones se volvieron más concisas.
- Suficiencia: Mejoró (−0.0231, observando la definición de la métrica donde una caída menor en la probabilidad es mejor, o interpretado según el contexto del artículo donde una caída menor significa que las explicaciones son más compactas pero fieles). El artículo señala que SMRA produce explicaciones más concisas que siguen siendo fieles.
Equidad (Fairness): Las métricas de equidad (GMB-Sub, GMB-BPSN, GMB-BNSP) se mantuvieron estables, lo que sugiere que las mejoras en la calidad de la explicación no introdujeron sesgos significativos.

Análisis Comparativo

SMRA vs. SRA (Atención de Racional Supervisada): SMRA logró una plausibilidad sustancialmente mayor (F1 de IoU +0.1195, F1 de Token +0.1508) en comparación con SRA, que depende de racionales léxicos. SRA mostró una fidelidad inestable (Suficiencia negativa), mientras que SMRA mantuvo una Suficiencia positiva, indicando una alineación causal más estable entre los racionales y las predicciones.
Rendimiento de LLMs: Los LLMs (GPT-4o-mini, Llama-3.1-70B) mostraron mejoras notables en la clasificación de discurso de odio (aproximadamente 2–3%) cuando se les proporcionaron racionales morales y definiciones. Sin embargo, los LLMs tuvieron un desempeño deficiente en la clasificación de sentimiento moral (F1 máximo de 0.38). La traducción de los prompts al inglés resultó en caídas de rendimiento, resaltando la importancia del contexto específico del lenguaje.

Significado y Reivindicaciones

El artículo afirma que SMRA representa un paso significativo hacia una detección de discurso de odio más interpretable y culturalmente consciente. Al integrar el razonamiento moral directamente en el objetivo de entrenamiento, el marco va más allá de las claves léxicas superficiales para capturar las estructuras normativas subyacentes al discurso de odio.

Los autores sostienen que:

Los Racionales Morales son Superiores a las Claves Léxicas: Alinear la atención con los racionales morales reduce la dependencia de correlaciones espurias y mejora la generalización transcultural en comparación con los métodos que utilizan solo racionales léxicos.
Interpretabilidad Inherente: A diferencia de los métodos post-hoc, SMRA produce explicaciones inherentemente interpretables que son fieles al proceso de decisión del modelo.
Sin Intercambio de Sesgo (No Bias Trade-off): Mejorar la calidad de la explicación y la robustez no necesariamente degrada la equidad; el modelo mantuvo métricas de equidad estables.
Necesidad Contextual: El estudio destaca que la detección de discurso de odio requiere contexto cultural y moral, particularmente para lenguas de bajos recursos y casos matizados que involucran sarcasmo o contexto político, que los modelos estándar suelen omitir.

Los autores concluyen que, si bien SMRA mejora la robustez e interpretabilidad, depende de la costosa anotación humana y actualmente se evalúa principalmente con datos de portugués brasileño, lo que requiere trabajos futuros sobre escalabilidad y generalización translingüística.