Toxicity Detection Should Measure Contextual Harm, Not Text-Intrinsic Badness

Este documento de posición sostiene que la detección de toxicidad debe pasar de tratar la toxicidad como una propiedad intrínseca de textos aislados a medirla como daño comunicativo contextual, introduciendo el Marco de Estrés Contextual (CSF) y CSF-Eval para captar mejor cómo las violaciones de normas percibidas y el contexto social generan una disrupción real.

Lo esencial

El Problema Central: La Trampa de la "Palabra Mala"

Imagina que eres un guardia de seguridad en un club. Tu trabajo es evitar que las personas sean groseras o dañinas. Actualmente, la mayoría de los guardias de seguridad automatizados (detectores de toxicidad de IA) funcionan como un detector de metales en un aeropuerto.

Si el detector de metales suena, asume que hay un arma. No le importa por qué está el metal allí.

• Si estás sosteniendo un cuchillo para cortar un filete, suena.
• Si estás sosteniendo un cuchillo para amenazar a alguien, suena.
• Si estás sosteniendo un cuchillo de juguete de un disfraz de Halloween, suena.

Los modelos de IA actuales actúan exactamente como este detector de metales. Escanean una frase, encuentran "palabras malas" (como insultos o groserías) y la marcan inmediatamente como tóxica. Tratan las palabras en sí mismas como el peligro, independientemente de quién las dice, quién las escucha o qué está sucediendo a su alrededor.

El artículo argumenta que esta es una forma defectuosa de medir el daño. Solo porque una frase contenga una "palabra mala" no significa que realmente esté lastimando a alguien en ese momento específico.

La Solución Real: El Marco de "Estrés Contextual"

Los autores proponen una nueva forma de pensar sobre la toxicidad, llamada Marco de Estrés Contextual (CSF, por sus siglas en inglés).

En lugar de preguntar: "¿Esta frase contiene palabras malas?", preguntan: "¿Este mensaje específico, a esta persona específica, en esta situación específica, causa estrés y rompe las reglas del lugar?"

Piénsalo como un portero humano que conoce el contexto:

• Escenario A: Dos amigos están bromeados. Uno dice una palabra que usualmente es un insulto, pero la están usando como un término cariñoso entre ellos. El portero humano ve que están riendo y conoce su amistad. Veredicto: Sin daño.
• Escenario B: Un extraño dice esa misma palabra a un amigo en una discusión pública. El portero humano ve el miedo en los ojos del amigo. Veredicto: Dañino.

El artículo afirma que la toxicidad no es una propiedad de las palabras en sí mismas; es una relación entre el hablante, el oyente y la situación.

Por Qué Falla la Vieja Forma (Las "Falsas Alarmas" y los "Riesgos Pasados por Alto")

Como la IA actual es como el detector de metales, comete dos grandes errores:

1. Falsos Positivos (Atrapando a los Inocentes): Prohíbe discursos inofensivos porque contienen "palabras malas".
   • Ejemplo: En algunas comunidades, las personas recuperan palabras ofensivas para mostrar solidaridad. Si una IA ve esa palabra, prohíbe la publicación, silenciando a una comunidad que en realidad se está divirtiendo y uniendo.
2. Falsos Negativos (Pasando por Alto el Peligro Real): Se pierde el discurso dañino que no usa "palabras malas".
   • Ejemplo: Una persona podría decir: "Eres tan callado, debes no tener nada inteligente que decir", con un tono muy educado. Suena amable, pero es un insulto cruel diseñado para silenciar a alguien. La IA no ve "palabras malas" y lo deja pasar, mientras que la víctima se siente lastimada.

La Nueva Prueba: Medir el "Estrés" en Lugar de la "Maldad"

Los autores sugieren que dejemos de intentar etiquetar una frase como "Tóxica" o "No Tóxica" con una sola puntuación. En su lugar, deberíamos medir el Estrés y la Violación de Normas.

• Violación de Normas: ¿El hablante rompió las reglas sociales de este grupo específico?
• Estrés: ¿El oyente (o el grupo) reaccionó con ira, miedo o retirada?

Probaron esta idea observando una comunidad de Reddit llamada r/BlackPeopleTwitter. Compararon lo que la IA consideraba tóxico contra lo que las personas reales de la comunidad reaccionaron.

• El Resultado: La IA y las personas a menudo no estaban de acuerdo. La IA marcaba bromas amistosas como tóxicas, pero las personas reían. La IA pasaba por alto comentarios sutiles y malintencionados que las personas encontraban dolorosos.
• La Lección: No se puede juzgar el daño solo leyendo el texto; hay que ver cómo las personas reaccionan a él.

La Propuesta: Un Nuevo Boletín de Calificaciones (CSF-Eval)

El artículo propone una nueva forma de probar y construir estos sistemas de IA, llamada CSF-Eval.

En lugar de darle a una IA una sola calificación (como "90% de precisión"), deberíamos pedirle que desglose su pensamiento en cinco partes, como un informe médico:

1. Riesgo del Texto: ¿El texto parece peligroso por sí solo?
2. Violación de Normas: ¿Rompe las reglas de este grupo específico?
3. Estrés/Disrupción: ¿Hay evidencia de que las personas estén molestas o discutiendo?
4. Incertidumbre: "No tengo suficiente información para saber si esto es malo". (La IA debería admitir cuando está adivinando).
5. Acción de Política: "Basado en lo anterior, esto es lo que deberíamos hacer".

La Conclusión

El artículo concluye que necesitamos dejar de fingir que el daño está escondido dentro de una frase esperando ser encontrado.

El daño se crea cuando un mensaje es recibido en un contexto específico. Para construir espacios en línea más seguros, necesitamos una IA que entienda la diferencia entre una broma entre amigos y un arma en una pelea, en lugar de simplemente una máquina que cuenta cuántas "palabras malas" hay en una habitación.

Resumen técnico

Resumen Técnico: La Detección de Toxicidad Debe Medir el Daño Contextual, No la Maldad Intrínseca del Texto

1. Declaración del Problema

Los sistemas actuales de detección de toxicidad se basan en una abstracción defectuosa: tratan la toxicidad como una propiedad intrínseca de cadenas de texto aisladas ($y = f(x)$). Este enfoque colapsa determinantes críticos del daño comunicativo —tales como el hablante, la audiencia, el historial de interacción, el entorno normativo y la recepción— en una única predicción descontextualizada.

El artículo identifica dos fallos centrales resultantes de esta abstracción:

• El Problema del Objeto: No existe una definición consolidada de toxicidad. Las comunidades legales, de plataformas y académicas utilizan nociones superpuestas pero no equivalentes (por ejemplo, "odiosa", "abusiva", "incívica"). En consecuencia, el mismo enunciado puede estar legalmente protegido, ser eliminable bajo una política o ser etiquetado tanto como tóxico como no tóxico dependiendo del conjunto de datos, lo que convierte el progreso en los puntos de referencia en un indicador engañoso de seguridad.
• El Problema del Proxy: Al operacionalizar la toxicidad como una asignación de texto a etiqueta, los detectores no logran capturar el daño comunicativo situado. Esto conduce a errores sistemáticos: la sobre-señalización de lenguaje dialectal o recuperado (falsos positivos) y la omisión de abusos codificados, pragmáticos o dependientes del contexto (falsos negativos). Además, estos sistemas son frágiles ante transformaciones que preservan el significado y ataques adversarios.

Los autores argumentan que la precisión de los puntos de referencia en etiquetas descontextualizadas a menudo refleja la capacidad de un modelo para aprender convenciones de anotación específicas del conjunto de datos, en lugar de su capacidad para reducir el daño en entornos del mundo real y situados.

2. Metodología y Marco: Marco de Estrés Contextual (CSF)

Para abordar estos problemas, los autores proponen el Marco de Estrés Contextual (CSF), que reencuadra la toxicidad no como una propiedad del texto, sino como una relación contextual.

Definiciones Centrales

• Toxicidad: Definida como una relación entre un acto comunicativo, una audiencia que interpreta y un entorno normativo, donde una violación de norma percibida induce estrés o disrupción.
• Discurso Tóxico: Discurso que induce estrés o disrupción a través de una violación percibida de normas morales o comunicativas aceptadas dentro del contexto específico de interpretación.

Formulación Matemática

El marco modela un evento comunicativo como $e = (x, C, A)$, donde $x$ es el acto, $C$ es el contexto y $A$ es la audiencia.

1. Violación de Norma Percibida ($\nu$): El grado en que un miembro de la audiencia percibe el evento como una violación de normas relevantes. Esto se define como violación percibida, no como verdad moral objetiva.
2. Respuesta de Estrés ($\sigma$): El estrés o la disrupción inducida en el miembro de la audiencia.
3. Toxicidad Individual ($\tau$): Una función $g(\nu, \sigma)$ que combina la violación percibida y el estrés. La función es monótona en ambos argumentos y asigna una toxicidad cercana a cero si falta alguno de los componentes.
4. Toxicidad a Nivel de Evento ($T$): Un agregado de toxicidades individuales a través de la audiencia relevante, ponderado por factores como la exposición, la relevancia o la vulnerabilidad.

Estrategia de Medición

El artículo distingue entre riesgo intrínseco al texto (pistas léxicas) y disrupción basada en la recepción (estrés observable). Para los sistemas de PNL en línea, donde los datos fisiológicos no están disponibles, el marco propone el uso de proxies conductuales para el estrés, como la escalada de respuestas, la retirada, cambios de tono o lenguaje afectivo en las respuestas.

3. Contribuciones Clave

A. Reencuadre Teórico

El artículo desplaza el enfoque del campo desde la clasificación de texto hacia la medición del daño contextual. Argumenta que el contexto no es meramente una característica auxiliar para mejorar la precisión de la predicción, sino que es constitutivo de la variable objetivo. La toxicidad es una propiedad emergente de la interacción entre texto, audiencia y normas.

B. El Marco de Estrés Contextual (CSF)

El CSF proporciona una estructura formal para separar:

• Pistas intrínsecas al texto.
• Suposiciones contextuales.
• Características de la audiencia.
• Violación de norma percibida.
• Señales de recepción/estrés.
• Incertidumbre.
• Reglas de política.

C. CSF-Eval: Una Nueva Agenda de Evaluación

Los autores proponen CSF-Eval, un marco de evaluación que va más allá de la precisión de una sola etiqueta. Requiere que los sistemas emitan un vector de medición $M(e) = (r_{text}, \hat{\nu}, \hat{\sigma}, u, \pi)$, que representa:

• $r_{text}$: Riesgo intrínseco al texto.
• $\hat{\nu}$: Violación de norma percibida estimada.
• $\hat{\sigma}$: Estrés/disrupción estimado.
• $u$: Incertidumbre bajo observabilidad parcial.
• $\pi$: Recomendación de política (explícitamente separada de la medición).

CSF-Eval evalúa los sistemas en cinco cortes contrastivos:

1. Mismo texto, diferente contexto: Probar si el sistema reconoce que las mismas palabras funcionan de manera diferente según la audiencia y el entorno.
2. Diferente forma, mismo daño: Probar si el sistema detecta abusos codificados o pragmáticos sin depender de marcadores tóxicos explícitos.
3. Contexto faltante: Probar si el sistema expresa incertidumbre o se abstiene cuando el contexto está incompleto, en lugar de forzar una etiqueta confiable.
4. Señales de recepción y disrupción: Probar si el sistema utiliza evidencia conductual (por ejemplo, escalada) como evidencia ruidosa de disrupción.
5. Separación medición-política: Probar si el sistema distingue entre estimar el daño y hacer cumplir la política.

4. Resultados Empíricos

Los autores proporcionan una sonda ilustrativa utilizando datos del subreddit r/BlackPeopleTwitter para demostrar la divergencia entre la toxicidad intrínseca al texto y la disrupción basada en la recepción.

• Metodología: Compararon la API de Moderación de OpenAI y la API de Perspectiva de Google (detectores intrínsecos al texto) contra PONOS (Proporción de Señales Negativas Observadas), una métrica que mide la proporción de respuestas que expresan reacciones negativas.
• Hallazgos:
  • Hubo una correlación débil entre las puntuaciones intrínsecas al texto y PONOS ($\rho \approx 0.20$).
  • Por el contrario, las dos APIs intrínsecas al texto se correlacionaron fuertemente entre sí ($\rho \approx 0.87$).
  • Análisis de Cuadrantes:
    • LB (Bajo PONOS, Alta Toxicidad de Texto): El 14.5% de las publicaciones fueron sobre-señalizadas. Estas a menudo involucraban solidaridad de grupo interno, lenguaje recuperado o humor dialectal (por ejemplo, "¡Ese es mi n***a!").
    • BL (Alto PONOS, Baja Toxicidad de Texto): El 14.4% de las publicaciones fueron omitidas. Estas involucraban sarcasmo, antagonismo pragmático o violaciones de normas específicas del contexto que carecían de insultos explícitos.
• Conclusión: El riesgo intrínseco al texto y la disrupción basada en la recepción son cantidades distintas. Los detectores actuales fallan sistemáticamente en alinearse con la disrupción real de la comunidad, particularmente en contextos ricos en dialectos o de lenguaje recuperado.

5. Significado y Afirmaciones

El artículo afirma que la detección de toxicidad debe evolucionar desde la predicción de etiquetas de conjuntos de datos hacia la medición del daño comunicativo situado. Su significado radica en:

1. Corrección del Objetivo de Medición: Argumenta que los sistemas críticos para la seguridad no pueden fingir que el texto aislado es suficiente. Al separar el riesgo del texto de la recepción, el CSF explica por qué los modelos actuales sobre-señalizan dialectos y omiten abusos pragmáticos.
2. Operacionalización de la Incertidumbre: Propone que la "falta de contexto" debe tratarse como una condición de fallo, requiriendo que los sistemas expresen incertidumbre o se abstengan en lugar de generar etiquetas sobreconfiadas y potencialmente dañinas.
3. Desacoplamiento de Medición y Aplicación: Aboga por separar la estimación del daño (medición) de la decisión de eliminar o reducir la clasificación del contenido (política), permitiendo una moderación más transparente y responsable.
4. Reforma de Puntos de Referencia: Llama a la comunidad a adoptar los estándares de CSF-Eval, requiriendo que los puntos de referencia informen el rendimiento a nivel de corte (por ejemplo, cambios de contexto, datos faltantes) en lugar de la precisión agregada, y que documenten explícitamente la perspectiva de quién y qué señales contextuales están representadas.

Los autores mantienen una postura modesta, reconociendo que la toxicidad no puede medirse perfectamente y que el contexto completo a menudo no está disponible en la implementación en tiempo real. Sin embargo, argumentan que reconocer la observabilidad parcial y modelar la incertidumbre es un paso necesario hacia sistemas de moderación más seguros y robustos.