💬 NLP

Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails

Este artículo audita los filtros de preentrenamiento y las salvaguardas en tiempo de inferencia en los modelos de lenguaje, revelando que borran desproporcionadamente las menciones de grupos marginados mediante la dependencia de claves léxicas simplistas mientras fallan en detectar el discurso de odio real o la información privada, creando así una forma de injusticia epistémica que contradice el juicio humano.

Autores originales: Marco Antonio Stranisci, A Pranav, Rossana Damiano, Christian Hardmeier, Anne Lauscher

Publicado 2026-06-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Marco Antonio Stranisci, A Pranav, Rossana Damiano, Christian Hardmeier, Anne Lauscher

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una biblioteca masiva de libros para enseñarle a un robot superinteligente a hablar y a comprender el mundo. Este robot, llamado Modelo de Lenguaje Extenso (LLM), necesita leer miles de millones de frases de internet para aprender.

Sin embargo, antes de que el robot comience a leer, los humanos colocan filtros (como un bibliotecario estricto) para desechar "malos" libros. Luego, cuando el robot comienza a hablar con las personas, los humanos colocan guardarraíles (como un inspector de seguridad) para evitar que diga algo "inseguro".

Este artículo es una auditoría —una investigación profunda— sobre cómo lo están haciendo estos bibliotecarios e inspectores de seguridad. Los investigadores descubrieron que, si bien intentan mantener al robot seguro, accidentalmente están borrando las voces de grupos marginados (como personas transgénero, mujeres y personas de Centroamérica) y reemplazando el juicio humano con reglas rígidas y, a menudo, erróneas.

Aquí hay un desglose de sus hallazgos utilizando analogías simples:

1. La trampa de la "palabra prohibida"

Los investigadores descubrieron que muchos de estos sistemas de seguridad funcionan como una "lista de mal comportamiento" de un niño.

Cómo funciona: Si una frase contiene una palabra específica "mala" (como un insulto o un término sexual), el sistema la elimina inmediatamente, sin mirar el contexto.
El problema: Es como un bibliotecario que desecha un libro sobre un procedimiento médico solo porque menciona una parte del cuerpo, o que elimina una historia sobre los derechos de las trabajadoras sexuales porque usa la palabra "sexo".
El resultado: Los sistemas son muy buenos detectando palabras en su "lista de mal comportamiento", pero son terribles para detectar el daño real, como filtraciones de privacidad, robo de derechos de autor o discurso de odio real que no utiliza las palabras específicas prohibidas.

2. El filtro "sobreprotector"

El estudio descubrió que estos filtros son sobreprotectores contra grupos específicos, actuando como un portero que sospecha de todos los que llevan un tipo determinado de sombrero.

Personas transgénero: Las frases que mencionaban identidades transgénero fueron marcadas para su eliminación con mucha más frecuencia que las frases sobre personas cisgénero (no trans).
Mujeres: Las menciones de mujeres fueron marcadas significativamente más a menudo que las de hombres.
Centroamericanos: El contenido que mencionaba a personas de Centroamérica fue casi siempre marcado para su eliminación, mientras que el contenido sobre personas de Europa Occidental rara vez fue tocado.
La analogía: Imagina a un guardia de seguridad en un museo que deja entrar a todos excepto a las personas de un vecindario específico. El guardia no intenta ser malo; simplemente sigue una regla defectuosa que asume que las personas de ese vecindario son "riesgosas". Esto resulta en que el museo (la IA) nunca aprenda sobre la cultura de ese vecindario.

3. El Robot vs. El Humano

Los investigadores pidieron a voluntarios humanos que miraran las frases que los robots marcaron y decidieran: "¿Debería quedarse o irse?"

La estadística impactante: Los humanos dijeron "Que se quede" el 88.5% de las veces en las frases que los filtros de preentrenamiento querían eliminar, y el 91.3% de las veces en las frases que los guardarraíles querían bloquear.
La analogía: Es como un chef robot que prueba una sopa, decide que es "venenosa" porque contiene una hierba específica, y tira toda la olla. Un chef humano la prueba, se da cuenta de que es solo una sopa picante y dice: "No, esto es delicioso y seguro de comer".
El conflicto: Los sistemas automatizados están eliminando contenido que los humanos realmente encuentran valioso, educativo o inofensivo. Al eliminar estas frases, la IA está perdiendo la capacidad de comprender a estos grupos y sus experiencias.

4. El "Borrado Silencioso"

El artículo llama a esto "Borrado Epistémico".

Qué significa: "Epistémico" se relaciona con el conocimiento. "Borrado" significa eliminar algo.
La metáfora: Imagina un mapa del mundo donde la IA está dibujando los continentes. Debido a que los filtros siguen eliminando frases sobre personas transgénero o centroamericanas, el mapa de la IA termina con espacios en blanco donde esos grupos deberían estar. La IA literalmente no "sabe" que existen o cómo son sus vidas porque los datos fueron eliminados antes de que pudiera aprender.

Resumen de las afirmaciones del artículo

Los sistemas no están de acuerdo: Los diferentes filtros y guardarraíles a menudo discrepan entre sí. Algunos detectan cosas que otros pasan por alto, y dependen en gran medida de listas de palabras simples en lugar de comprender el contexto.
El sesgo es sistémico: Esto no es solo un error; es un patrón. Los sistemas de diferentes empresas y de diferentes continentes parecen marcar en exceso a los mismos grupos marginados.
El juicio humano es diferente: Los humanos generalmente ven estas frases como seguras o importantes, mientras que las máquinas las ven como peligrosas.
La consecuencia: Al confiar en estos sistemas automatizados, estamos moldeando activamente a la IA para que sea ciega a las realidades de las personas transgénero, las mujeres y las personas de regiones específicas, silenciándolas efectivamente en el mundo digital.

El artículo concluye que, para solucionar esto, no podemos confiar solo en "listas de mal comportamiento" automatizadas. Necesitamos involucrar a las personas afectadas en el proceso de toma de decisiones y crear sistemas que entiendan el contexto en lugar de solo contar palabras malas.

Resumen Técnico: Injusticia Epistémica en los Modelos de Lenguaje

Planteamiento del Problema

Los modelos de lenguaje modernos (LLM) dependen de dos mecanismos primarios para mitigar el daño: filtros de preentrenamiento para eliminar contenido indeseable de los corpus de entrenamiento y barreras de seguridad en el tiempo de inferencia (inference-time guardrails) para suprimir salidas inseguras durante el despliegue. Si bien estos sistemas son estándar en los procesos de IA, su impacto en grupos sociales marginados aún se comprende poco. La investigación existente se ha centrado principalmente en el sesgo en la detección de discursos de odio o en el rendimiento de los benchmarks, dejando un vacío en la comprensión de los efectos representacionales más amplios de la filtración y la moderación. Específicamente, no está claro si estos sistemas se alinean entre sí, si se alinean con el juicio humano y si erradican sistemáticamente las identidades y perspectivas de las comunidades marginadas, produciendo así una injusticia epistémica.

Metodología

Los autores realizaron una auditoría de cuatro filtros de preentrenamiento y tres barreras de seguridad en el tiempo de inferencia utilizando una muestra de oraciones de Common Crawl. El estudio se centró en menciones de identidad relacionadas con el género y el origen regional, categorías centrales en la literatura sobre sesgos y extraíbles mediante léxicos curados y Reconocimiento de Entidades Nombradas (NER).

Datos y Sistemas

Corpus: Un subconjunto filtrado de Common Crawl (inglés, >5 oraciones, >10 palabras/oración) que produjo más de 100,000 documentos.
Extracción de Identidad: Las entidades se extrajeron mediante NER y se vincularon a Wikidata. El género se categorizó en cinco grupos (hombre, mujer, no binario, cuestionando, género fluido) con un eje de modalidad trans/cis. El origen regional se mapeó a 17 macroregiones de la ONU.
Filtros Auditados:
- HATEBASE: Léxico basado en reglas para insultos raciales y misóginos.
- SHUTTERSTOCK: Lista de bloqueo de vocabulario sexual basada en reglas (utilizada en C4/T5).
- DOLMA: Clasificador FastText entrenado con datos de toxicidad de Jigsaw.
- HATEBERT: BERT reentrenado en publicaciones de Reddit de comunidades prohibidas.
Barreras de Seguridad (Guardrails) Auditadas:
- Llama-Guard-3-8B: Ajustado (fine-tuned) con la política de uso de Meta (14 categorías de riesgo).
- MD-Judge-v0.1: Juez basado en LLM ajustado con SALAD-Bench (6 dominios, 66 categorías).
- Qwen3Guard-Gen-8B: Variante generativa entrenada con una taxonomía de daños multilingüe que incluye una etiqueta de "controversial".
Anotación Humana: Un subconjunto estratificado de 500 oraciones fue anotado manualmente por dos estudiantes de lingüística. La tarea de anotación enmarcó la detección de daño como un compromiso (trade-off) entre el costo de retener versus eliminar contenido, capturando las justificaciones tanto para mantener como para eliminar el texto marcado.

Marco Analítico

El estudio empleó dos divisiones analíticas:

Conjunto Marcado (Flagged Set): Oraciones marcadas por al menos un filtro (72,659 oraciones) para el análisis de alineación entre sistemas y de la tasa de marcado condicionada a la identidad.
Conjunto No Marcado (Unflagged Set): Oraciones de los mismos documentos fuente donde ningún filtro se activó (257,210 oraciones) para el análisis exclusivo de barreras de seguridad.
La significancia estadística se evaluó mediante el $\kappa$ de Cohen para el acuerdo e intervalos de confianza de Wilson para las tasas de marcado, con la corrección de Benjamini–Hochberg para comparaciones múltiples.

Hallazgos Clave

1. Desacuerdo entre Filtros y Barreras de Seguridad

Dependencia del Léxico: Las barreras de seguridad mostraron una fuerte correlación con la lista de bloqueo de SHUTTERSTOCK (vocabulario sexual), pero una débil correlación con otros filtros (HATEBASE, DOLMA, HATEBERT).
Categorías de Daño Omitidas: Los filtros de preentrenamiento fallaron mayoritmente en detectar categorías que las barreras de seguridad marcan con frecuencia, específicamente Propiedad Intelectual, Privacidad y Contenido Político. Por ejemplo, el 68.6% de los veredictos inseguros de Llama-Guard en oraciones no marcadas concernían a PI y Privacidad, categorías que ningún filtro de preentrenamiento está diseñado para detectar.
Divergencia de las Barreras de Seguridad: Mientras que MD-Judge y Qwen3Guard mostraron un acuerdo sustancial ( $\kappa \approx 0.60$ ), Llama-Guard actuó como un valor atípico, mostrando solo un acuerdo moderado con los otros, probablemente debido a su dependencia de la política de uso específica de Meta en lugar de una taxonomía de daño académica más amplia.

2. Borradura Epistémica de Identidades Marginadas

La auditoría reveló el marcado excesivo sistemático de grupos de identidad específicos a través de todos los sistemas, a pesar de estar entrenados en diferentes taxonomías y continentes:

Identidades Transgénero: Las menciones de personas transgénero fueron marcadas significativamente más a menudo que las menciones de personas cisgénero (por ejemplo, las tasas de marcado de SHUTTERSTOCK aumentaron del 48.5% al 76.8%).
Mujeres: Las menciones de mujeres fueron marcadas significativamente más a menudo que las de hombres en todas las barreras de seguridad y en la mayoría de los filtros.
Centroamericanos: Este grupo experimentó la mayor desviación, con Llama-Guard, Qwen3Guard y SHUTTERSTOCK marcando casi el 96–99% de las menciones, comparado con una línea base de ~26%.
Regiones Occidentales: Por el contrario, las menciones de orígenes de Europa Occidental, Asia Occidental y Europa del Norte fueron significativamente menos marcadas.

3. Tensiones en la Moderación de Contenido (Humano vs. Máquina)

Los anotadores humanos discreparon con los sistemas automatizados en la gran mayoría de los casos:

Tasas de Retención: Los anotadores retendrían el 88.5% del contenido marcado por los filtros y el 91.3% del contenido marcado por las barreras de seguridad.
Daños Representacionales: El estudio identificó tensiones específicas donde la eliminación causa daño:
- Trabajo Sexual: Eliminar el contenido a menudo despoja de visibilidad ocupacional a las trabajadoras sexuales, mientras que mantenerlo puede perpetuar la cosificación sexualizada.
- Política: Eliminar puntos de vista políticos marcados conduce a una pérdida de representación política diversa en las salidas del modelo.
- Información de Salud/Práctica: El marcado excesivo de información médica de tipo "cómo hacer" (ej. examen de verrugas) corre el riesgo de degradar las capacidades del modelo en dominios de salud.
- Objetificación Racializada: Los sistemas a menudo fallan en distinguir entre la objetificación racializada dañina y la representación legítima de un grupo.

Significancia y Reivindicaciones

El artículo afirma documentar una forma de borradura epistémica donde las menciones de grupos marginados son desproporcionadamente eliminadas antes del preentrenamiento y suprimidas nuevamente durante la inferencia. Los autores argumentan que estos sistemas no solo reducen el contenido dañino, sino que moldean activamente qué identidades, perspectivas y experiencias permanecen visibles en los modelos de lenguaje modernos.

Los hallazgos sugieren que los enfoques actuales de filtrado y moderación son insuficientes para un alineamiento pluralista. Los autores proponen que lograr la justicia epistémica requiere:

Transparencia: Publicar los léxicos de los filtros con documentación sobre las tasas de marcado en grupos de identidad.
Reflexividad: Involucrar a las comunidades afectadas en la definición de las taxonomías de daño y los grupos de anotadores, en lugar de imponer una "visión desde ninguna parte".
Soberanía de Datos: Abordar los sesgos en la fuente de la recolección y propiedad de los datos.

El estudio concluye que los evaluadores humanos discrepan sistemáticamente con los sistemas automatizados, viendo la eliminación de gran parte del contenido marcado como innecesaria y una fuente de sesgo contra categorías específicas de personas. Los autores posicionan este trabajo como un llamado a ir más allá de la reducción técnica del daño hacia soluciones socio-técnicas que preserven la diversidad epistémica de las comunidades marginadas.