Resumen Técnico: Hacia una Moderación Inclusiva de Contenido Tóxico

Declaración del Problema

La proliferación de Modelos de Lenguaje Grandes (LLM) ha llevado a un aumento en el contenido tóxico generado por máquinas, el cual los clasificadores de toxicidad existentes luchan por detectar debido a desajustes distribucionales (entrenados en texto humano, probados en texto de LLM). Además, estos clasificadores son altamente vulnerables a ataques adversarios, donde perturbaciones de entrada imperceptibles pueden reducir la precisión de modelos de última generación a casi cero. Los mecanismos de defensa actuales tratan a los modelos como cajas negras, dependiendo de estrategias reactivas como el entrenamiento adversario o detectores externos que requieren reentrenamiento continuo. Existe una brecha crítica en la comprensión de los mecanismos internos de estos fallos y si las vulnerabilidades adversarias se distribuyen equitativamente entre diferentes grupos demográficos.

Metodología

Los autores emplean interpretabilidad mecánica para ir más allá de las defensas de caja negra. El estudio sigue una tubería integral de ocho fases aplicada a un diseño factorial $2 \times 2$ (modelos BERT y RoBERTa en los conjuntos de datos Jigsaw y ToxiGen) y extendida a Llama Guard 2 (8B).

1. Configuración y Ajuste Fino: Los modelos fueron ajustados finamente a partir de pesos de HuggingFace en Jigsaw (comentarios de Wikipedia escritos por humanos) y ToxiGen (declaraciones generadas por LLM que cubren 13 grupos minoritarios).
2. Generación Adversaria: Se utilizó un ataque PGD BERT-Attack de caja blanca para generar ejemplos adversarios perturbando iterativamente las incrustaciones de entrada dentro de una norma $\ell_\infty$ acotada y fijándolas a tokens válidos.
3. Parcheo de Activación (Limpio): Cada cabeza de atención fue secuencialmente ablatada a cero en entradas limpias para identificar cabezas "cruciales" (aquellas cuya eliminación aumenta significativamente la pérdida).
4. Parcheo de Activación (Adversario): El mismo proceso se repitió en entradas adversarias para identificar cabezas "vulnerables" (aquellas cuya eliminación disminuye la pérdida, indicando que facilitan el ataque).
5. Supresión Dirigida: Las $k$ cabezas vulnerables superiores fueron suprimidas (puestas a cero) en el momento de la inferencia sin reentrenamiento.
6. Evaluación: Los modelos suprimidos se reevaluaron en entradas limpias y adversarias para medir la recuperación de precisión y el costo de precisión limpia.
7. Análisis Demográfico: La vulnerabilidad y la efectividad de la supresión se analizaron a través de 20 grupos en Jigsaw y 13 grupos en ToxiGen.
8. Comparación de Intervenciones: La supresión de cabezas se comparó contra el entrenamiento adversario FGM y la augmentación de datos.

Contribuciones Clave

• Primer Estudio Mecanístico de Toxicidad: Este trabajo aplica la interpretabilidad mecánica a la clasificación de toxicidad por primera vez, identificando circuitos internos específicos de cabezas de atención responsables tanto de la clasificación correcta como de la vulnerabilidad adversaria.
• Identificación de Cuellos de Botella: El estudio revela que una sola cabeza de atención puede representar una parte masiva de la vulnerabilidad adversaria. Por ejemplo, poner a cero una sola cabeza recupera hasta 70.4 puntos porcentuales (pp) de precisión adversaria para RoBERTa en Jigsaw y 37.3 pp para Llama Guard 2 en ToxiGen, con un costo de precisión limpia de $\le 0.6$ pp.
• Estrategias de Defensa Específicas del Conjunto de Datos: El documento demuestra que la defensa óptima depende de la estructura del circuito interno del modelo:
  • Cuello de Botella Concentrado (Jigsaw): La supresión de cabezas iguala o supera al entrenamiento adversario.
  • Circuito Distribuido (ToxiGen): La augmentación de datos domina; la supresión de cabezas es menos efectiva.
• Desigualdad Demográfica: La investigación expone una vulnerabilidad adversaria estructuralmente desigual entre grupos demográficos, con una recuperación de supresión que varía de 9.8 pp a 100 pp dependiendo del grupo y del conjunto de datos.
• Escalabilidad de la Vulnerabilidad: En Llama Guard 2, el cuello de botella adversario se encuentra en las capas más tempranas (Capa 1), en contraste con capas más profundas en BERT/RoBERTa, lo que sugiere que los circuitos explotables migran hacia la entrada a medida que los modelos escalan.

Resultados Clave

• Recuperación de Vulnerabilidad: Poner a cero la cabeza vulnerable superior (por ejemplo, L9H5 para BERT-Jigsaw, L6H1 para RoBERTa-Jigsaw) restaura una precisión adversaria significativa. Para RoBERTa en Jigsaw, la supresión de una sola cabeza produce una recuperación de 70.4 pp.
• Generalización: Las cabezas vulnerables identificadas en una división de entrenamiento se generalizan a ejemplos retenidos con una diferencia de $\le 1$ pp, confirmando que son propiedades estables del modelo y no sobreajustes.
• Desequilibrio de Clases: Las cabezas vulnerables actúan como detectores selectivos de la clase tóxica. A medida que aumenta la proporción tóxica en el conjunto de prueba, el costo de precisión limpia de la supresión escala monótonamente para Jigsaw, confirmando el papel de las cabezas en la detección de toxicidad.
• Eficacia de la Intervención:
  • Jigsaw: La supresión de cabezas logra una precisión adversaria de 66–73% con un costo limpio mínimo, superando al entrenamiento FGM (que colapsa) y igualando a la augmentación de datos sin la severa penalización de precisión limpia (10 pp) observada en la augmentación.
  • ToxiGen: La augmentación de datos es superior, proporcionando una mejora de 45–59 pp, mientras que la supresión de cabezas produce ganancias menores (29–30 pp).
• Disparidades Demográficas: En Jigsaw, grupos como "Discapacidad Intelectual/De Aprendizaje" vieron una recuperación de hasta 100 pp, mientras que los grupos "Chino" y "Negro" vieron ganancias menores. En ToxiGen, los grupos "Nativos Americanos/Indígenas" mostraron la mayor recuperación, mientras que los grupos relacionados con discapacidades mostraron la más débil, indicando que los circuitos adversarios para diferentes demografías están codificados en configuraciones de cabezas distintas.
• Extensión a Llama Guard 2: El estudio se extendió a Llama Guard 2, encontrando que sus circuitos limpios y adversarios están completamente desacoplados (cabezas limpias en capas 7–14, adversarias en capas 0–1), con el cuello de botella adversario residiendo en la primera capa.

Significado y Afirmaciones

El documento afirma proporcionar un enfoque principiado y proactivo para endurecer los clasificadores de toxicidad. Al pasar de defensas de caja negra a intervenciones mecánicas, los autores argumentan que:

1. Transparencia: Comprender los circuitos específicos responsables del fallo permite intervenciones dirigidas y de bajo costo (suprimir cabezas específicas) en lugar de costosos reentrenamientos.
2. Equidad: El estudio expone "brechas de equidad trazables mecánicamente", mostrando que los clasificadores actuales fallan de manera desigual entre grupos demográficos. Identificar estos circuitos específicos ofrece un camino hacia intervenciones de equidad dirigidas.
3. Adaptación Estratégica: Los hallazgos sugieren que una defensa de "talla única" es ineficaz; la estrategia óptima (supresión vs. augmentación) está determinada por si el clasificador depende de un cuello de botella concentrado o de un circuito distribuido.

Los autores concluyen que la estructura de cuello de botella de un clasificador, en lugar de su precisión general, determina tanto la estrategia de defensa óptima como la equidad distribucional de dicha defensa.