Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

Resumen Técnico: Poda de Equidad (Fairness Pruning)

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) heredan y amplifican los sesgos demográficos presentes en sus corpus de preentrenamiento. Las estrategias de mitigación actuales operan en tres fases distintas del ciclo de vida: el filtrado de datos de preentrenamiento, el ajuste fino/alineación post-entrenamiento y la edición de representaciones post-procesamiento. Los autores argumentan que estos enfoques comparten un déficit estructural: intervienen en todos los pesos del modelo simultáneamente o modifican los embeddings sin distinguir entre los pesos que codifican el sesgo y aquellos que sustentan las capacidades generales. Esta falta de especificidad conlleva el riesgo de degradar el rendimiento general del modelo o causar un olvido catastrófico. Si bien la interpretabilidad mecánica (por ejemplo, los Autoencoders Dispersos) ofrece precisión, requiere recursos computacionales significativos para un entrenamiento adicional, creando una brecha entre la intervención masiva y la disección precisa y asequible del sesgo.

Metodología: Poda de Equidad (Fairness Pruning)
El artículo propone la "Poda de Equidad", un método de intervención estructural ligero diseñado para localizar y mitigar el sesgo demográfico sin entrenamiento adicional. El método está diseñado específicamente para arquitecturas MLP basadas en GLU (por ejemplo, Llama, Salamandra) y opera a través de un flujo de trabajo de cuatro fases:

1. Construcción de Prompts Contrastivos: El método utiliza pares de prompts mínimamente contrastivos donde la única diferencia es un único atributo demográfico (por ejemplo, "hombre" frente a "mujer"). Para asegurar una comparación de activación válida, ambos prompts en un par deben tokenizarse exactamente con el mismo número de tokens. Los autores lanzaron dos conjuntos de datos públicos (inglés y español) que cubren cinco categorías: Edad, Género, Apariencia Física, Raza/Etnia y Religión.
2. Captura de Activación Diferencial: Durante la inferencia, el método captura las activaciones en la entrada de la capa down_proj en los bloques MLP. Este punto específico se elige porque, en las arquitecturas SwiGLU, la contribución efectiva de una neurona es el producto de las salidas de gate_proj y up_proj, que luego es proyectada por down_proj.
3. Calificación de Neuronas:
   • BiasScore (Puntuación de Sesgo): Calculado como la diferencia absoluta entre las medias de las activaciones de los dos prompts en un par, promediada sobre todos los pares en una categoría. Esto identifica neuronas que reaccionan diferencialmente a los cambios demográficos.
   • FairnessPruningScore (Puntuación de Poda de Equidad): Una métrica compuesta que combina el BiasScore con la importancia estructural (estimada mediante la Magnitud Pico a Pico, PPM). Sin embargo, en los experimentos exploratorios (eliminando $\le$ 40 neuronas), los autores encontraron que el BiasScore por sí solo era suficiente, ya que la escala de la intervención era demasiado pequeña como para requerir la penalización de la importancia estructural.
4. Anulación Selectiva (Selective Zeroing): Las neuronas identificadas son "anuladas" estableciendo las filas correspondientes en los pesos de gate_proj y up_proj, y la columna correspondiente en los pesos de down_proj, en cero. Esta operación simétrica asegura que la neurona sea eliminada del flujo residual.

Contribuciones Clave

1. Un Método de Localización sin Entrenamiento: Un método para localizar el sesgo demográfico en LLMs utilizando activaciones diferenciales en prompts contrastivos, ejecutable en hardware de consumo sin entrenamiento adicional.
2. Conjuntos de Datos Públicos: La publicación de dos conjuntos de datos de pares de prompts contrastivos en inglés y español, alineados con los benchmarks BBQ y EsBBQ.
3. Evidencia Empírica de Circuitos Disociables: Demostración de que el procesamiento de atributos demográficos y las capacidades generales del modelo operan en circuitos suficientemente disociables, permitiendo una intervención dirigida sin degradación apreciable del razonamiento o el conocimiento.
4. Descubrimiento de la Desestabilización Bidireccional: Evidencia de que anular neuronas seleccionadas por una puntuación de activación diferencial sin signo produce efectos no monotónicos e inversores de signo en el sesgo agregado. Esto indica que los conjuntos de candidatos mezclan neuronas que amplifican los estereotipos con aquellas que los suprimen, y el efecto neto depende de qué signo predomine.

Resultados

• Localización: Las señales de sesgo se localizan robustamente en las capas finales de los bloques MLP. En Salamandra-2B, hasta el 94% de las neuronas más sesgadas para una categoría se encontraron en la última capa. La estructura espacial de estas neuronas está dispersa a través del ancho de la capa, no es contigua.
• Especificidad del Circuito: Existe una baja superposición entre los circuitos para diferentes categorías demográficas (por ejemplo, los circuitos de Género comparten muy pocas neuronas con otros), lo que sugiere una especialización funcional.
• Efectos de la Intervención:
  • Sesgo: La anulación de las neuronas identificadas no produjo una reducción plana del sesgo. En su lugar, causó una "desestabilización de sesgo bidireccional". En algunos casos, el sesgo se redujo; en otros, se amplificó o invirtió (por ejemplo, pasando de un estereotipo a uno anti-estereotípico). Esto confirma que las neuronas seleccionadas actúan como reguladores con efectos opuestos, y anularlas ciegamente interrumpe el mecanismo de modulación.
  • Capacidades: La intervención fue extremadamente quirúrgica. Anular hasta 40 neuronas en Llama-3.2-1B (menos del 0.031% del ancho total de la MLP) resultó en una retención media del 99.49% en benchmarks de razonamiento y conocimiento general (WikiText, MMLU, ARC-Challenge, HellaSwag).
• Observaciones Cualitativas: Los ejemplos de texto generado mostraron que el mismo conjunto de neuronas anuladas podía reducir el sesgo en un contexto mientras lo amplificaba en otro, o dejar el conocimiento factual (por ejemplo, "Capital de Francia") completamente inalterado.

Significancia y Reivindicaciones
El artículo afirma establecer las bases metodológicas para la transición de la "anulación ciega" hacia la "modulación de comportamiento direccional".

• Disociabilidad: El hallazgo principal es que el procesamiento del sesgo y las capacidades generales son disociables, validando la hipótesis de que el sesgo está concentrado en neuronas identificables en lugar de estar distribuido de forma difusa.
• Limitaciones de las Métricas sin Signo: El trabajo destaca que el uso de puntuaciones diferenciales sin signo (solo magnitud) conduce a resultados impredecibles porque conlata amplificadores y reguladores.
• Dirección Futura: Los autores argumentan que el siguiente paso no es simplemente eliminar más neuronas, sino evolucionar el conjunto de datos para que sea asimétrico (conociendo a priori qué prompt es sesgado). Esto permitiría un BiasScore con signo, permitiendo la "dirección de activación" (escalado multiplicativo) en lugar de la anulación, para empujar al modelo hacia la neutralidad sin actualizaciones de gradiente.

El estudio es modesto en su alcance, limitado a modelos de menos de 4 mil millones de parámetros y centrado en atributos demográficos explícitos mediante benchmarks de opción múltiple. Excluye explícitamente los mecanismos de atención y la dinámica de generación abierta de su validación actual, señalando que la dinámica de desestabilización observada puede no generalizarse directamente a esos entornos sin mayor estudio.