GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

Resumen Técnico: GKnow: Medición del Entrelazamiento del Sesgo de Género y el Género Fáctico

Enunciado del Problema
La investigación reciente en interpretabilidad mecánica se ha centrado en identificar y mitigar el sesgo de género en los Modelos de Lenguaje Grandes (LLM) analizando componentes específicos responsables de las salidas sesgadas. Sin embargo, los enfoques actuales adolecen de dos limitaciones principales: (i) a menudo se dirigen a tareas muy específicas, como la predicción de pronombres de género, y (ii) no logran distinguir entre género fáctico (la asociación semántica correcta entre un sustantivo y su género, por ejemplo, "mujer" $\to$ "ella") y género estereotípico (salidas basadas en estereotipos sociales, por ejemplo, "enfermera" $\to$ "ella").

Esta falta de distinción conduce a un efecto secundario crítico en los esfuerzos de desviación: la degradación del conocimiento fáctico de género del modelo. El trabajo existente sugiere que las señales de sesgo de género y género fáctico están entrelazadas dentro de las representaciones internas del modelo, pero la historia mecánica de este entrelazamiento a nivel de circuitos y neuronas permanece en gran parte sin explicar. En consecuencia, técnicas simples de desviación, como la ablación de neuronas, pueden eliminar inadvertidamente la capacidad del modelo para predecir correctamente el género fáctico mientras se reclama éxito en las pruebas de referencia de sesgo.

Metodología
Para abordar estas brechas, los autores proponen un enfoque multifacético que combina la curación de conjuntos de datos, el análisis de circuitos y experimentos de ablación de neuronas en dos modelos transformadores solo de decodificador: Llama-3.1-8b y Olmo-7b.

1. Curación de Conjuntos de Datos (GKnow):
   Los autores introducen GKnow, una prueba de referencia diseñada para evaluar el conocimiento y el sesgo de género a través de diversos tipos de predicción. GKnow categoriza los prompts por la asunción (sujeto) y la salida esperada. El conjunto de datos incluye:

   • Subconjuntos fácticos: Basados en sustantivos con género léxico (por ejemplo, "mujer"), nombres e indicadores explícitos de género.
   • Subconjuntos estereotípicos: Basados en ocupaciones estereotípicamente de género (por ejemplo, "enfermera") o rasgos (por ejemplo, "cuidadoso").
   • Tipos de predicción: Predicción de pronombres de género, identificación de género y predicción de nombres.
     GKnow permite separar las tareas en categorías "estereotípicas" (propensas al sesgo) y "fácticas" (basadas en conocimiento) para medir el entrelazamiento.

2. Análisis de Circuitos:
   Utilizando EAP-IG (Parcheo de Atribución de Bordes con Gradientes Integrados), los autores identifican circuitos mínimos fieles responsables de las predicciones de género. Analizan:

   • Intersección sobre Unión (IoU): Midiendo la superposición de bordes y nodos entre circuitos para diferentes tareas.
   • Fidelidad entre tareas: Evaluando si un circuito identificado para una tarea (por ejemplo, predicción estereotípica) puede reproducir fielmente el comportamiento de una tarea diferente (por ejemplo, predicción fáctica).

3. Análisis a Nivel de Neuronas y Ablación:
   Los autores emplean Gradientes Integrados para identificar neuronas relevantes para la tarea, específicamente aquellas asociadas con predicciones estereotípicas (ya que estas son los objetivos típicos para la desviación). Realizan ablación de neuronas (estableciendo las activaciones en cero) en las 10 y 50 neuronas identificadas principales.

   • Evaluación: El impacto de la ablación se mide en GKnow, StereoSet y DiFair (una prueba de referencia para la evaluación desacoplada del conocimiento de género y el sesgo).
   • Métricas: El estudio rastrea $P_{exp}$ (probabilidad del token esperado), $P_{opp}$ (token de género opuesto), $P_{other}$ y la brecha de probabilidad ($\Delta$) entre las salidas masculinas y femeninas.

Resultados Clave

• Entrelazamiento a Nivel de Circuitos:

  • Los circuitos responsables de las predicciones de género estereotípico y fáctico muestran una alta superposición y baja separación.
  • La fidelidad entre tareas es alta: los circuitos identificados para tareas estereotípicas pueden recuperar el rendimiento de tareas fácticas (y viceversa). Por ejemplo, aplicar el circuito predicción_de_género_basada_en_estereotipos al subconjunto predicción_de_género_basada_en_pronombre logró una fidelidad de 1.0.
  • Esto indica que el género fáctico y el estereotípico están severamente entrelazados a nivel de circuito.

• Entrelazamiento a Nivel de Neuronas y Efectos de la Ablación:

  • La ablación de neuronas identificadas mediante prompts estereotípicos causa una disminución significativa en la capacidad del modelo para predecir género fáctico.
  • En los subconjuntos GKnow Fácticos, la ablación de las neuronas principales provocó disminuciones bruscas en $P_{exp}$ (por ejemplo, bajando del 91.49% al 79.86% en Llama para 50 neuronas) y aumentos en $P_{opp}$ y $P_{other}$.
  • Crucialmente, aunque la ablación a menudo mejora las métricas en las pruebas de referencia estereotípicas (por ejemplo, reduciendo $P_{exp}$ para predicciones estereotípicas en StereoSet), estos resultados "positivos" enmascaran un colapso simultáneo en la competencia de género fáctico.
  • La brecha de probabilidad ($\Delta$) entre las salidas masculinas y femeninas disminuye significativamente, indicando una pérdida de confianza en las predicciones de género en ambos subconjuntos, fácticos y estereotípicos.

• Interpretabilidad Humana:

  • Utilizando la técnica Logit Lens, los autores descubrieron que las neuronas compartidas entre diferentes tareas de género son interpretables por humanos. Por ejemplo, se encontró que neuronas específicas en Olmo y Llama suprimen o promueven tokens de género específicos (por ejemplo, pronombres como "ella" o nombres como "María") tanto en contextos fácticos como estereotípicos.

Contribuciones Clave

1. Prueba de Referencia GKnow: La curación de GKnow, que llena un vacío en los recursos disponibles para evaluar el entrelazamiento del sesgo de género y el conocimiento fáctico de género a través de varios tipos de tareas en inglés.
2. Evidencia a Nivel de Circuitos: La demostración, mediante EAP-IG, de que las señales de género estereotípico y fáctico están entrelazadas dentro de los mismos circuitos computacionales, desafiando la suposición de que pueden separarse fácilmente.
3. Análisis de Ablación de Neuronas: El hallazgo empírico de que la ablación simple de neuronas, aunque potencialmente efectiva para reducir el sesgo estereotípico en pruebas de referencia específicas, compromete severamente el conocimiento fáctico de género. Esto sugiere que la ablación es un método independiente poco fiable para la desviación.

Significado y Afirmaciones
El artículo argumenta que el entrelazamiento del sesgo de género y el género fáctico es una propiedad fundamental de las arquitecturas actuales de LLM, observable tanto a nivel de circuito como de neurona. Los autores afirman que:

• Los métodos actuales de desviación son defectuosos: Técnicas como la ablación de neuronas, que apuntan a "neuronas de sesgo", destruyen inadvertidamente el conocimiento fáctico porque los mecanismos subyacentes son compartidos.
• Las pruebas de referencia de evaluación son insuficientes: Las pruebas de referencia que no tienen en cuenta el género fáctico (como StereoSet) pueden ocultar la degradación de la competencia lingüística causada por los intentos de desviación.
• El trabajo futuro requiere una evaluación robusta: Existe una necesidad urgente de conjuntos de datos de evaluación de sesgo de género que midan explícitamente la preservación del conocimiento fáctico de género junto con la reducción del sesgo.

Los autores concluyen con una advertencia contra la "ablación de neuronas sin filtrar" como el único método para la desviación de género, enfatizando que, sin pruebas de referencia robustas como GKnow, el campo corre el riesgo de mejorar las métricas de sesgo a costa de la comprensión básica del lenguaje. El artículo reconoce limitaciones, señalando que los hallazgos son actualmente específicos del inglés y de modelos relativamente pequeños, y que el sesgo de género puede manifestarse en formas no cubiertas por sus estereotipos basados en ocupaciones y adjetivos.