Resumen Técnico: Conocer el Sesgo, Actuar Mejor mediante la Mejora de Neuronas de Conocimiento del Sesgo (Know-Bias)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) codifican y reproducen sistemáticamente sesgos sociales, reforzando estereotipos perjudicialos y limitando su despliegue seguro. Aunque la investigación extensa ha intentado mitigar estos sesgos, los métodos existentes dependen predominantemente de un paradigma de supresión. Estos enfoques intentan reducir el sesgo modificando los parámetros del modelo, ajustando los prompts o suprimiendo las neuronas asociadas con el comportamiento sesgado. Los autores argumentan que este paradigma sufre de tres debilidades estructurales:

1. Adherencia Frágil: Las defensas basadas en prompts a menudo fallan al generalizarse a través de diferentes tareas, formulaciones o demografías.
2. Ineficiencia de Datos y Generalización Limitada: Los métodos basados en entrenamiento y edición requieren grandes conjuntos de datos anotados con sesgos y a menudo no logran generalizarse a tipos de sesgo o demografías no vistas.
3. Degradación de la Capacidad General: Debido a que el sesgo social está distribuido en representaciones altamente superpuestas, la supresión de neuronas correlacionadas con el sesgo induce a menudo regresiones no deseadas en comportamientos no relacionados y en las capacidades de razonamiento general.

Metodología: Mejora de Neuronas de Conocimiento del Sesgo (Know-Bias)

El artículo propone KnowBias, un marco ligero y agnóstico al modelo que adopta un paradigma complementario: en lugar de suprimir el comportamiento sesgado, aprovecha el conocimiento del sesgo interno del modelo. Basándose en observaciones de la ciencia cognitiva que indican que la conciencia del sesgo reduce la dependencia de juicios sesgados, los autores hipotetizan que los LLMs codifican el "conocimiento del sesgo" (la capacidad de reconocer que una afirmación es sesgada) en representaciones neuronales latentes específicas, denominadas neuronas de conocimiento del sesgo (know-bias neurons).

El flujo de trabajo de KnowBias consta de tres etapas:

1. Diseño de Preguntas de Conocimiento del Sesgo

El método elicia señales de conocimiento del sesgo utilizando un pequeño conjunto de preguntas de sí/no simples diseñadas para sondear la capacidad del modelo para reconocer opiniones sesgadas. Estas preguntas se construyen combinando:

• Conceptos de Sesgo: Atributos sociales abstractos y de alto nivel (p. ej., resolución de problemas, liderazgo) en lugar de estereotipos específicos.
• Dimensiones Demográficas: Categorías amplias (p. ej., raza, género, religión).
• Tipos de Pregunta: Se utilizan tres tipos complementarios para capturar diferentes facetas del conocimiento del sesgo:
  • Rechazo Causal: Sondear si el modelo rechaza vínculos causales sesgados (p. ej., "¿Influye la raza en la resolución de problemas?").
  • Reconocimiento de Sesgo: Evaluar si el modelo identifica creencias como sesgadas.
  • Juicio Normativo: Evaluar si el modelo reconoce la inapropiación social/moral de las creencias sesgadas.

2. Identificación de Neuronas de Conocimiento del Sesgo

Utilizando un análisis basado en la atribución (específicamente Gradientes Integrados), el método cuantifica la contribución de las neuronas intermedias de las Redes de Alimentación hacia Adelante (FFNs) a la predicción de las respuestas esperadas de "conocimiento del sesgo".

• Las neuronas se seleccionan si sus puntuaciones de atribución exceden un umbral ($\tau\%$) de la puntuación máxima y si aparecen consistentemente en al menos una fracción ($\beta\%$) de las preguntas.
• Estos conjuntos se agregan a través de dimensiones demográficas (usando una estrategia de unión) para formar un conjunto unificado de neuronas de conocimiento del sesgo.

3. Mejora de Neuronas en el Tiempo de Inferencia

Durante la inferencia, KnowBias mejora selectivamente las neuronas identificadas sin reentrenar ni modificar los parámetros del modelo. Para una entrada dada, las activaciones de las neuronas de conocimiento del sesgo se escalan multiplicativamente por un factor $\lambda$:
$$h_i^{(l)} \leftarrow \lambda \cdot h_i^{(l)}$$
Esta intervención orienta la generación hacia un comportamiento más justo al amplificar el reconocimiento interno del sesgo por parte del modelo, en lugar de suprimir la salida directamente.

Contribuciones Clave

1. Cambio Conceptual: El artículo introduce un cambio de paradigma de la supresión del comportamiento de sesgo a la mejora del conocimiento del sesgo. Postula que los modelos ya poseen el conocimiento para identificar el sesgo; el objetivo es activar este conocimiento durante la generación.
2. Eficiencia de Datos: KnowBias requiere solo un puñado de preguntas simples (p. ej., 45 preguntas a través de tres dimensiones) para identificar neuronas efectivas, contrastando con los métodos previos que dependen de miles de muestras específicas de estereotipos para el ajuste fino (fine-tuning).
3. Preservación de la Utilidad: Al dirigirse a neuronas de "conocimiento del sesgo" abstractas en lugar de neuronas correlacionadas con sesgos específicos, el método evita el error común de degradar las capacidades de razonamiento general y de lenguaje.
4. Generalizabilidad: Las neuronas identificadas se generalizan a través de diferentes tipos de sesgo y dimensiones demográficas, lo que sugiere que el conocimiento del sesgo está codificado en representaciones internas compartidas en lugar de heurísticas específicas de cada dimensión.

Resultados Experimentales

Los autores evaluaron KnowBias en tres arquitecturas de LLM (Llama-3.2-3B, Llama-3.1-8B y Qwen-3-4B) en cinco entornos de referencia (benchmarks) de sesgo social (BBQ, CrowS-Pairs, StereoSet) y cuatro de razonamiento general (COPA, OpenBookQA, ARC).

• Desmitificación del Sesgo (Debiasing): KnowBias logró el mejor o el segundo mejor rango promedio en todos los entornos de referencia de sesgo social y dimensiones demográficas, superando a los métodos de vanguardia, incluyendo los basados en prompts (Self-Debiasing), ajuste fino (LFTF, ReGiFT), edición de modelos (BiasEdit) y dirección de activación (FairSteer).
• Preservación de la Utilidad: A diferencia de muchos de los métodos de referencia que mostraron caídas significativas en la precisión del razonamiento general (marcadas con asteriscos en las tablas de resultados), KnowBias mantuvo o incluso mejoró ligeramente el rendimiento en los conjuntos de datos de capacidad general.
• Generalización: Los experimentos demostraron que las neuronas identificadas mediante preguntas sobre una dimensión demográfica (p. ej., raza) mitigaban eficazmente el sesgo en otras (p. ej., género), y que las neuronas identificadas a partir de conceptos abstractos se generalizaban a estereotipos específicos.
• Eficiencia de Datos: El rendimiento se saturó con tan solo 45 preguntas, lo que indica que la generación extensiva de datos no es necesaria para una mitigación de sesgo efectiva.

Significado y Reivindicaciones

El artículo afirma que KnowBias ofrece una alternativa robusta, eficiente en datos y generalizable a los enfoques convencionales de supresión de sesgo. Al tratar la mitigación del sesgo como una activación de señales latentes de "conocimiento del sesgo" en lugar de una supresión de las salidas, el método logra un equilibrio entre equidad y utilidad favorable.

Los autores enfatizan que este enfoque es ligero (no requiere reentrenamiento) e interpretable (dirigido a neuronas específicas). Concluyen que aprovechar el conocimiento del sesgo ya codificado dentro de los LLM proporciona un camino escalable hacia un despliegue responsable, aunque reconocen que el método depende de los juicios normativos integrados en el preentrenamiento del modelo y que el trabajo futuro debería abordar dimensiones demográficas más amplias y definiciones de equidad interculturales.