💬 NLP

Bi-directional Bias Attribution: Debiasing Large Language Models without Modifying Prompts

Este artículo propone un marco que detecta palabras que inducen estereotipos y atribuye el sesgo a neuronas específicas en modelos de lenguaje de gran tamaño, permitiendo un mitigación de sesgos efectiva mediante la intervención directa de la activación sin requerir el ajuste fino o modificaciones en los prompts.

Autores originales: Yujie Lin, Kunquan Li, Yixuan Liao, Xiaoxin Chen, Jinsong Su

Publicado 2026-02-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yujie Lin, Kunquan Li, Yixuan Liao, Xiaoxin Chen, Jinsong Su

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a los Modelos de Lenguaje Extensos (LLM) como chefs increíblemente talentosos que han leído casi todas las recetas e historias jamás escritas. Pueden preparar platos increíbles (respuestas) para cualquier pedido. Sin embargo, debido a que aprendieron del mundo real, a veces añaden accidentalmente "ingredientes secretos" de sesgo. Por ejemplo, si preguntas "¿Quién es el doctor?", podrían asumir automáticamente que el chef es un hombre, o si preguntas por una "enfermera", podrían asumir que es una mujer. Estos no son elecciones malintencionadas; son simplemente el modelo repitiendo patrones que vio en sus datos de entrenamiento.

El artículo que proporcionaste, titulado "Bi-Directional Bias Attribution" (Atribución de Sesgo Bidireccional), propone una nueva forma de arreglar estos "ingredientes secretos" sin tener que reentrenar a todo el chef ni cambiar la forma en que los clientes piden su comida.

Aquí tienes un desglose sencillo de cómo lo hicieron:

1. El problema con los métodos antiguos

Normalmente, para arreglar a un chef sesgado, tienes dos opciones malas:

Reentrenamiento: Haces que el chef practique con libros de cocina nuevos y perfectamente equilibrados. Esto requiere una enorme cantidad de tiempo, dinero y energía (potencia de cómputo).
Ingeniería de Prompts (Prompt Engineering): Le dices al cliente: "Por favor, pregúntele al chef de una manera muy específica para asegurar que no sea sesgado". Esto es molesto para el usuario y hace que la conversación sea torpe.

Los autores querían una solución que arreglara los hábitos internos del chef sin hacer que practique de nuevo ni cambiar cómo los clientes le hablan.

2. Paso uno: Encontrar las "Palabras Disparadoras" (Indicios de Estereotipos)

Primero, los investigadores necesitaban averiguar qué palabras específicas en una oración causan que el modelo sea sesgado.

La Analogía: Imagina un interruptor de luz que, al ser activado, enciende un pensamiento sesgado específico. Los investigadores querían encontrar exactamente qué palabras actúan como ese interruptor.
Cómo lo hicieron: Probaron miles de adjetivos y sustantivos (como "gentil", "doctor", "guerrero") para ver cuáles hacían que las predicciones del modelo se volvieran muy estrechas y predecibles (baja "entropía"). Si una palabra como "cuidadora" hacía que el modelo estuviera 99% seguro de que la persona era mujer, esa palabra era marcada como un "Indicio de Estereotipo".

3. Paso dos: El trabajo de detective "Bidireccional"

Una vez que tuvieron las palabras disparadoras, necesitaban encontrar dónde dentro del cerebro del modelo vivían estos sesgos. El modelo está compuesto por millones de pequeñas unidades de procesamiento llamadas neuronas. Los autores utilizaron dos estrategias de detective diferentes para encontrar las "malas" neuronas:

Atribución de Sesgo hacia Adelante (El detective de la "Predicción"):
- El Escenario: El modelo ve una palabra sesgada (como "cuidadora") y predice un género.
- El Método: Rastrearon el camino desde la palabra hasta la predicción para ver qué neuronas específicas estaban haciendo el trabajo pesado para realizar esa suposición sesgada.
Atribución de Sesgo hacia Atrás (El detective de la "Diferencia"):
- El Escenario: Comparan cómo reacciona el modelo a "un enfermero hombre" frente a "una enfermera mujer".
- El Método: Buscaron neuronas que se activaban de forma diferente dependiendo del género, identificando las partes del cerebro que crean la brecha entre los dos grupos.

Al usar ambos detectives, obtuvieron un mapa completo de exactamente qué neuronas eran responsables del sesgo.

4. Paso tres: El "Botón de Silencio" (Intervención)

Ahora que sabían exactamente qué neuronas causaban problemas, no las eliminaron ni reentrenaron el modelo. En su lugar, simplemente congelaron esas neuronas específicas.

La Analogía: Imagina un coro ruidoso donde algunos cantantes están cantando fuera de tono. En lugar de despedir a todo el coro o enseñarles a cantar de nuevo, simplemente pones un botón de silencio en los cantantes específicos que están desafinados.
El Resultado: Establecieron la activación de estas "neuronas sesgadas" en un valor constante y neutral. Esto evita que empujen al modelo hacia un estereotipo, pero el resto del modelo (los buenos cantantes) sigue funcionando perfectamente.

5. Los Resultados

Los investigadores probaron esto en tres modelos populares (Llama-3.1, Llama-3.2 y Mistral).

Equidad: Los modelos se volvieron mucho más justos. Cuando se les preguntaba por doctores o enfermeras, dejaron de asumir géneros específicos y comenzaron a adivinar de forma más equilibrada (más cerca de una división 50/50).
Rendimiento: Crucialmente, los modelos no se volvieron "más tontos". Siguen entendiendo el lenguaje bien y pueden responder preguntas correctamente. El "botón de silencio" solo silenciaba el sesgo, no la inteligencia.

Resumen

Este artículo introduce un enfoque "quirúrgico" para arreglar el sesgo de la IA. En lugar de una reforma integral (reentrenamiento) o un recurso torpe (cambiar los prompts), identificaron las "manzanas podridas" específicas (neuronas) dentro del modelo usando un método de detective de dos vías y simplemente las neutralizaron. Esto permite que la IA siga siendo inteligente y útil, mientras trata a todos los grupos de personas de manera más justa.

Resumen Técnico: Atribución de Sesgo Bidireccional

Definición del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) exhiben y amplifican frecuentemente sesgos sociales relacionados con el género, la raza, la religión y la ocupación. Los enfoques de mitigación de sesgos existentes enfrentan limitaciones significativas: los métodos de ajuste fino (fine-tuning) son computacionalmente costosos e impracticables para modelos a gran escala, mientras que la ingeniería de prompts (por ejemplo, instruir a los modelos para evitar el sesgo) degrada la experiencia del usuario al aumentar la longitud del contexto y los costos de inferencia en interacciones de múltiples turnos. Además, los métodos actuales de atribución a nivel de neurona suelen tener dificultades con arquitecturas profundas donde las contribuciones individuales de las neuronas son marginales o no logran capturar las relaciones de sesgo entre pares.

Este artículo aborda la necesidad de un marco de mitigación de sesgos que no requiera ni el ajuste fino del modelo ni la modificación de los prompts. Los autores definen dos subproblemas principales:

Generación Invariante Demográfica (DIG): Garantizar que la distribución de salida del modelo permanezca inalterada cuando solo varía la información demográfica en el prompt.
Inferencia Libre de Estereotipos (SFI): Garantizar que el modelo no favorezca sistemáticamente a un grupo demográfico sobre otro al interpretar prompts que contienen pistas de estereotipos (por ejemplo, asociar "médico" con "hombre").

Metodología

El marco propuesto, Atribución de Sesgo Bidireccional, opera sin modificar los pesos del modelo ni los prompts del usuario. Consta de tres etapas primarias:

1. Selección de Claves de Estereotipo mediante Minimización de Entropía

En lugar de depender de suposiciones humanas predefinidas, el método identifica automáticamente "claves de estereotipos" (adjetivos o sustantivos) que activan predicciones sesgadas.

Proceso: Los autores construyen plantillas de oraciones (por ejemplo, "El [Atributo Demográfico] de este [Sustantivo de Estereotipo] es...") y consultan al modelo para predecir grupos demográficos.
Métrica: Calculan la entropía de Shannon de la distribución de probabilidad predicha por el modelo sobre los grupos demográficos para cada clave candidata.
Selección: Las claves que arrojan una menor entropía (lo que indica predicciones altamente sesgadas y seguras hacia grupos específicos) se seleccionan como las palabras que más inducen el sesgo. Este proceso cubre tanto formas de adjetivos como de sustantivos.

2. Atribución de Sesgo Bidireccional

Para rastrear las salidas sesgadas hasta neuronas específicas, los autores proponen dos estrategias de atribución basadas en gradientes utilizando Gradientes Integrados (IG):

Atribución de Sesgo hacia Adelante (Forward-IG):
- Dirección: Prompt $\to$ Predicción Demográfica (contexto SFI).
- Mecanismo: Se le presenta al modelo claves de estereotipos para predecir un grupo demográfico. Forward-IG cuantifica la contribución de las neuronas de entrada en la capa de proyección a la certeza (baja entropía) del modelo respecto a un grupo demográfico específico.
- Objetivo: Identificar las neuronas que impulsan al modelo a asociar con seguridad una clave con un grupo demográfico específico.
Atribución de Sesgo hacia Atrás (Backward-IG):
- Dirección: Grupo Demográfico $\to$ Variación de Salida (contexto DIG).
- Mecanismo: Se le presenta al modelo oraciones que contienen diferentes grupos demográficos para predecir las claves de estereotipos asociadas. Backward-IG utiliza la Divergencia de Jensen-Shannon (JSD) para medir la disparidad en las distribuciones predichas a través de los grupos demográficos.
- Objetivo: Identificar las neuronas responsables de generar salidas diferentes basadas en el grupo demográfico de entrada.

3. Intervención Dirigida

Una vez identificadas las neuronas sesgadas (las $N$ neuronas superiores con las puntuaciones de atribución más altas), el marco interviene directamente en la capa de proyección (la capa que mapea las representaciones ocultas a los logits).

Acción: Los valores de activación de estas neuronas específicas se fijan a una constante $C$ .
Base Teórica: Los autores proporcionan un análisis teórico (Teorema 1) que establece que la modificación de las representaciones ocultas a lo largo de una ruta guiada por la atribución reduce el sesgo, con la magnitud del cambio de sesgo acotada por la variación de la salida y el gradiente de sesgo local.

Contribuciones Clave

Selección de Claves Basada en Entropía: Un método automatizado para identificar adjetivos y sustantivos que inducen estereotipos específicos del sesgo interno del modelo, evitando la dependencia de listas estáticas curadas por humanos.
Estrategias de Doble Atribución: La introducción de Forward-IG y Backward-IG, que proporcionan perspectivas complementarias sobre el sesgo: Forward-IG captura el sesgo en la inferencia de demografía desde las claves, mientras que Backward-IG captura el sesgo en la generación de texto condicionada por la demografía.
Intervención Sin Prompts: Un flujo de trabajo de mitigación de sesgo que modifica únicamente los valores de activación de neuronas específicas en la capa de proyección, sin requerir ajuste fino ni ingeniería de prompts.
Conexión Teórica: Una prueba formal que vincula la reducción del sesgo con la variación en las salidas del modelo bajo modificaciones guiadas por la atribución.

Resultados Experimentales

El marco fue evaluado en tres LLMs (Llama-3.1-8B, Llama-3.2-3B, Mistral-7B-v0.3) a través de cuatro atributos demográficos (Género, Nacionalidad, Profesión, Religión) utilizando tres bancos de pruebas:

StereoSet (Tarea DIG): Los métodos propuestos (FBA y BBA) redujeron significativamente el sesgo (acercando la Puntuación de Estereotipo al 50%) manteniendo altos puntajes de Modelado de Lenguaje (LMS) y puntuaciones ICAT. En contraste, los métodos de línea base como Auto-Debias y la ingeniería de prompts fallaron en reducir el sesgo o degradaron las capacidades de modelado de lenguaje.
BBQ (Tarea DIG): En preguntas ambiguas, FBA y BBA redujeron la dependencia de los estereotipos (aumentando la selección de "desconocido") sin la caída brusca en la precisión en preguntas desambiguadas observada en los métodos basados en prompts.
WinoBias (Tarea SFI): El método de Atribución de Sesgo hacia Atrás (BBA) logró la brecha más pequeña entre las probabilidades de estereotipo y anti-estereotipo manteniendo $P_{other} \approx 0$ , lo que indica la preservación de la capacidad de modelado de lenguaje. Notablemente, mientras que IG2 redujo el sesgo en Llama-3.2, degradó severamente el rendimiento del modelado de lenguaje (alto $P_{other}$ ).

Los Estudios de Ablación confirmaron que tanto la estrategia de atribución (identificación de neuronas específicas) como el algoritmo de selección de claves son críticos; la selección aleatoria de neuronas o el uso de claves no seleccionadas resultó en un desempeño de mitigación de sesgo inferior y menores puntuaciones de modelado de lenguaje.

Significado y Reivindicaciones

El artículo afirma ofrecer una vía práctica e interpretable para construir LLMs más justos. Al demostrar que los comportamientos sesgados pueden localizarse en subconjuntos de neuronas específicos e identificables, los autores argumentan que la intervención dirigida en la capa de proyección es una alternativa viable al ajuste fino intensivo en recursos o a la ingeniería de prompts intrusiva para el usuario. El trabajo enfatiza que la mitigación efectiva del sesgo no requiere comprometer las capacidades centrales de modelado de lenguaje del modelo ni alterar el flujo de interacción con el usuario.