Resumen Técnico: Detección de Sesgo Causal en Inteligencia Artificial Generativa

Declaración del Problema

A medida que los sistemas automatizados basados en inteligencia artificial (IA) se despliegan cada vez más en dominios de alto riesgo (por ejemplo, contratación, préstamos, atención médica), las preocupaciones sobre la equidad y la perpetuación de disparidades demográficas se han intensificado. Si bien el trabajo previo en equidad causal ha establecido un marco principista para el entorno estándar de aprendizaje automático (AA)—donde un tomador de decisiones construye una única función predictiva $f_{\hat{Y}}$ mientras hereda los mecanismos causales para todas las demás covariables del mundo real—este marco es insuficiente para la IA Generativa.

Los modelos generativos difieren fundamentalmente de los predictores de AA estándar:

1. Construcción de Mecanismos: A diferencia del AA estándar, que aprende un único mapeo de covariables a un resultado, los modelos generativos construyen implícitamente sus propias creencias sobre todos los mecanismos causales (incluidos los de las covariables $X, Z, W$), no solo sobre el resultado $Y$.
2. Granularidad de los Datos: Los modelos generativos a menudo operan sobre modalidades de nivel inferior (texto, imágenes) en lugar de datos tabulares estructurados, requiriendo la inferencia de relaciones entre variables que pueden diferir significativamente de las correlaciones del mundo real.
3. Propagación del Sesgo: Los métodos existentes no logran distinguir si las disparidades observadas en las salidas generativas surgen del mecanismo de resultado aprendido por el modelo, de sus mecanismos de covariables aprendidos, o de la interacción entre ambos.

El artículo aborda la necesidad de una nueva metodología para detectar, cuantificar y descomponer el sesgo causal en la IA generativa, analizando específicamente cómo los modelos generativos alteran las disparidades del mundo real a través de sus mecanismos causales internos.

Metodología

Los autores proponen un marco teórico unificado que extiende el Modelo de Equidad Estándar (SFM) al entorno generativo utilizando Modelos Causales Estructurales (MCE).

1. El Modelo de Equidad Estándar-S (S-SFM)

La innovación central es la introducción de un nodo de selección $S$ que indica la fuente del mecanismo de generación de datos:

• $S = rw$(o$0$): El mecanismo del mundo real ($f^{rw}$).
• $S = gm$(o$1$): El mecanismo del modelo generativo ($f^{gm}$).

En este marco, el nodo de selección $S$ apunta a todas las variables ($X, Z, W, Y$), permitiendo el reemplazo independiente de mecanismos. Esto contrasta con el SFM estándar, donde $S$ típicamente solo afecta al mecanismo de resultado. El modelo define resultados potenciales $Y^{s_y}_{x_y, W^{s_w}_{x_w} | X=x_z, S=s_z}$, donde los superíndices denotan el entorno (mundo real o modelo) del cual se extrae el mecanismo específico, y los subíndices denotan los valores de las variables a lo largo de caminos causales específicos.

2. Efectos Causales Modificados-S

Los autores definen efectos específicos-x modificados-S (Directos, Indirectos y Espurios) que tienen en cuenta la fuente del mecanismo. Por ejemplo, el efecto directo modificado-S es:
$$x\text{-}DE^{s_z, s_w, s_y}_{x_0, x_1}(y | x) = E[Y^{s_y}_{x_1, W^{s_w}_{x_0}} | X=x, S=s_z] - E[Y^{s_y}_{x_0, W^{s_w}_{x_0}} | X=x, S=s_z]$$
Esto permite aislar cómo cambia el efecto directo cuando mecanismos específicos (por ejemplo, $f_Y$, $f_W$, o $f_{X,Z}$) se intercambian del mundo real al modelo generativo.

3. Descomposición de las Diferencias de Disparidad

El artículo deriva un Teorema 1 que descompone la diferencia en la variación total (TV) entre el mundo real y el modelo generativo ($\Delta TV$) en contribuciones derivadas de cambios en los caminos directos, indirectos y espurios. Crucialmente, cada contribución de camino se descompone aún más en tres términos que representan el reemplazo paso a paso de mecanismos:

1. T1: Reemplazo del mecanismo de resultado ($f_Y$) únicamente.
2. T2: Reemplazo del mecanismo del mediador ($f_W$), con $f_Y$ ya reemplazado.
3. T3: Reemplazo del mecanismo de la covariable ($f_{X,Z}$), con $f_W$ y $f_Y$ ya reemplazados.

Esta descomposición granular permite a los investigadores identificar exactamente qué parte del "sistema de creencias" del modelo generativo impulsa el sesgo.

4. Identificación y Estimación

El artículo establece condiciones de identificación (Proposición 3) que muestran que estos resultados potenciales pueden estimarse utilizando muestras de entornos mixtos. La estrategia de estimación implica:

• Generador ($\Gamma$): Un LLM instruido para generar narrativas basadas en condiciones específicas (por ejemplo, "Escribe una historia sobre una persona de [Raza] de [Sexo] y edad [Edad]...").
• Anotador ($A$): Un LLM separado que extrae valores estructurados (por ejemplo, ingresos, educación, resultado) de las narrativas generadas.
• Conjuntos de Datos: Construcción de cuatro conjuntos de datos específicos ($D_{s_0}$, $D_{s_0,s_0,s_1}$, $D_{s_0,s_1,s_1}$, $D_{s_1}$) que representan el reemplazo progresivo de mecanismos, permitiendo el cálculo de los términos de descomposición.

Contribuciones Clave

1. Formalización de la Equidad Causal en la IA Generativa: El artículo unifica el entorno de equidad de AA estándar y el entorno de IA generativa bajo un mismo paraguas teórico (S-SFM), modelando explícitamente la construcción por parte del modelo generativo de sus propios mecanismos causales.
2. Nuevos Resultados de Descomposición Causal: Introduce una descomposición novedosa (Teorema 1) que cuantifica los impactos en la equidad a lo largo de dos dimensiones:
   • Diferentes caminos causales (Directo, Indirecto, Espurio).
   • El mecanismo específico que se reemplaza (Mundo real vs. Modelo).
3. Identificación y Estimación: Proporciona condiciones de identificación y estimadores eficientes para estas cantidades causales, demostrando cómo generar los datos contrafactuales necesarios utilizando LLMs.
4. Aplicación Empírica: La metodología se aplica para analizar el sesgo racial y de género en 10 modelos de lenguaje grandes (LLMs) a través de tres conjuntos de datos:
   • NSDUH: Sesgo racial en el abuso de sustancias (consumo de marihuana).
   • BRFSS: Sesgo racial en la carga de enfermedades crónicas (diabetes).
   • ACS: Sesgo de género en los niveles de ingresos.

Resultados

Los autores analizaron 10 modelos de peso abierto ajustados por instrucciones (incluidas las familias Llama 3, Qwen, Gemma, DeepSeek y Phi) a través de los tres conjuntos de datos.

• Firmas de Sesgo: El estudio produjo una "firma de sesgo" de 27 dimensiones para cada modelo. El agrupamiento jerárquico reveló que la similitud del sesgo no se correlaciona estrictamente con la familia del modelo o la escala de parámetros; familias distintas a menudo exhibieron firmas de sesgo más cercanas que los hermanos dentro de la misma familia.
• Amplificación y Reversión:
  • Reversión: Los modelos frecuentemente invirtieron el signo de las disparidades del mundo real. Por ejemplo, en el conjunto de datos NSDUH, los datos del mundo real mostraron que las minorías consumen marihuana a tasas menores (controlando por covariables), pero modelos como Gemma 3 27B invirtieron esto para mostrar que las minorías lo consumen a tasas mayores.
  • Amplificación: En el conjunto de datos BRFSS, los modelos a menudo amplificaron el efecto directo de la raza sobre el riesgo de diabetes.
  • Atenuación: Algunos modelos atenuaron ventajas espurias (por ejemplo, la protección relacionada con la edad contra la diabetes para las minorías en BRFSS).
• Atribución de Mecanismos: La descomposición reveló que el sesgo no es monolítico.
  • En el caso de Gemma 3 27B (NSDUH), la inversión del efecto directo fue impulsada principalmente por el reemplazo del mecanismo del mediador ($f_W$), que codificaba una distribución estereotipada de educación/ingresos para las minorías, y no solo por el mecanismo de resultado.
  • En el caso de Qwen 3.5 27B (BRFSS), la inversión del efecto directo fue dominada por el mecanismo de resultado ($f_Y$), mientras que la inversión del efecto indirecto fue impulsada por los mecanismos del mediador ($f_W$) y de la covariable ($f_{X,Z}$).

Significado y Afirmaciones

El artículo afirma que su principal significado radica en proporcionar una lente causal granular para comprender el sesgo en la IA generativa, yendo más allá de las disparidades estadísticas agregadas.

• Más allá de la Equidad Contrafactual: A diferencia del trabajo previo que se centra únicamente en la equidad contrafactual en la clasificación, este marco modela el proceso causal latente y cuantifica qué mecanismos (generación de resultado, mediador o covariable) contribuyen a las disparidades.
• Generalización: El marco generaliza estrictamente la literatura existente de equidad causal para el AA estándar (donde solo se reemplaza el mecanismo de resultado) al entorno generativo más complejo donde todos los mecanismos están potencialmente alterados.
• Utilidad Diagnóstica: La descomposición permite a los profesionales diagnosticar si el sesgo de un modelo se deriva de su comprensión del resultado (por ejemplo, "las minorías tienen más probabilidades de consumir drogas") o de su comprensión de la estructura del mundo (por ejemplo, "las minorías tienen menor educación/ingresos"), ofreciendo información dirigida para la mitigación.

Los autores permanecen modestos respecto a las limitaciones, señalando que el marco asume la capacidad de consultar modelos para condicionales arbitrarios (lo cual puede ser difícil en modelos de visión), requiere la elicitación humana de suposiciones causales (especificación de S-SFM), y se restringió a modelos de peso abierto debido a las limitaciones de costos para modelos cerrados. También señalan que el marco no cubre actualmente inferencias realizadas en orden causal inverso (por ejemplo, inferir la raza a partir del salario).