Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models

Resumen Técnico: Replanteamiento Geométrico del Desviado Post-hoc en Modelos Visión-Lenguaje

1. El Problema: Limitaciones de los Enfoques Actuales

Los Modelos Visión-Lenguaje (VLM) han demostrado ser fundamentales para tareas multimodales, pero heredan y amplifican sesgos demográficos (género, raza, edad) presentes en los datos de entrenamiento. Esto resulta en asociaciones injustas y predicciones desalineadas.

Los métodos recientes de desviado post-hoc (como SFID - Selective Feature Imputation for Debiasing) intentan mitigar estos sesgos reemplazando las coordenadas específicas del embedding que más se correlacionan con atributos sensibles por valores neutros. Sin embargo, los autores identifican tres limitaciones críticas en este enfoque basado en coordenadas:

1. Entrelazamiento de Características (Feature Entanglement): Los atributos sensibles no están aislados en dimensiones disjuntas. Eliminar coordenadas para un atributo (ej. género) distorsiona inadvertidamente la representación de otros (ej. raza o edad).
2. Mala Generalización entre Conjuntos de Datos: Las dimensiones "importantes" para un atributo cambian según el conjunto de datos. Un método que funciona en un dataset (ej. FairFace) falla al transferirse a otro (ej. FACET) porque los índices de las coordenadas no se alinean.
3. Eliminación Incompleta del Sesgo: El sesgo no está concentrado en unas pocas coordenadas principales. Reemplazar las $m$ dimensiones más importantes deja una señal de atributo linealmente decodable significativa, ya que la información está distribuida de forma redundante a través de muchas dimensiones.

Hipótesis Central: El sesgo no es una propiedad de coordenadas aisladas, sino que está estructurado en subespacios lineales distribuidos dentro del espacio de embeddings de alta dimensión.

---

2. Metodología: Desviado por Proyección de Subespacio (SPD)

Para abordar estas limitaciones, los autores proponen SPD (Subspace Projection Debiasing), un marco geométrico que opera sin reentrenamiento (training-free). El proceso consta de tres etapas principales:

1. Identificación del Subespacio de Sesgo (INLP):

   • Utilizan el marco Iterative Null-space Projection (INLP).
   • Entrenan clasificadores lineales iterativos para predecir el atributo sensible desde los embeddings.
   • En cada iteración, identifican la dirección discriminativa más fuerte (el vector de pesos del clasificador), la orthogonalizan y la proyectan fuera del espacio de embeddings.
   • Esto se repite $T$ veces (o hasta que la precisión del clasificador caiga al nivel aleatorio), construyendo una base ortonormal $U$ que define el subespacio de sesgo.

2. Proyección de Subespacio:

   • En lugar de editar coordenadas individuales, se proyectan los embeddings sobre el complemento ortogonal del subespacio de sesgo aprendido.
   • Matemáticamente, para un embedding $x$, la representación desviada es $x' = x(I - U^\top U)$.
   • Esto elimina los componentes linealmente decodables del atributo sensible de manera más robusta y completa que el reemplazo de coordenadas.

3. Reinyección Neutral (Neutral Reinjection):

   • La proyección pura puede causar una pérdida de utilidad semántica o un desplazamiento fuera de la variedad (off-manifold drift).
   • Para preservar la fidelidad semántica, se reinyecta un componente de media neutral ($\bar{x}_{low}$) calculado a partir de muestras de baja confianza (aquellas donde el clasificador es incierto sobre el atributo).
   • La fórmula final es: $x'' = x' + U^\top (U \bar{x}_{low})$.
   • Esto re-centra los embeddings en el subespacio eliminado sin reintroducir variabilidad discriminativa del atributo, estabilizando la representación.

---

3. Contribuciones Clave

• Cambio de Paradigma Geométrico: Demostración empírica de que el sesgo en VLMs es una propiedad de subespacio y no de coordenadas, invalidando los supuestos de los métodos actuales como SFID.
• Marco SPD: Propuesta de un método post-hoc, sin reentrenamiento, que elimina direcciones predictivas de atributos de forma continua y geométricamente fundamentada.
• Mecanismo de Estabilización: Introducción de la reinyección de media neutral para mitigar la pérdida de utilidad semántica, un problema común en métodos de proyección pura.
• Controlabilidad: La profundidad de la proyección ($r$, número de direcciones eliminadas) actúa como un "knob" (control) para equilibrar la equidad y la utilidad del modelo.

---

4. Resultados Experimentales

Los autores evaluaron SPD en tres tareas downstream principales utilizando múltiples backbones de VLM (CLIP ResNet-50, CLIP ViT-B/32, XVLM) y compararon con baselines como SFID, DeAR, CLIP-clip y Prompt-Debias.

• Eliminación de Sesgo (Probing):

  • En pruebas de clasificación lineal sobre FairFace, SPD redujo drásticamente la precisión de predicción de atributos (ej. de ~94% a ~68% para género con $r=5$), mientras que SFID apenas mejoró la precisión original (<1% de reducción), confirmando que SFID no elimina la señal de sesgo.
  • SPD demostró ser capaz de eliminar el sesgo de un atributo con un impacto mínimo (<1%) en la representación de otros atributos, resolviendo el problema de entrelazamiento.

• Clasificación Zero-Shot (FACET):

  • SPD logró la menor brecha de paridad demográfica ($\Delta DP$) en todos los backbones, con una mejora promedio del 13.8% a 16.0% en métricas de equidad, manteniendo o mejorando ligeramente la precisión general.

• Recuperación Texto-Imagen (Flickr30K):

  • SPD redujo significativamente el sesgo demográfico en los resultados de recuperación (Skew@100), con mejoras de hasta el 59.4% en CLIP ViT-B/32, sin sacrificar la capacidad de recuperación (Recall@K).

• Generación de Imágenes (SDXL y CoDi):

  • En generación, SPD redujo las tasas de desajuste de género en prompts específicos y logró distribuciones más equilibradas en prompts neutrales, superando a los métodos basados en prompts adversarios que a menudo degradan la calidad de generación.

• Estudios de Ablación:

  • Se demostró que la etapa de reinyección neutral es crucial: sin ella, la precisión de la tarea disminuye ligeramente, aunque la equidad se mantiene. La reinyección recupera la fidelidad semántica.

---

5. Significado e Impacto

Este trabajo representa un avance fundamental en la comprensión y mitigación de sesgos en IA multimodal:

1. Teoría: Establece que el sesgo es una estructura de subespacio distribuida, lo que requiere intervenciones geométricas (proyección) en lugar de intervenciones discretas (edición de coordenadas).
2. Práctica: Ofrece una solución post-hoc eficiente que no requiere reentrenar modelos masivos, haciéndola escalable y aplicable a cualquier VLM congelado.
3. Robustez: Al operar en subespacios aprendidos en lugar de índices fijos, SPD generaliza mejor entre diferentes conjuntos de datos y tareas, superando la fragilidad de los métodos anteriores.
4. Equilibrio: Proporciona un mecanismo controlable para navegar la compensación entre equidad y utilidad, logrando mejoras significativas en métricas de justicia sin degradar el rendimiento de la tarea.

En resumen, SPD redefine cómo se debe conceptualizar y eliminar el sesgo en los modelos de visión-lenguaje, pasando de una visión "parcheada" de coordenadas a una solución geométrica integral.