Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder

Este artículo propone un método de auditoría de equidad mecánica que localiza sesgos demográficos en cabezas de atención individuales del codificador visual de CLIP, demostrando que es posible reducir el sesgo de género mediante la ablación de cabezas específicas, mientras que el sesgo de edad parece estar codificado de manera más difusa.

Lo esencial

¡Hola! Vamos a desmenuzar este paper científico como si estuviéramos contando una historia en una cafetería. Imagina que tienes un robot muy inteligente (llamado CLIP) que ha leído millones de libros y visto millones de fotos en internet. Este robot es un genio para reconocer cosas: si le muestras una foto de un perro, sabe que es un perro; si le muestras un médico, sabe que es un médico.

Pero, como ha aprendido de internet, también ha absorbido los prejuicios de la sociedad. Por ejemplo, si le muestras una foto de una mujer con bata blanca, el robot a veces piensa: "¡Esa es una enfermera!" en lugar de "¡Esa es una doctora!", porque en internet hay más fotos de mujeres enfermeras que de mujeres doctoras.

El problema es que, hasta ahora, los científicos solo podían decir: "Oye, tu robot es sexista". Pero no podían decir: "¿Dónde exactamente, dentro de la cabeza del robot, está guardado ese prejuicio?".

Esta investigación es como una autopsia quirúrgica para encontrar exactamente qué "células" del cerebro del robot están causando el problema.

1. El Cerebro del Robot: Los "Ojos" y los "Hilos"

Imagina que el cerebro de este robot (el modelo CLIP) no es una masa gris, sino una ciudad llena de 424 pequeños inspectores (llamados "cabezas de atención").

• Cada inspector tiene una tarea: uno se fija en el color, otro en la textura, otro en las caras, etc.
• Todos ellos trabajan juntos para dar una respuesta final.

Los autores de este paper querían saber: ¿Cuál de estos inspectores es el que está pensando "las mujeres son enfermeras"?

2. La Herramienta Mágica: El "Detector de Prejuicios"

Para encontrar al culpable, usaron una mezcla de tres herramientas muy inteligentes:

• Descomposición de la corriente residual: Imagina que el robot escribe una historia. Esta herramienta les permite separar la historia en trocitos y decir: "Este trocito lo escribió el inspector A, y este otro lo escribió el inspector B".
• Vectores de Concepto (CAV) "Zero-shot": En lugar de enseñarles al robot miles de fotos de "mujeres" y "hombres", les dieron palabras. Le dijeron al robot: "Mira, la palabra 'Mujer' es como un imán magnético. Si un inspector se siente muy atraído por ese imán cuando ve una foto de una doctora, ¡ese inspector es sospechoso!".
• Análisis de TextSpan: Es como un traductor que le da un nombre a lo que ve cada inspector. Si un inspector ve una foto de una doctora y su "etiqueta interna" dice "Mujer" en lugar de "Doctora", ¡bingo! Tenemos un prejuicio.

3. El Experimento: La Cirugía

Una vez que identificaron a los inspectores sospechosos, hicieron una prueba de fuego: La Ablación (o "apagar el interruptor").

• Para el género: Encontraron 4 inspectores (en las capas finales del cerebro) que eran los principales culpables de confundir a las mujeres doctoras con enfermeras.

  • La prueba: Apagaron esos 4 inspectores.
  • El resultado: ¡Milagro! El robot dejó de ser tan sexista. Ahora reconocía mejor a las mujeres doctoras. Además, ¡el robot incluso se volvió un poquito más inteligente en general!
  • La analogía: Era como si el robot tuviera un "filtro de gafas de sol" que le hacía ver a las mujeres como enfermeras. Al quitar esas gafas, vio la realidad con más claridad.

• Para la edad: Intentaron lo mismo con el prejuicio de la edad (joven vs. mayor).

  • El resultado: No funcionó tan bien. Apagar los inspectores sospechosos no arregló el problema.
  • La conclusión: Esto sugiere que el prejuicio por edad no está guardado en un solo "cajón" o inspector, sino que está esparcido por todo el cerebro del robot, como una niebla difusa. Es mucho más difícil de encontrar y arreglar.

4. La Lección Importante: No es una Solución Mágica

Aquí viene la parte más interesante y honesta del paper.
Cuando apagaron a los inspectores sexistas, el robot mejoró en reconocer a las doctoras, PERO empeoró un poco en reconocer a las enfermeras.

• ¿Por qué? Porque esos inspectores estaban usando el género para tomar decisiones. Al quitarles esa herramienta, el robot tuvo que buscar otra forma de decidir.
• La metáfora: Imagina que un juez siempre condena a los hombres porque cree que "los hombres son culpables". Si le quitas esa creencia, el juez podría empezar a condenar a las mujeres por error, porque ahora está confundido.
• La conclusión: Apagar un prejuicio no crea un robot "neutral" automáticamente; solo cambia hacia dónde se inclina la balanza. Por eso, los autores dicen que su método es excelente para diagnosticar (saber qué está mal), pero no es una cura mágica para sanar el modelo.

Resumen en una frase

Este paper es como un detective privado que entra en la mente de un robot, encuentra exactamente qué neuronas están pensando estereotipos de género (y logra apagarlas para mejorar las cosas), pero descubre que los prejuicios de edad son tan escurridizos que no se pueden atrapar de la misma manera.

Es un paso gigante para entender cómo piensan las máquinas, para que en el futuro podamos arreglarlas de verdad, en lugar de solo decir "está mal" y ya.

Resumen técnico

Resumen Técnico: Localización de Sesgo Demográfico a Nivel de Cabeza de Atención en el Codificador Visual de CLIP

1. Problema

Los modelos fundacionales multimodales, como CLIP, replican sistemáticamente sesgos sociales presentes en sus datos de entrenamiento. Aunque las auditorías de equidad estándar pueden cuantificar que un modelo es sesgado (por ejemplo, clasificando erróneamente a mujeres doctoras como enfermeras con mayor frecuencia que a hombres), no explican dónde reside este sesgo dentro de la arquitectura de la red.
El desafío principal es pasar de una detección a nivel de salida a una auditoría mecánica que identifique los componentes internos específicos (en este caso, las cabezas de atención en los Transformers de visión) responsables de codificar información demográfica espuria en lugar de información relevante para la tarea.

2. Metodología

Los autores proponen un pipeline de auditoría de equidad mecánica que combina tres técnicas principales para localizar el sesgo a nivel de cabezas de atención individuales en el codificador visual ViT-L-14 de CLIP:

• Descomposición del Flujo Residual Proyectado: Se utiliza la hipótesis del flujo residual para descomponer la salida del transformador en contribuciones aditivas de cada cabeza de atención. Estas contribuciones se proyectan al espacio conjunto de texto-imagen de CLIP.
• CAV (Concept Activation Vectors) Zero-Shot: Se adapta el concepto de CAV al entorno multimodal de CLIP. En lugar de entrenar clasificadores lineales con imágenes etiquetadas, se derivan direcciones de conceptos directamente de las incrustaciones de texto (promedios de sinónimos) generadas por el codificador de texto de CLIP.
  • Se comparan las alineaciones de cada cabeza de atención con prototipos demográficos (ej. "Hombre", "Mujer", "Joven", "Mayor") frente a prototipos de ocupación (ej. "Doctor", "Enfermera").
  • Una cabeza se considera candidata de sesgo si su salida se alinea más fuertemente con un prototipo demográfico que con el concepto de ocupación relevante.
• Análisis TextSpan Mejorado con Sesgo: Se amplía el diccionario del algoritmo TextSpan (que asigna etiquetas legibles a las cabezas) incluyendo prototipos demográficos y ocupacionales. Esto permite identificar si una cabeza codifica activamente conceptos de género o edad.
• Validación por Ablación Media (Mean Ablation): Para confirmar causalidad, se realiza la ablación de las cabezas identificadas (reemplazando su salida específica por su media global). Si la ablación reduce el sesgo y mejora la precisión, se confirma que esa cabeza transporta la señal demográfica espuria.
• Control Aleatorio: Se utiliza un control de cabezas aleatorias coincidentes por capa para descartar que la mejora sea simplemente un efecto de reducir la capacidad de atención general.

3. Contribuciones Clave

1. Metodología Diagnóstica: Presentan un método novedoso para localizar sesgos demográficos en Transformers de visión a nivel de cabezas individuales, inyectando prototipos demográficos en el análisis TextSpan para que compitan con conceptos visuales generales.
2. Demostración de Viabilidad en CLIP: Muestran que es posible identificar un conjunto compacto de cabezas en las capas finales que, al ser abladadas, reducen el sesgo global de género y mejoran la precisión, validado mediante controles aleatorios.
3. Diferenciación de Atributos Protegidos: Proporcionan evidencia de que la localizabilidad del sesgo varía según el atributo: el sesgo de género se concentra en pocas cabezas identificables, mientras que el sesgo de edad parece estar codificado de manera más difusa.

4. Resultados Principales

El estudio se aplicó al benchmark FACET (42 clases de profesiones) en el codificador CLIP ViT-L-14:

• Sesgo de Género:

  • Se identificaron 4 cabezas en las capas terminales (específicamente en las capas 21-23) responsables de la mayor parte del sesgo.
  • La ablación de estas 4 cabezas redujo el sesgo global (medido por la V de Cramér de 0.381 a 0.362) y aumentó ligeramente la precisión general (+0.42%).
  • Cabeza Dominante (L23H4): Una sola cabeza en la última capa (L23H4) fue responsable del 87% de la reducción del sesgo en la clase "Doctor".
    • Ejemplo: La precisión para mujeres doctoras aumentó del 13.4% al 26.3% tras la ablación, corrigiendo la confusión con "Enfermera".
  • Trade-off: La corrección no es uniforme; mientras mejora la precisión en "Doctor", reduce la precisión en "Enfermera" (donde el modelo estaba inflando la precisión incorrectamente al clasificar mujeres doctoras como enfermeras). Esto confirma que la ablación redistribuye las predicciones hacia la clase correcta en lugar de eliminar el sesgo por completo.

• Sesgo de Edad:

  • El mismo pipeline identificó cabezas candidatas para el sesgo de edad, pero la ablación produjo efectos más débiles e inconsistentes.
  • En la clase "Guardián" (donde el sesgo de edad era más alto), la ablación combinada incluso aumentó ligeramente el sesgo.
  • Esto sugiere que el sesgo de edad está codificado de manera difusa a través de la arquitectura, en lugar de estar concentrado en cabezas específicas como el sesgo de género.

• Entrelazamiento de Atributos: La cabeza L23H4 aparece en las listas de clasificación tanto para género como para edad, y su ablación afecta a ambos atributos, indicando que ciertas cabezas codifican información demográfica transversal.

5. Significado y Conclusiones

• Herramienta Diagnóstica vs. Estrategia de Corrección: El estudio aclara que la ablación de cabezas es una herramienta poderosa para diagnosticar y entender la ruta de la información sesgada, pero no es una estrategia de desviación (debiasing) lista para producción. Neutralizar una cabeza puede simplemente desplazar el sesgo a otra dirección o atributo.
• Localización Específica: La capacidad de localizar el sesgo depende del atributo protegido. Mientras que el sesgo de género en CLIP es "localizable" (concentrado en pocas cabezas), el de edad parece ser un fenómeno más distribuido, lo que implica que las estrategias de mitigación deben adaptarse al tipo de sesgo.
• Interpretabilidad Mecánica: El trabajo demuestra que es posible aplicar técnicas de interpretabilidad mecánica (como el análisis de flujo residual y CAV) a codificadores visuales discriminativos para revelar la "caja negra" de los sesgos demográficos, un paso crucial para desarrollar sistemas de IA más justos y transparentes.