💻 computer science

Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias

Este artículo introduce un método para agrupar mapas de atribución por imagen en patrones de atajos espaciales recurrentes mediante técnicas de agrupamiento, permitiendo la identificación de subconjuntos de imágenes específicos con altas tasas de error y el desarrollo de intervenciones dirigidas que reducen las disparidades de rendimiento en los modelos de visión.

Autores originales: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Publicado 2026-08-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un niño a reconocer diferentes tipos de animales. Le muestras la foto de una vaca en un campo verde, y aprende que "vaca" significa "animal con manchas en un campo". Luego le muestras una vaca en un establo nevado, y se confunde porque la parte del "campo" ha desaparecido. Esto es exactamente lo que sucede con algunos modelos de inteligencia artificial (IA). Son increíblemente inteligentes detectando patrones, pero a veces se vuelven perezosos. En lugar de aprender las características reales de lo que deben identificar (como la forma de una vaca), se aferran a pistas fáciles y accidentales (como el césped verde) que suelen aparecer en sus fotos de entrenamiento. En el mundo de la informática, esto se llama "aprendizaje por atajos" (shortcut learning). Es como un estudiante que memoriza el estilo de la fuente de la clave de respuestas en lugar de estudiar realmente las matemáticas. El problema es que estos atajos funcionan de maravilla hasta que el examen cambia, como cuando la vaca aparece en un establo. Cuando eso sucede, la IA falla, y si esos fallos ocurren con más frecuencia para ciertos grupos de personas (como pacientes de un hospital específico), la IA se vuelve injusta o sesgada.

Este artículo trata sobre una nueva forma de detectar estos atajos perezosos antes de que causen problemas. Los investigadores construyeron una herramienta que actúa como un "detective espacial" para la IA. En lugar de limitarse a mirar la respuesta final, echan un vistazo al interior del cerebro del modelo para ver exactamente a qué parte de la imagen está mirando la IA. Descubrieron que los modelos de IA suelen tener múltiples "atajos" distintos que utilizan para diferentes imágenes. Algunas imágenes pueden activar un atajo basado en el fondo, mientras que otras pueden depender de un artefacto extraño de la cámara. Al agrupar estos diferentes patrones de atajos, los investigadores pueden identificar exactamente qué imágenes tienen más probabilidades de fallar e incluso arreglar el modelo sobre la marcha, diciéndole que ignore los atajos y se concentre en las pistas reales.

El trabajo de detective: Encontrando los atajos

Los autores, un equipo de King's College London, se propusieron resolver un misterio específico: los métodos existentes podían decirte que una IA estaba utilizando atajos, pero no podían decirte cómo o dónde los estaba utilizando de una manera que ayudara a corregir grupos de errores específicos. Imagina intentar encontrar a un ladrón en una ciudad mirando un mapa borroso y promediado de todos los delitos. Sabrías que el crimen ocurre, pero no sabrías si el ladrón es un carterista en el parque o un ladrón de casas en los suburbios. Los métodos antiguos eran como ese mapa borroso; mezclaban todas las imágenes, ocultando el hecho de que diferentes imágenes tenían diferentes tipos de atajos.

El equipo desarrolló un método para desglosar esto. Primero, analizaron tres "vistas" diferentes de la imagen para cada una de las fotos que la IA veía:

La Vista de la Tarea: Lo que la IA considera importante para el trabajo (por ejemplo, identificar un tumor).
La Vista del Atajo: Lo que la IA considera importante para un rasgo sensible (por ejemplo, el hospital de donde proviene la foto, o el género de la persona).
La Vista Justa: Un modelo de referencia entrenado para ser justo, ignorando los rasgos sensibles.

Al comparar estas vistas, crearon un "mapa de contribución" para cada imagen individual. Este mapa resalta los píxeles específicos que la IA utilizó para tomar su decisión. Si la IA estaba usando atajos, el mapa se iluminaría en el fondo o en un artefacto específico en lugar de en el objeto real.

Agrupando los patrones

Aquí es donde ocurre la magia. Los investigadores tomaron estos miles de mapas individuales y utilizaron una técnica de clasificación matemática (llamada K-means y Factorización de Matrices No Negativas) para agruparlos en "Grupos de Atajos". Piensa en esto como ordenar una enorme pila de piezas de rompecabezas mezcladas en cajas distintas basadas en los patrones de las piezas.

Descubrieron que los atajos no eran simplemente una gran mancha de mal comportamiento. En cambio, había varias "personalidades" distintas de atajos. Por ejemplo, en un conjunto de datos de fotos de aves, encontraron un grupo de atajos donde la IA miraba el fondo de agua, y otro grupo donde miraba el fondo de tierra. En un conjunto de datos de radiografías de tórax, encontraron atajos que se centraban en la sombra de la mama o en las partes inferiores del pulmón, mientras que las áreas "buenas" enfocadas en la tarea estaban justo en medio de los pulmones.

Estos grupos fueron increíblemente útiles. Los investigadores descubrieron que si observaban solo el 20% superior de las imágenes que pertenecían a los grupos de atajos de "alto riesgo", podían encontrar una enorme parte de todos los errores del modelo. En algunos casos, como con el conjunto de datos de aves, este pequeño grupo contenía casi el 74% de todos los errores que cometía el modelo. Esto significa que los auditores no tienen que revisar cada imagen; pueden simplemente revisar los "grupos de atajos" específicos para encontrar los problemas rápidamente.

El botón de "Repetir": Reparando el modelo

La parte más emocionante del artículo es que no solo encontraron los problemas; intentaron arreglarlos en tiempo real sin tener que reentrenar todo el modelo. Probaron dos tipos de "intervenciones" en las imágenes:

Enmascaramiento de Entrada: Literalmente cubrieron las partes de la imagen que la IA estaba utilizando como atajo.
Intervención en el Espacio de Características: Entraron en el procesamiento interno del modelo y le dijeron que "bajara el volumen" a las señales del atajo y "subiera el volumen" a las señales de la tarea real.

Los resultados fueron fascinantes. Cuando enmascararon las áreas de "atajo", el rendimiento del modelo a menudo se mantenía igual o incluso mejoraba ligeramente, lo que demostraba que esas áreas no eran realmente necesarias para el trabajo. Sin embargo, cuando enmascararon las áreas de la "tarea" (las pistas reales), el modelo colapsó, confirmando que esas eran las partes importantes.

La verdadera victoria vino de un enfoque combinado: suprimir los atajos mientras se amplifican las tareas reales. Cuando hicieron esto, la brecha de rendimiento entre diferentes grupos (como diferentes géneros o hospitales) se redujo significamente. Por ejemplo, en el conjunto de datos de caras CelebA, este método redujo la brecha de rendimiento en aproximadamente 7.8 puntos porcentuales. En el conjunto de datos de radiografías de tórax CheXpert, redujo la brecha en un impresionante 20.3 puntos porcentuales.

Lo que esto significa

El artículo sugiere que, al agrupar estos atajos espaciales, podemos crear una imagen mucho más clara de dónde están fallando los modelos de IA. No se trata solo de decir "este modelo es sesgado"; se trata de decir "este modelo está usando atajos al mirar el fondo en estos 8 tipos de patrones específicos".

Los investigadores demostraron que estos grupos son estables y fiables. Incluso si reentrenaban los modelos auxiliares utilizados para detectar los atajos, los grupos permanecían consistentes. También probaron esto en diferentes tipos de arquitecturas de IA (como ResNet y ViT) y diferentes conjuntos de datos (desde lesiones cutáneas hasta fotos de aves), y el método funcionó en todos los casos.

Sin embargo, los autores tienen cuidado en señalar que esto no es una varita mágica que lo soluciona todo. En algunos casos médicos complejos, como las láminas de histopatología donde el "atajo" es una sutil diferencia de tinción de un laboratorio específico, el simple hecho de suprimir el área espacial no fue suficiente para corregir el sesgo. Pero para muchos otros casos, este método de encontrar, agrupar y suprimir atajos espaciales ofrece una nueva y poderosa forma de auditar y mejorar la IA, haciéndola más justa y fiable sin necesidad de empezar desde cero. Convierte el mapa borroso del sesgo de la IA en una guía detallada y accionable para corregir los errores.

Resumen Técnico: Descubrimiento y Caracterización Espacial de Múltiples Grupos de Atajos para la Auditoría de Sesgos en Modelos de Visión

Declaración del Problema

Los modelos de aprendizaje profundo a menudo logran una alta precisión promedio al depender de características de "atajo" (shortcuts)—correlaciones espurias presentes en la distribución de entrenamiento que no se generalizan al tiempo de prueba, particularmente dentro de subpoblaciones específicas. Si bien las pruebas fuera de la distribución (out-of-distribution) pueden revelar disparidades de rendimiento, no logran localizar las regiones de la imagen específicas asociadas con estos atajos. Los métodos de auditoría basados en atribución existentes, como OSCAR, típicamente agregan mapas de atribución a través de todo el conjunto de datos para producir un único mapa de contribución a nivel de conjunto de datos. Esta agregación asume una consistencia espacial de las características de atajo en todas las imágenes, lo que puede enmascarar patrones espaciales recurrentes que ocurren solo en subconjuntos de imágenes o que interactúan de manera diferente con la evidencia relevante para la tarea en diferentes subgrupos. En consecuencia, los auditores carecen de evidencia espacial accionable para identificar subconj sets de imágenes de alto riesgo o para comprender la naturaleza específica de la dependencia de atajos en modelos entrenados y fijos.

Metodología

El marco propuesto, Descubrimiento de Grupos de Atajos Espaciales, aborda estas limitaciones computando mapas de contribución a nivel de imagen y agrupándolos para revelar patrones espaciales recurrentes. El método procede en cuatro pasos principales:

Atribución y Clasificación a Nivel de Imagen:
Se utilizan tres modelos: el modelo de la tarea auditada ( $f_{TS}$ ), un modelo de línea base con sesgo reducido ( $f_{BA}$ ) entrenado en un conjunto de datos equilibrado por atributos, y un modelo de atributo sensible ( $f_{SA}$ ). Se generan mapas de atribución (p. ej., LRP, AttnLRP) para cada modelo, particionados en una cuadrícula de $R$ regiones mutuamente excluyentes, y convertidos en vectores espaciales de baja resolución. Crucialmente, estos vectores se clasifican dentro de cada imagen para preservar la variación de imagen a imagen.
Alineación Condicional y Mapas de Contribución:
Utilizando correlación parcial, el método computa puntuaciones de alineación a nivel de imagen:
- Alineación de Atajo ( $\rho_{sc}$ ): Mide la alineación entre $f_{TS}$ y $f_{SA}$ tras eliminar el efecto lineal de $f_{BA}$ . Las puntuaciones altas indican que el modelo de la tarea utiliza regiones asociadas con el atributo sensible.
- Alineación de la Tarea ( $\rho_{task}$ ): Mide la alineación entre $f_{TS}$ y $f_{BA}$ tras eliminar el efecto de $f_{SA}$ .
  Los mapas de contribución a nivel de región ( $m_{sc}$ y $m_{task}$ ) se derivan mediante la descomposición de estas puntuaciones de alineación, reteniendo solo las contribuciones positivas que apoyan las respectivas alineaciones.
Agrupación de Patrones Espaciales:
Los mapas de contribución de atajo y de tarea conjuntos para cada imagen se concatenan y normalizan. Estas representaciones se agrupan en patrones espaciales recurrentes utilizando dos enfoques:
- K-means: Asigna cada imagen a un único "grupo de atajo".
- Factorización de Matrices No Negativas (NMF): Permite que las imágenes expresen múltiples patrones simultáneamente, proporcionando pesos de membresía difusa (soft membership).
  El resultado es un conjunto de prototipos de grupos de atajo (promedios ponderados por membresía) y ejemplos de imágenes representativas para cada grupo.
Intervenciones Espaciales en Tiempo de Prueba:
Para validar la utilidad de estos mapas, el artículo emplea el enmascaramiento de entrada e intervenciones en el espacio de características internas.
- Enmascaramiento de Entrada: Ocluir regiones con altas contribuciones de atajo o de tarea para observar la degradación del rendimiento.
- Intervenciones en el Espacio de Características: Proponer la supresión de atajos (eliminar componentes de la tarea de los mapas de atajo antes de la supresión) y la amplificación de la tarea (eliminar componentes de atajo de los mapas de tarea antes de la amplificación). Un enfoque combinado aplica ambos simultáneamente para reducir las disparidades entre subgrupos mientras se preserva la precisión.

Principales Contribuciones

Descubrimiento de Patrones de Atajos Espaciales: El artículo introduce un método para computar mapas de contribución de atajo y de tarea a nivel de imagen y agruparlos usando K-means y NMF. Esto revela que múltiples patrones espaciales de atajo coherentes, con composiciones de subgrupos y tasas de error distintas, pueden coexistir dentro de un mismo conjunto de datos, un matiz que se pierde en la agregación a nivel de conjunto de datos.
Auditoría de Fallos Dirigida: El marco demuestra que la membresía de los grupos de atajo puede utilizarse para construir puntuaciones de riesgo que identifican subconjuntos de imágenes que contienen una fracción desproporcionadamente grande de los errores totales de prueba del modelo. Esto permite a los auditores centrar sus esfuerzos de inspección en subconjuntos de alto riesgo en lugar de realizar un muestreo aleatorio.
Intervenciones Accionables en Tiempo de Prueba: El estudio valida que los mapas espaciales identificados contienen evidencia accionable. El enmascaramiento de las regiones de contribución de la tarea degrada el rendimiento, mientras que una intervención combinada de supresión de atajos y amplificación de la tarea generalmente reduce las disparidades de rendimiento entre subgrupos (medido por la Brecha de Rendimiento Más Grande, LPG) en varios conjuntos de datos y arquitecturas.

Resultados Experimentales

El método fue evaluado a través de cinco conjuntos de datos (CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019) y dos arquitecturas (ResNet50, ViT-B/16).

Descubrimiento de Patrones: La inspección visual de los prototipos de grupos de atajo reveló estructuras espaciales distintas. Por ejemplo, en CelebA, algunos grupos mostraron una dependencia de atajos concentrada en las regiones del cabello (relevante para la tarea), mientras que otros se centraron en el fondo/ropa. En CheXpert, los grupos de atajo resaltaron regiones no pulmonares (p. ej., sombras mamarias), mientras que los grupos de la tarea se centraron en las regiones pulmonares.
Identificación de Riesgo: Las puntuaciones de riesgo basadas en grupos de atajo identificaron con éxito subconjuntos que contenían significativamente más errores que las líneas base aleatorias. Por ejemplo, en el modelo ViT de CelebA, el 20% superior de las imágenes clasificadas por puntuación de riesgo contenía aproximadamente el 63.5% de los errores totales de la muestra retenida (comparado con el 20% esperado por azar). El agrupamiento basado en NMF generalmente superó a K-means en captura de errores y estabilidad a través de modelos entrenados independientemente.
Eficacia de la Intervención:
- Enmascaramiento de Entrada: El enmascaramiento de las regiones de alta contribución de la tarea causó caídas severas en el rendimiento, confirmando que estas regiones son críticas para la predicción. El enmascaramiento de las regiones de atajo tuvo efectos variables, a menudo preservando o mejorando ligeramente la precisión, lo que sugiere que estas claves son no esenciales o espurias.
- Intervenciones de Características: La intervención combinada de supresión de atajos y amplificación de la tarea redujo consistentemente la Brecha de Rendimiento Más Grande (LPG) en la mayoría de los conjuntos de datos. Por ejemplo, en CheXpert con ViT, la intervención combinada redujo el LPG en 12.8 puntos porcentuales manteniendo o mejorando ligeramente la precisión.
- Intervenciones Iterativas: La aplicación repetida de las intervenciones redujo aún más las puntuaciones de alineación de atajo y las disparidades de subgrupos, demostando la utilidad de los mapas para la auditoría iterativa.

Significado y Reivindicaciones

El artículo afirma que el descubrimiento de grupos de atajos espaciales cierra la brecha entre la inspección visual, la auditoría dirigida y la intervención en tiempo de prueba. Al ir más allá de la agregación a nivel de conjunto de datos, el marco proporciona un resumen compacto e inspeccionable de cómo la dependencia de los atajos varía entre imágenes y subgrupos.

Los autores enfatizan que su enfoque no requiere el reentrenamiento del modelo, lo que lo hace aplicable a sistemas de visión desplegados y fijos. Los prototipos y puntuaciones de riesgo resultantes ofrecen un flujo de trabajo práctico para que los auditores puedan:

Visualizar patrones espacales recurrentes de sesgo que de otro modo estarían ocultos.
Priorizar subconjuntos de datos para la revisión manual basados en altas tasas de error.
Intervenir en el tiempo de prueba para mitigar las disparidades mediante la supresión de claves espurias y la amplificación de la evidencia relevante para la tarea.

El trabajo se mantiene modesto respecto a su generalización, señalando que, si bien el método maneja eficazmente un único atributo sensible, los escenarios del mundo real pueden involucrar múltiples atributos interactuantes. Además, la partición basada en cuadrículas asume cierto grado de alineación espacial, lo que puede limitar la aplicabilidad a conjuntos de datos con alta variabilidad espacial sin adaptaciones adicionales. El trabajo establece una base para el uso de patrones de contribución espacial para guiar la interpretabilidad accionable en modelos de visión.