Counterfactual Explanations on Robust Perceptual Geodesics

Este artículo presenta Perceptual Counterfactual Geodesics (PCG), un método que genera explicaciones contrafactuales semánticamente válidas y suaves al trazar geodésicas en un espacio latente con una métrica riemanniana perceptual derivada de características de visión robusta, superando así las limitaciones de los enfoques existentes que sufren de artefactos fuera de la variedad o colapso adversarial.

Lo esencial

Imagina que tienes un modelo de inteligencia artificial (IA) que es como un chef muy estricto. Si le pones una foto de un gato, te dice: "¡Esto es un gato!". Pero si le pones una foto de un perro, te dice: "¡Esto es un perro!".

El problema es que a veces, si le haces una pequeña "trampa" a la foto (cambiando un píxel aquí o allá), el chef se confunde y te dice que el gato es un perro. A esto los expertos le llaman "ejemplo adversario".

Los investigadores de este papel quieren responder a una pregunta muy humana: "¿Qué tendría que cambiar exactamente en esta foto para que el chef diga 'perro' en lugar de 'gato'?". A esto le llaman explicación contrafactual.

El problema es que los métodos anteriores para encontrar esa respuesta eran como intentar adivinar el camino en una montaña oscura sin mapa. A veces, el camino que encontraban no era realista (parecía un gato que se convierte en un perro a través de un monstruo alienígena) o era una trampa que engañaba al chef pero no tenía sentido para los humanos.

Aquí está la solución que proponen, explicada con analogías sencillas:

1. El Problema: Caminar por un Terreno Plano vs. un Terreno Real

Imagina que el mundo de las imágenes (todos los gatos, perros y plantas posibles) es una montaña con curvas y valles.

• Los métodos antiguos intentaban caminar en línea recta sobre un mapa plano (como si el mundo fuera una hoja de papel). Al hacerlo, a menudo se caían por los bordes de la montaña (creando imágenes que no existen en la realidad) o se quedaban atrapados en zonas peligrosas donde el chef se confunde fácilmente (trampas adversarias).
• El problema de la "distancia": Antes, medían la distancia entre un gato y un perro contando píxeles (como medir la distancia entre dos ciudades contando los ladrillos de las casas). Pero para un humano, dos fotos pueden tener los mismos píxeles pero parecer totalmente diferentes, o viceversa.

2. La Solución: PCG (Geodésicas Perceptuales Contrafactuales)

Los autores crearon un nuevo método llamado PCG. Imagina que PCG es como tener un GPS de montaña con un mapa 3D perfecto que solo sabe de caminos seguros y reales.

• El Mapa Robusto (La Brújula Mágica): En lugar de usar un mapa plano, PCG usa un mapa creado por un "experto" que es muy difícil de engañar (un modelo de IA entrenado para ser resistente a trucos). Este experto sabe qué cambios son reales (como cambiar el color del pelaje) y cuáles son trucos (como añadir ruido invisible).
• Caminar por la Curva (Geodésica): En lugar de caminar en línea recta, PCG te guía por el camino más suave y natural que sigue la curvatura de la montaña. Es como si caminaras por un sendero que ya existe en la naturaleza, en lugar de cortar a través del bosque y romper las ramas.
  • Analogía: Si quieres ir de un punto A a un punto B en una esfera (como la Tierra), no puedes ir en línea recta a través del centro de la Tierra. Tienes que seguir la curvatura de la superficie. PCG hace lo mismo con las imágenes: sigue la "piel" de la realidad.

3. Cómo funciona el proceso (Dos Fases)

Imagina que quieres transformar una foto de un gato en un perro:

1. Fase 1 (El Camino Seguro): Primero, el sistema traza un camino suave entre el gato y un perro cualquiera que ya conoce. No le importa aún si es el perro más parecido al gato, solo quiere asegurarse de que el camino no tenga monstruos ni trampas. Es como trazar una ruta de senderismo segura.
2. Fase 2 (El Ajuste Fino): Ahora, toma ese camino seguro y lo ajusta para que el perro final sea lo más parecido posible al gato original, pero sin salirse del sendero seguro. Si el camino se desvía hacia una zona peligrosa, el sistema lo corrige y lo vuelve a poner en el sendero.

¿Por qué es mejor esto?

• Evita los "Monstruos": Los métodos antiguos a veces creaban imágenes que parecían gatos y perros mezclados de forma extraña (como un gato con patas de perro). PCG evita esto porque sigue el "terreno" real de las imágenes.
• Engaño Imposible: Como el mapa está hecho por un experto resistente, no puedes usar trucos invisibles para engañar al chef. El cambio que propone PCG es algo que un humano también notaría y entendería.
• Realismo: Las imágenes resultantes parecen fotos reales, no arte abstracto o distorsionado.

En resumen

Este papel dice: "Para explicar cómo cambiar una decisión de una IA, no podemos simplemente empujar los píxeles al azar. Tenemos que caminar por el camino natural y seguro que ya existe en el mundo de las imágenes, usando un mapa que no se deja engañar por trucos."

Es como si antes intentáramos cruzar un río saltando piedras al azar (y a veces cayéndonos al agua), y ahora tenemos un puente de piedra sólido y bien diseñado que nos lleva de un lado a otro sin mojarnos y sin caer en trampas.

Resumen técnico

Resumen Técnico: Percepción Geodésica Contrafactual Robusta (PCG)

1. El Problema: Ambigüedad y Fallos en las Explicaciones Contrafactuales

El artículo aborda un desafío fundamental en la interpretabilidad de modelos de visión por computadora: la generación de explicaciones contrafactuales (CE). Una CE busca responder a la pregunta "¿qué cambiaría para que la predicción del modelo fuera diferente?" mediante perturbaciones mínimas y semánticamente significativas.

El problema central identificado es la ambigüedad inherente en la formulación de optimización de Wachter et al. (2017), donde la elección de la métrica de distancia determina si la perturbación es una explicación válida o un ejemplo adversarial (AE). Los autores señalan tres modos de fallo críticos en los métodos existentes (como REVISE, VSGD, RSGD):

1. Travesía fuera de la variedad (Off-manifold): Los métodos que asumen una geometría euclidiana plana en el espacio latente ignoran la curvatura intrínseca de los datos, generando imágenes que no son realistas (artefactos fuera de la variedad).
2. Optimización local ciega: Los métodos basados en gradientes locales a menudo convergen en ejemplos adversarios sobre la variedad (on-manifold AEs). Estos ejemplos son visualmente plausibles y pertenecen a la distribución de datos, pero explotan características no robustas del modelo, cruzando la "división semántica" hacia el lado adversarial en lugar de producir cambios semánticos genuinos.
3. Fragilidad de las métricas: Las métricas de distancia tradicionales (como $\ell_2$ en píxeles o características de clasificadores estándar) son sensibles a perturbaciones imperceptibles y no se alinean con la percepción humana, lo que lleva a desviaciones semánticas o colapsos adversarios.

2. Metodología: Perceptual Counterfactual Geodesics (PCG)

Los autores proponen PCG, un marco que genera explicaciones contrafactuales trazando geodésicas en un espacio latente equipado con una métrica Riemanniana robusta.

Componentes Clave:

• Métrica Riemanniana Robusta: En lugar de usar una métrica euclidiana o una métrica basada en un clasificador estándar, PCG induce una métrica en el espacio latente ($Z$) a partir de las características de un modelo de visión robusto (entrenado adversarialmente).
  • Se define una métrica ambiental robusta $G_R(x)$ en el espacio de entrada, agregando las Jacobianas de múltiples capas intermedias de un modelo robusto (ej. ResNet-50 robusto).
  • Esta métrica se "tira hacia atrás" (pullback) al espacio latente a través del generador $g$ (ej. StyleGAN2/3), creando una geometría latente $G_Z(z)$ que penaliza direcciones frágiles y favorece variaciones semánticamente coherentes y perceptualmente suaves.
• Optimización de Trayectorias (Geodésicas): El objetivo no es optimizar un solo punto, sino encontrar una trayectoria suave $\gamma(t)$ en el espacio latente que minimice la energía perceptual robusta:
  $$E(g(\gamma)) = \frac{1}{2} \int_0^1 \gamma'(t)^\top G_Z(\gamma(t)) \gamma'(t) dt$$
  Minimizar esta energía equivale a encontrar la geodésica más corta bajo la métrica robusta, asegurando que la transición entre la imagen original y la contrafactual sea continua y semánticamente válida.

Proceso de Optimización en Dos Fases:

1. Fase 1 (Geodésica Robusta): Se fija el punto de inicio (imagen original) y un punto final arbitrario de la clase objetivo. Se optimizan los puntos intermedios para minimizar la energía robusta, obteniendo una trayectoria suave que respeta la geometría de la variedad de datos.
2. Fase 2 (Refinamiento y Re-ancoraje): Se libera el punto final y se optimiza conjuntamente la energía de la trayectoria y la pérdida de clasificación. Se utiliza un esquema de re-ancoraje: periódicamente, el punto final se reasigna al punto más cercano a la imagen original a lo largo de la trayectoria que ya ha sido clasificado como la clase objetivo. Esto evita que la solución se desvíe demasiado o colapse, asegurando que el contrafactual final sea el más cercano posible bajo la métrica robusta.

3. Contribuciones Principales

1. Generación de Contrafactuales Semánticamente Fieles: Introducen PCG, que utiliza una métrica Riemanniana inducida por modelos robustos para navegar el espacio latente, evitando tanto los artefactos fuera de la variedad como los ejemplos adversarios sobre la variedad.
2. Interpolación Geodésica Perceptual: Demuestran que la geometría latente robusta permite interpolaciones suaves y coherentes entre muestras, preservando la estructura semántica y evitando el colapso visual que sufren otros métodos.
3. Evaluación de Fallos Ocultos: Proponen que las métricas de distancia estándar (como $\ell_2$ o FID estándar) pueden ser engañosas en regímenes adversarios. Utilizan métricas robustas (como R-LPIPS y R-FID) para revelar modos de fallo que permanecen ocultos bajo evaluaciones tradicionales.

4. Resultados Experimentales

Los autores evaluaron PCG en tres conjuntos de datos de imágenes de alta dimensión: AFHQ (animales), FFHQ (rostros humanos) y PlantVillage (hojas de plantas), utilizando generadores StyleGAN2/3.

• Comparación Cualitativa:
  • Los métodos baselines (REVISE, VSGD, RSGD) produjeron frecuentemente imágenes con artefactos, distorsiones de textura o cambios semánticos abruptos (ej. rostros alargados, hojas con formas imposibles).
  • PCG generó transiciones suaves donde los cambios semánticos (ej. de gato a perro, o de pelo rubio a oscuro) ocurrieron gradualmente, manteniendo la identidad y la coherencia estructural.
• Comparación Cuantitativa:
  • Distancia Perceptual: PCG obtuvo los valores más bajos en métricas de distancia geométrica ($L_F$ y $L_R$), indicando cambios más mínimos y perceptualmente significativos.
  • Realismo y Robustez: En métricas de distribución, PCG superó a los baselines en R-FID (Fréchet Inception Distance robusto), demostrando que sus salidas están más cerca de la distribución real de datos en un espacio de características robusto.
  • Alineación de Variedad (MAS): PCG mostró una mayor alineación con la variedad de datos inducida por la geometría robusta, confirmando que sus trayectorias permanecen dentro de regiones semánticamente válidas.
  • Margen Semántico (SM): Los contrafactuales de PCG se ubicaron consistentemente en regiones del espacio de características asociadas genuinamente con la clase objetivo, mientras que otros métodos a menudo caían en zonas mixtas o adversarias.

5. Significado e Impacto

El trabajo es significativo por varias razones:

• Resolución de la Ambigüedad CE vs. AE: Proporciona un marco teórico y práctico para distinguir explícitamente entre explicaciones contrafactuales válidas y ejemplos adversarios, demostrando que la elección de una geometría robusta es la clave para cruzar la "división semántica".
• Nueva Perspectiva Geométrica: Cambia el paradigma de la optimización de un solo punto en un espacio euclidiano a la optimización de trayectorias (geodésicas) en una variedad Riemanniana, alineada con la percepción humana.
• Herramientas de Diagnóstico: Introduce métricas de evaluación robustas (R-LPIPS, R-FID, MAS) que son esenciales para evaluar la calidad de las explicaciones en modelos de visión, revelando deficiencias que las métricas estándar pasan por alto.
• Aplicabilidad General: Aunque se centra en visión, el enfoque de inducir geometría a partir de modelos robustos ofrece una vía prometedora para mejorar la interpretabilidad en otros dominios de datos de alta dimensión.

En conclusión, PCG demuestra que al equipar el espacio latente con una geometría perceptualmente robusta y optimizar trayectorias globales, es posible generar explicaciones contrafactuales que son mínimas, semánticamente válidas y resistentes a la manipulación adversaria.