A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

Resumen Técnico: Una Visión Geométrica del Comportamiento Contrafáctico

Declaración del Problema
Las explicaciones contrafácticas pretenden identificar cambios en la entrada que sean pequeños y semánticamente significativos para alterar la predicción de un modelo. Aunque se utilizan ampliamente para auditar sistemas de aprendizaje automático, los métodos actuales suelen tratar la generación de contrafácticos como un problema de optimización local restringido por la factibilidad específica de la tarea. Sin embargo, una perturbación que cambia la predicción puede existir dentro de un presupuesto de localidad y, aun así, no corresponder a una alternativa realista si aterriza en una región de débil soporte de datos. Además, modelos con un rendimiento predictivo casi idéntico pueden exhibir comportamientos contrafácticos vastamente diferentes. Este trabajo investiga por qué ocurren estas discrepancias, hipotetizando que el comportamiento contrafáctico no es solo una función de la precisión predictiva, sino que está gobernado por la interacción geométrica entre la proximidad del límite de decisión y el soporte de datos locales dentro del espacio de representación.

Metodología
Los autores proponen un marco geométrico y una sonda de búsqueda local estandarizada para evaluar el comportamiento contrafáctico a través de diversos dominios (visión, lenguaje, imágenes médicas y multimodal).

1. Marco Geométrico:

   • Proximidad del Límite de Decisión ($dbd(z)$): Definida como la distancia al límite de decisión más cercano, aproximada mediante una linealización de primer orden de la brecha de logit entre las dos clases predichas con mayor probabilidad.
   • Soporte de la Clase Objetivo Local ($r_k(z)$): Definido como la distancia euclidiana desde un embedding $z$ hasta su $k$-ésimo vecino más cercano dentro del conjunto de referencia de la clase objetivo en el espacio de embedding. Esto mide si la región objetivo está densamente poblada de datos.
   • Hipótesis: El trabajo pone a prueba tres hipótesis: (H1) Los modelos con precisión igualada difieren en su comportamiento contático; (H2) Variar la cabeza del clasificador bajo embeddings fijos altera el comportamiento contrafáctico; y (H3) La interacción de la proximidad del límite y el soporte local predice los resultados contrafácticos.

2. Configuración Experimental:

   • Codificadores (Encoders): El estudio evalúa varios codificadores preentrenados (por ejemplo, ResNet-50, ViT, BERT, CLIP, SigLIP2) a través de conjuntos de datos como Shapes, MNIST, Chest X-ray, IMDb y MM-IMDb.
   • Cabezas Clasificadoras: Se entrenan clasificadores lineales sobre embeddings congelados. Para aislar el efecto de la colocación del límite, los autores entrenan múltiples cabezas sobre los mismos embeddings utilizando diferentes inicializaciones y fuerzas de regularización (decaimiento de peso o weight decay).
   • Protocolo de Búsqueda: Se utiliza un descenso de gradiente proyectado estandarizado en el espacio de embedding para encontrar un cambio de predicción dentro de una región de confianza fija ($\tau$) y un presupuesto de iteraciones.
   • Métricas: Éxito Contrafáctico (CF-Suc), Distancia Contrafáctica (CF-Dist) y Esfuerzo de Optimización (OptEff).

Contribuciones Clave

1. Marco Geométrico y Sonda: Introducción de un método estandarizado para evaluar el comportamiento contrafáctico basado en la interacción de la proximidad del límite y el soporte de datos locales, yendo más allá de las simples métricas predictivas.
2. Aislamiento de Efectos del Límite: Demostración de que, bajo representaciones fijas, variar únicamente la cabeza del clasificador (mediante la inicialización o la regularización) puede alterar sustancialmente el éxito y la distancia contrafáctica, mientras que el rendimiento predictivo permanece prácticamente inalterado.
3. Poder Predictivo Conjunto: Evidencia de que la proximidad del límite de decisión por sí sola es insuficiente; se requiere la combinación de la proximidad del límite y el soporte local para explicar la variación en la factibilidad y el esfuerzo contrafáctico.

Resultados

• Divergencia en Modelos con Precisión Igualada: Modelos con brechas de precisión mínimas (por ejemplo, <0.02) exhibieron grandes discrepancias en su comportamiento contrafáctico. Por ejemplo, en MNIST, dos modelos con una brecha de precisión de 0.01 mostraron una diferencia de 65 puntos porcentuales en las tasas de éxito contrafáctico.
• Sensibilidad del Clasificador: Cuando el codificador estaba congelado y solo se variaba la cabeza del clasificador lineal, las tasas de éxito contrafáctico variaron significativamente (por ejemplo, brechas de CF-Suc de 0.12 a 0.32) a pesar de una precisión estable. Aumentar la regularización desplazó la distancia media del límite, lo cual correlacionó monótonamente con un menor éxito contrafáctico.
• Modelado Predictivo del Comportamiento: Los modelos de regresión que utilizaban solo la precisión o la pérdida de entropía cruzada explicaron poca varianza en los resultados contrafácticos. Sin embargo, los modelos que incorporaron $dbd(z)$y$r_k(z)$ alcanzaron puntuaciones $R^2$ significativamente más altas. Específicamente, añadir el soporte de datos locales a la proximidad del límite mejoró consistentemente el poder predictivo en todos los conjuntos de datos.
• Cambios Soportados vs. No Soportados: El estudio distingue entre "cambios soportados" (alcanzar una región objetivo con fuerte soporte de datos locales) y "cambios no soportados" (cruzar un límite hacia regiones dispersas). Se encontró que el comportamiento contrafáctico efectivo dependía fuertemente de alcanzar regiones soportadas, no simplemente de cruzar un límite.
• Mejora de la Búsqueda mediante la Geometría: En un estudio de caso sobre MNIST, aumentar el objetivo de búsqueda contrafáctica con prioridades conscientes de la geometría (penalizando la distancia a los vecinos de la clase objetivo) logró mejorar los resultados de la búsqueda donde los baselines estándar fallaron, demostando la utilidad práctica de estas señales geométricas.

Significado y Reivindicaciones
El artículo afirma que el comportamiento contrafáctico constituye una dimensión distinta de la evaluación de modelos, separada del rendimiento predictivo y la robustez basada en el margen. Los autores argumentan que:

• La factibilidad contrafáctica no es invariante entre modelos funcionalmente similares; depende críticamente de cómo el clasificador coloca los límites en relación con la estructura de datos locales.
• Las métricas predictivas estándar (precisión, pérdida) son insuficientes para auditar las explicaciones contrafácticas o los sistemas de recurrencia.
• Comprender la interacción entre la proximidad del límite y el soporte local es esencial para la selección de modelos, el análisis de robustez y el diseño de métodos contrafácticos más fiables.
• Los hallazgos sugieren que los futuros métodos contrafácticos deberían considerar explícitamente el soporte de datos locales para asegurar que las explicaciones generadas se ubiquen en regiones soportadas por la distribución de los datos.

El trabajo concluye que, si bien estos factores geométricos explican la variación en las configuraciones actuales de cabezas lineales, extender esta perspectiva a modelos no lineales de extremo a extremo y desarrollar objetivos contrafácticos conscientes de la geometría sigue siendo una dirección para la investigación futura.