Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

Resumen Técnico: Más allá de L2: Generalización de las Explicaciones Abductivas Latentes a Diversas Arquitecturas Basadas en Prototipos

Planteamiento del Problema
Las redes neuronales basadas en prototipos (PBN, por sus siglas en inglés) son reconocidas como arquitecturas "interpretables por diseño" que justifican las predicciones haciendo referencia a ejemplos de entrenamiento similares (prototipos). Recientemente, se introdujeron las Explicaciones Latentes Abductivas (ALE) para proporcionar explicaciones formales y matemáticamente garantizadas para estas redes mediante el cálculo de límites ajustados en las distancias del espacio latente. Sin embargo, las formulaciones de ALE existentes están rígidamente confinadas a espacios latentes euclidianos utilizando distancias $L_2$. Esto crea una brecha crítica: las PBN de vanguardia actuales utilizan cada vez más representaciones no euclidianas, incluyendo métricas esféricas (similitud de coseno), densidades gaussianas y proyecciones dimensionales (softmax). Los métodos de explicación formal actuales son incompatibles con estas diversas estructuras geométricas, lo que impide un análisis de interpretabilidad riguroso en todo el espectro de las arquitecturas basadas en prototipos.

Metodología
Los autores generalizan el marco de trabajo de ALE para admitir arquitecturas de prototipos no euclidianas derivando algoritmos de acotación específicos para diferentes variantes geométricas. El objetivo central sigue siendo el mismo: calcular conjuntos de prototipos de subconjunto-mínimo que garanticen la predicción de un modelo mediante el ajuste iterativo de los límites de los valores de activación.

1. Similitud de Coseno (Geometría Esférica): Para arquitecturas como TesNet que utilizan similitud de producto punto en una esfera unitaria, los autores adaptan el razonamiento a la geometría esférica. Dado que la similitud de coseno no satisface la desigualdad triangular estándar, utilizan la Distancia Angular ($d_\angle$) para derivar límites. Introducen una Aproximación de Intersección de Capas Esféricas, donde la intersección de dos capas esféricas (definidas por un parche y dos prototipos) se acota mediante una capa esférica de radio mínimo envolvente. Esto permite la derivación de límites inferiores y superiores ajustados sobre la similitud entre un parche latente y prototipos no observados.
2. Proyección Dimensional (Geometría de Símplex): Para arquitecturas como PIP-Net que mapean las activaciones a un símplex de probabilidad mediante una función softmax, el razonamiento geomético cambia de distancias espaciales a la conservación de la masa de probabilidad. Los autores proponen una Explicación de Símplex donde añadir un par $\langle \text{parche}, \text{prototipo} \rangle$ a la explicación "consume" una porción de la masa de probabilidad, limitando estrictamente el límite superior de los prototipos restantes. También introducen una Explicación de Pesos Dispersos para modelos con cabezales de clasificación dispersos y no negativos, lo que permite el cálculo exacto del puntaje para la clase predicha y el acotamiento ajustado para las clases competidoras.
3. Similitud Gaussiana Isotrópica: Para redes probabilísticas (por ejemplo, ProtoGMM) donde los prototipos son distribuciones gaussianas, los autores mapean el problema de vuelta a un espacio euclidiano universal. Al asumir una covarianza isotrópica, recuperan una distancia euclidiana "real" a partir del puntaje de similitud. Aplican la Aproximación de Intersección de Hiperesferas (HIA) estándar en este espacio euclidiano mapeado y luego proyectan los límites geométricos resultantes de vuelta al espacio de activación específico del modelo.
4. Similitud Focal: Para arquitecturas como ProtoPool que utilizan el agrupamiento focal (focal pooling) para suprimir el ruido de fondo, los autores demuestran que los límites de ALE espaciales existentes pueden agregarse para acotar las estadísticas agregadas (valores máximos y esperados) requeridas para la operación de agrupación focal, sin alterar el solver geométrico subyacente.

Contribuciones Clave

• Generalización de ALE: El artículo extiende el marco de trabajo de ALE más allá de los espacios $L_2$ euclidianos para admitir métricas esféricas, densidades gaussianas y proyecciones basadas en símplex.
• Nuevos Algoritmos de Acotación: Los autores derivan sistemáticamente cómo mapear diversas arquitecturas a los límites existentes o construir nuevos algoritmos de acotación específicos de la arquitectura (por ejemplo, Intersección de Capa Esférica, conservación de masa de Símplex).
• Marco Unificado: Al unificar estos diversos modelos bajo un único marco formal, este trabajo permite la primera comparación rigurosa de interpretabilidad entre arquitecturas.
• Validación Empírica: Los autores validan estas construcciones teóricas calculando explicaciones formales de subconjunto-mínimo en clasificadores de imágenes totalmente entrenados en múltiples conjuntos de datos (Oxford Flowers 102, Oxford IIIT Pet, CUB200) y arquitecturas (ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet).

Resultados
Los experimentos revelan compromisos significativos entre el tamaño de la explicación (interpretabilidad) y el costo computacional a través de diferentes paradigmas:

• PIP-Net: Los modelos con cabezales lineales dispersos y no negativos (PIP-Net) producen los tamaños de explicación absoluta más pequeños y los tiempos de computación más rápidos (aprox. 0.07s), lo que sugiere que son inherentemente más compatibles con la verificación formal.
• Paradigma de Símplex: El paradigma de explicación de Símplex (para PIP-Net) logra el tamaño de explicación relativo más pequeño (0.1%–0.2%), indicando una excelente escalabilidad con las dimensiones del espacio latente.
• Modelos Gaussianos: La HIA escalada proporciona los tamaños de explicación relativa más pequeños para modelos gaussianos (4.6%–6.2%) pero incurre en la mayor sobrecarga computacional (hasta 142s), con algunas configuraciones agotando el tiempo de ejecución en conjuntos de datos más grandes.
• Modelos de Coseno/Esféricos: Aunque la HIA Esférica logra tamaños relativos competitivos, tanto el TI de Coseno como la HIA Esférica sufren de alta varianza y problemas de escalabilidad, agotando frecuentemente el tiempo de ejecución en el conjunto de datos CUB200.
• Métrica: Los autores introducen una métrica de "Tamaño Relativo" para normalizar los tamaños de las explicaciones a través de diferentes paradigmas, proporcionando un indicador robusto de la interpretabilidad arquitectónica inherente independiente del número total de prototipos.

Significancia
El artículo afirma proporcionar la primera comparación cuantitativa de la interpretabilidad formal a través de diversas redes basadas en prototipos. Al extender ALE a espacios no euclidianos, cierra la brecha entre las garantías teóricas de la XAI Formal y la realidad práctica de las diversas arquitecturas de prototipos modernas. El trabajo destaca principios de diseño específicos —como el uso de cabezales dispersos y no negativos— que conducen a una mejor interpretabilidad formal. Establece que, si bien la precisión geométrica (por ejemplo, en modelos gaussianos o esféricos) puede producir límites ajustados, a menudo conlleva un costo computacional significativo, subrayando la necesidad de un diseño arquitectónico cuidadoso para equilibrar las garantías de interpretabilidad con la escalabilidad.