Resumen Técnico: ProDG – Prototipos para Explicabilidad Generativa Post Hoc Libre de Datos

Enunciado del Problema

Las redes neuronales profundas han logrado un rendimiento notable en visión por computadora, pero siguen siendo "cajas negras", lo que plantea problemas críticos de confianza y seguridad. Si bien los métodos de explicabilidad post hoc (p. ej., Grad-CAM, LRP) ofrecen explicaciones eficientes para imágenes individuales sin reentrenamiento, típicamente producen mapas de calor a nivel de píxel que carecen de significado semántico claro, obligando a los usuarios a inferir el razonamiento del modelo. Por el contrario, los métodos basados en prototipos ante hoc (p. ej., ProtoPNet) proporcionan un razonamiento comprensible para el humano de "esto se parece a aquello", pero requieren arquitecturas especializadas y un reentrenamiento extensivo.

Los enfoques híbridos recientes, como EPIC, intentan cerrar esta brecha extrayendo explicaciones similares a prototipos de clasificadores congelados sin reentrenamiento. Sin embargo, estos métodos enfrentan una limitación fundamental: requieren acceso a un subconjunto de datos del mundo real (p. ej., un conjunto de validación o prueba) para buscar, recortar y extraer prototipos visuales. Esta dependencia los hace inutilizables en dominios sensibles a la privacidad (p. ej., atención médica, finanzas) donde los conjuntos de datos originales están estrictamente restringidos o son inaccesibles.

Metodología: Marco ProDG

ProDG (Prototipos Generativos para Explicabilidad Post Hoc Libre de Datos) aborda el problema de la dependencia de datos sintetizando prototipos visuales puros y de alta fidelidad directamente desde los pesos de un clasificador congelado, eliminando la necesidad de cualquier dato externo. El marco consta de tres componentes principales:

1. Módulo de Desentrelazamiento de Características Ortogonales

En redes estándar, las características visuales a menudo están entrelazadas a través de múltiples canales. ProDG introduce una matriz de cambio de base ortogonal $U \in \mathbb{R}^{C \times C}$ para mapear las activaciones entrelazadas originales $\Phi(x)$ a un nuevo espacio $Z = U \Phi(x)$.

• Objetivo: Alinear las nuevas representaciones de canal con conceptos visuales distintos y semánticamente significativos, de modo que cada canal se active fuertemente para exactamente una característica específica.
• Garantía de Fidelidad: Dado que $U$ está restringida a ser ortogonal, su inversa es simplemente su transpuesta ($U^{-1} = U^T$). Al modificar la cabeza de clasificación lineal para incorporar este mapeo inverso (multiplicando los pesos del clasificador por $U^T$), el cambio de base se cancela matemáticamente durante el paso hacia adelante. Esto asegura que la red modificada mantenga la exactitud predictiva y las predicciones de logit exactas del modelo base original.

2. Banco de Prompts de Concepto

Para generar prototipos sin datos reales, ProDG aprovecha un modelo generativo congelado (específicamente FLUX.1-schnell) condicionado en incrustaciones de texto.

• Parametrización: Se define un "Banco de Prompts de Concepto" $\mathcal{P} = \{P_c\}_{c=1}^C$ para cada canal. Cada $P_c$ incluye incrustaciones de anclaje congeladas (derivadas de nombres de clases durante una fase inicial de descubrimiento) y parámetros distribucionales aprendibles.
• Optimización: Los parámetros aprendibles incluyen desplazamientos y varianzas para las incrustaciones de texto. Para incrustaciones T5 de alta dimensión, se utiliza Adaptación de Bajo Rango (LoRA); para incrustaciones CLIP, se aprenden desplazamientos directos.
• Diversidad: Las incrustaciones se formulan como distribuciones probabilísticas. Utilizando el truco de reparametrización, el sistema muestrea de estas distribuciones para generar imágenes de prototipos diversas en lugar de una única imagen estática por concepto.

3. Esquema de Optimización Alternada

El marco optimiza conjuntamente la matriz de transformación $U$ y los parámetros del banco de prompts $\Theta_c$ utilizando una estrategia alternada:

• Fase 1 (Actualizar $U$): Congelar los parámetros del prompt, muestrear imágenes para los canales objetivo y actualizar $U$ para maximizar la métrica de pureza (la relación entre la activación máxima en un canal específico y la norma del vector de características en esa ubicación espacial).
• Fase 2 (Actualizar Prompts): Congelar $U$, generar imágenes y actualizar las incrustaciones para maximizar la pureza mientras se aplican dos pérdidas de regularización:
  • Pérdida de Regularización ($L_{reg}$): Penaliza grandes desviaciones de las incrustaciones aprendidas de anclajes de lenguaje natural significativos para mantener la alineación semántica.
  • Pérdida de Diversidad ($L_{div}$): Fomenta la generación de imágenes diferentes para el mismo canal para evitar el colapso de modos, calculada mediante la similitud del coseno por pares de vectores de características.

Generación de Explicaciones

Durante la inferencia, el sistema identifica los $k$ canales más influyentes para una clase predicha. Luego, muestrea del banco de prompts optimizado para generar las imágenes correspondientes. Las explicaciones visuales se derivan calculando mapas de calor de activación basados en el producto de la Pureza Espacial (dominio del canal) y la Magnitud Relativa (activación normalizada), resultando en cajas delimitadoras localizadas que resaltan regiones prototípicas.

Contribuciones Clave

1. Marco Libre de Datos: ProDG es el primer método basado en prototipos que sintetiza explicaciones de prototipos sin requerir acceso a conjuntos de datos originales o de validación.
2. Condicionamiento Optimizado por Pureza: La introducción de un mecanismo que utiliza modelos generativos para crear conceptos visuales de alta fidelidad e interpretables directamente desde los pesos de un clasificador congelado.
3. Interpretabilidad que Preserva la Privacidad: El método proporciona una alternativa segura a la extracción dependiente de datos tradicional, ofreciendo representaciones conceptuales más limpias libres de ruido de fondo irrelevante, adecuadas para entornos restringidos.

Resultados y Evaluación

Los autores evaluaron ProDG en cuatro puntos de referencia (CUB-200-2011, Stanford Cars, Stanford Dogs e ImageNet) utilizando diversas arquitecturas base (ResNet, DenseNet, ConvNeXt, SwinTransformer).

• Fidelidad Predictiva: Como se garantiza teóricamente, ProDG mantiene la exactitud del modelo base exactamente (0% de diferencia) en todos los conjuntos de datos y arquitecturas, igualando el rendimiento de EPIC e InfoDisent.
• Rendimiento Cualitativo: Las comparaciones visuales muestran que ProDG produce señales semánticamente ricas (p. ej., estructura del objeto, textura) comparables a métodos dependientes de datos como EPIC, capturando regiones discriminativas de manera efectiva.
• Diversidad Intra-Concepto: Utilizando la métrica de Similitud Perceptual de Parches de Imagen Aprendida (LPIPS), ProDG demostró puntuaciones altas ($\geq 0.61$), lo que indica que el marco evita con éxito el colapso de modos y genera variaciones visuales diversas para el mismo concepto.
• Estudio con Usuarios: En un estudio sobre ImageNet, los participantes lograron una precisión significativamente superior al azar (73% frente a selección aleatoria) al identificar clases basándose en las explicaciones de ProDG. En una comparación de tres vías (ProDG vs. InfoDisent vs. EPIC), ProDG obtuvo el rango promedio más alto (1.85), con diferencias estadísticamente significativas encontradas frente a InfoDisent.

Significado y Limitaciones

El artículo afirma que ProDG establece una nueva frontera en XAI Libre de Datos, desbloqueando una interpretabilidad visual robusta para entornos altamente restringidos donde el acceso a datos es imposible. Al desacoplar el descubrimiento de prototipos de la disponibilidad de datos, permite la transparencia en dominios sensibles a la privacidad.

Los autores reconocen modestamente las limitaciones inherentes al enfoque generativo:

• Sesgo del Prior Generativo: Si los conceptos objetivo están completamente fuera de distribución para el modelo generativo subyacente (p. ej., FLUX), la optimización del prompt podría tener dificultades para sintetizar prototipos válidos.
• Adaptación de Dominio: Aplicar el marco a dominios especializados podría requerir cambiar el prior generativo por un modelo específico del dominio.
• Inicialización: Si bien la inicialización de anclajes de texto ayuda a la convergencia, estrategias de inicialización más avanzadas podrían potencialmente mejorar la captura de características visuales altamente abstractas.