Resumen Técnico: ProtoQuant

1. Planteamiento del Problema

Los modelos de aprendizaje profundo, particularmente en dominios de alto riesgo como el diagnóstico médico y la conducción autónoma, sufren de una opacidad inherente. Aunque la IA Explicable (XAI) ha introducido métodos post-hoc (por ejemplo, Grad-CAM) y enfoques ante-hoc (autoexplicativos), estos últimos —específicamente las Redes de Partes Prototípicas (PPN)— enfrentan limitaciones críticas:

• Deriva de Prototipos y Falta de Anclaje: Los métodos existentes suelen aprender vectores latentes que no corresponden a parches tangibles y realizables en la distribución de entrenamiento. Estos prototipos pueden derivar, fallando al representar conceptos visuales reales.
• Inestabilidad Representacional: Pequeñas perturbaciones en las imágenes de entrada pueden causar cambios drásticos en los prototipos de mayor activación, lo que conduce a decisiones de modelo inestables que contradicen la percepción humana.
• Escalabilidad y Costo Computacional: La mayoría de las arquitecturas prototípicas tienen dificultades para generalizarse a conjuntos de datos a gran escala como ImageNet. Además, frecuentemente requieren un ajuste fino (fine-tuning) computacionalmente costoso de toda la red de soporte (backbone) para lograr una precisión aceptable, lo que limita su aplicabilidad a los modelos fundacionales modernos que permanecen congelados.

2. Metodología: ProtoQuant

ProtoQuant es un marco interpretable diseñado para funcionar como una "cabeza" para clasificadores de imágenes pre-entrenados y congelados. Aborda los problemas de anclaje y estabilidad mediante la Cuantización Vectorial.

Arquitectura Central

El modelo reemplaza la cabeza de clasificación estándar de un backbone congelado $\phi$ con un módulo basado en conceptos. El proceso involucra:

1. Backbone Congelado: Un backbone pre-entrenado (CNN o ViT) extrae un mapa de características $\phi(x)$. Los parámetros del backbone permanecen fijos durante todo el entrenamiento.
2. Aprendizaje del Libro de Códigos de Conceptos (Etapa 1):
   • Se aprende un libro de códigos discreto $C = \{c_1, ..., c_m\}$ utilizando un mecanismo de Autoencoder Variacional de Cuantización Vectorial (VQ-VAE).
   • Los vectores de características $z_{ij}$ del backbone se asignan a su entrada de libro de códigos más cercana basándose en la similitud de coseno.
   • Solo los vectores del libro de códigos se actualizan mediante una pérdida de libro de códigos ($L_{codebook}$), mientras que las incrustaciones (embeddings) del backbone se detienen de recibir gradientes. Esto discretiza el espacio latente continuo en un vocabulario finito de primitivas visuales.
3. Cabeza de Predicción Basada en Conceptos (Etapa 2):
   • Emparejamiento (Matching): Los vectores de características se emparejan contra el libro de códigos usando un softmax agudo con un parámetro de temperatura $\alpha$, generando mapas de activación de conceptos.
   • Agregación: Se aplica el pooling máximo espacial para obtener puntuaciones de presencia de conceptos ($s$).
   • Clasificación: Una matriz de clasificación no negativa $W$ mapea las puntuaciones de conceptos a logits de clase ($\hat{y} = Ws$).

Régimen de Entrenamiento

El método emplea un proceso de entrenamiento de dos etapas:

• Etapa 1 (Anclaje No Supervisado): El libro de códigos se entrena de forma no supervisada para capturar la distribución de características del backbone congelado.
• Etapa 2 (Razonamiento Supervisado): La cabeza original es reemplazada por la cabeza interpretable. El libro de códigos se congela y la matriz de clasificación $W$ se entrena utilizando la pérdida de entropía cruzada estándar. Esta etapa permite la poda (selección de los top-K prototipos por clase) para mejorar la interpretabilidad sin reentrenar el backbone.

3. Contribuciones Clave

• Anclaje Basado en Cuantización: Introduce un mecanismo que discretiza el espacio de características en un libro de códigos de conceptos de alta estabilidad, asegurando que los prototipos sean representaciones fieles de los datos de entrenamiento sin requerir actualizaciones del backbone.
• Agnosticismo de Backbone: Diseñado para funcionar como una cabeza interpretable y eficiente para backbones congelados (tanto CNN como ViT), permitiendo la integración fluida con arquitecturas modernas sin el ajuste fino de todos los parámetros.
• Escalabilidad: Demuestra que el razonamiento prototípico puede escalar a conjuntos de datos a gran escala (ImageNet) con alta fidelidad, cerrando la brecha entre la interpretabilidad y el rendimiento predictivo.
• Editabilidad Estructural: El uso de un libro de códigos discreto permite ediciones estructurales instantáneas, como la "poda de conceptos" o la neutralización de entradas específicas, facilitando la depuración del modelo sin un reentrenamiento costoso.

4. Resultados Experimentales

Los autores evaluaron ProtoQuant en ImageNet-1K y benchmarks de grano fino (CUB-200, Cars-196, Dogs, Flowers).

• Estabilidad Representacional: En el benchmark de Desalineación Espacial, ProtoQuant supera significativamente a otras PPN. Logra puntuaciones de Cambio de Precisión (AC) casi perfectas (0.35 para ViT, 1.73 para ConvNeXt) y reduce drásticamente el Cambio de Activación de Prototipo (PAC), indicando robustez contra perturbaciones de entrada.
• Precisión de Clasificación:
  • Grano Fino: ProtoQuant logra una precisión Top-1 competitiva o superior comparada con métodos interpretables de última generación (por ejemplo, PIP-Net, InfoDisent) en CUB-200, Cars, Dogs y Flowers, superando a menudo a los métodos que ajustan el backbone.
  • ImageNet: ProtoQuant alcanza un 77.86% de precisión en ResNet-50 y 82.87% en ConvNeXt-Large. Esto reduce significativamente la brecha de rendimiento entre los métodos ante-hoc y los baselines de caja negra no interpretables en comparación con competidores como InfoDisent.
• Pureza Semántica: ProtoQuant demuestra una pureza de prototipo competitiva (0.47) frente a otros métodos bajo restricciones de backbone congelado, validando que los conceptos cuantizados se alinean bien con las partes anotadas por humanos.
• Eficiencia: Entrenar ProtoQuant en un backbone congelado reduce el tiempo por época en aproximadamente un 47.6% en comparación con el entrenamiento completo del modelo con ajuste fino del backbone.

5. Significado y Reivindicaciones

El artículo posiciona a ProtoQuant como una solución a los desafíos de la "deriva de prototipos" y la escalabilidad inherentes a las redes de partes prototípicas actuales. Su principal significado radica en:

• Interpretabilidad Anclada: Al anclar las decisiones a un vocabulario verificable de conceptos visuales derivados directamente de la distribución de entrenamiento, asegura que las explicaciones se basen en datos reales en lugar de artefactos latentes abstractos.
• Despliegue Práctico: La capacidad de adjuntar una cabeza interpretable a modelos fundacionales congelados hace que el enfoque sea computacionalmente eficiente y aplicable a arquitecturas de alta capacidad donde el ajuste fino total es prohibitivo.
• Confianza en Dominios de Alto Riesgo: El razonamiento de "esto se parece a aquello", combinado con activaciones estables, permite a los profesionales en campos como la imagenología médica verificar que los modelos están prestando atención a características clínicamente relevantes, apoyando el despliegue de sistemas de IA más transparentes y responsables.

Los autores reconocen que la dependencia de un libro de códigos discreto puede limitar la flexibilidad de representación en comparación con los espacios continuos y sugieren como trabajo futuro la automatización de la selección del tamaño del libro de códigos y la poda avanzada.