Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification

Resumen Técnico: HCEP para Clasificación de Imágenes Interpretable

1. El Problema

Los modelos de visión por computadora basados en aprendizaje profundo, aunque altamente precisos, suelen carecer de interpretabilidad, lo que genera desconfianza en aplicaciones críticas. Las técnicas de "explicación post-hoc" (como los mapas de calor) a menudo carecen de fidelidad respecto al modelo original.

En respuesta, han surgido modelos interpretables por diseño (interpretable-by-design), que extraen conceptos humanos comprensibles de una imagen para realizar la clasificación. Sin embargo, los métodos actuales de recuperación de conceptos (como la codificación dispersa o sparse coding estándar) tienen una limitación fundamental: ignoran la estructura jerárquica inherente a los conceptos semánticos.

• La falla actual: Si un modelo clasifica un gato, un método estándar podría recuperar conceptos como "animal" y "vehículo" simultáneamente. Aunque la predicción final sea correcta, la explicación es inconsistente con la jerarquía semántica (un gato no es un vehículo).
• El objetivo: Desarrollar un marco que respete la jerarquía (donde los conceptos forman un camino enraizado desde la raíz hasta la hoja) para garantizar que las explicaciones sean lógicamente consistentes y fieles.

2. Metodología: HCEP

Los autores proponen HCEP (Hierarchical Concept Embedding & Pursuit), un marco que integra la jerarquía semántica directamente en el espacio de incrustaciones (embeddings) y en el algoritmo de recuperación.

A. Modelo de Incrustación Jerárquica (Sección 3)
Los autores definen condiciones geométricas ideales para que los conceptos sean identificables en el espacio latente:

1. Agrupamiento Bien Estructurado (Well-clustered): Los synsets (conjuntos de sinónimos) hermanos deben estar bien separados entre sí, pero agrupados alrededor de su nodo padre. Esto asegura que los subárboles no se solapen.
2. Ortogonalidad Jerárquica: La diferencia vectorial entre un concepto hijo y su padre debe ser ortogonal al vector del padre. Esto implica que las características que distinguen a un hijo de su padre son independientes de la identidad del padre (ej. la diferencia entre "perro" y "mamífero" no debe alterar la probabilidad relativa de ser "gato" vs "perro").
3. Estructura de Simplejo: Las diferencias entre los hijos de un mismo padre deben formar un simplejo regular, asegurando que las distinciones semánticas sean independientes.

Estas condiciones requieren que la dimensión del espacio de incrustación ($d$) sea suficientemente grande en relación con la profundidad de la jerarquía ($L$) y el factor de ramificación ($b$), específicamente $d \ge L + b$.

B. Construcción del Diccionario Jerárquico
En lugar de usar las incrustaciones de los conceptos directamente, HCEP construye un diccionario basado en las diferencias:
$$D = \{ a(j) - a(\text{par}(j)) \}$$
donde $a(j)$ es la incrustación del synset hijo y $a(\text{par}(j))$ la del padre.

• Esto evita soluciones triviales (ej. explicar un gato simplemente diciendo "es un gato").
• La incrustación de una imagen se representa como una combinación lineal dispersa de estas "diferencias conceptuales" a lo largo de un camino desde la raíz hasta la hoja.

C. Persecución de Conceptos Jerárquica (Hierarchical OMP)
Para recuperar los conceptos presentes en una imagen, proponen una variante del Orthogonal Matching Pursuit (OMP) con búsqueda por haz (beam search):

• Exploración de Hipótesis: A diferencia del OMP estándar que selecciona el átomo más correlacionado globalmente, el HCEP mantiene un conjunto de hipótesis candidatas.
• Restricción Jerárquica: En cada paso, solo se pueden extender las hipótesis seleccionando hijos del nodo más profundo explorado en la jerarquía.
• Búsqueda por Haz: Se mantienen los $B$ mejores caminos (hipótesis) en cada nivel para evitar que un error temprano (ej. elegir "objeto" en lugar de "animal") propague errores hacia abajo. Esto garantiza la recuperación de un camino enraizado válido.

3. Contribuciones Clave

1. Marco Geométrico Teórico: Establecen condiciones teóricas (ortogonalidad, simplejos, conos) bajo las cuales la recuperación de conceptos jerárquicos es posible y única en espacios euclidianos.
2. Algoritmo HCEP: Introducen un algoritmo de persecución dispersa que respeta explícitamente la estructura de árbol, superando las limitaciones de la codificación dispersa "vanilla".
3. Validación Empírica: Demuestran que las incrustaciones de modelos pre-entrenados (como CLIP) satisfacen naturalmente estas condiciones geométricas, permitiendo aplicar el método sin reentrenamiento pesado.
4. Rendimiento en Few-Shot: El método destaca especialmente en escenarios con pocos datos (few-shot), donde la estructura jerárquica actúa como un fuerte prior inductivo.

4. Resultados Experimentales

Los autores evaluaron HCEP en conjuntos de datos sintéticos y reales (ImageNet, ImageNette, CIFAR-100):

• Recuperación de Conceptos: HCEP supera consistentemente a las líneas base (OMP estándar, Concept Bottleneck Models - CBM, y vecinos más cercanos) en precisión y recuperación (recall) de los conceptos correctos.
  • En datos sintéticos, el OMP jerárquico recupera el soporte verdadero (el camino correcto en el árbol) con mucha mayor fiabilidad que el OMP estándar.
• Precisión de Clasificación: HCEP mantiene una precisión de clasificación competitiva con los modelos de caja negra y supera a los modelos interpretables existentes.
• Escenario Few-Shot: Cuando el número de muestras por clase es limitado (ej. 12 o 25 imágenes), HCEP logra la mayor precisión de clasificación y recuperación de conceptos entre todos los métodos interpretables, demostrando que la estructura jerárquica ayuda a generalizar mejor con menos datos.
• Generalización: El método funciona bien con diferentes modelos de visión-idioma (CLIP y SigLIP) y es robusto incluso cuando la jerarquía se construye automáticamente mediante inducción taxonómica (en lugar de usar WordNet directamente).

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la interpretabilidad y la estructura semántica del mundo real.

• Fidelidad: Al forzar a que las explicaciones sigan caminos jerárquicos válidos, HCEP evita explicaciones contradictorias (como "gato" + "vehículo"), aumentando la confianza en el modelo.
• Eficiencia de Datos: Muestra que incorporar conocimiento estructural (jerarquías) en el proceso de aprendizaje profundo es una estrategia poderosa para mejorar el rendimiento en escenarios con datos limitados.
• Escalabilidad: Al basarse en incrustaciones pre-entrenadas y un diccionario de diferencias, el método es escalable y no requiere costosos procesos de anotación manual para cada nuevo concepto, siempre que exista una jerarquía semántica (o se pueda inducir).

En conclusión, HCEP demuestra que la codificación dispersa estructurada es un marco robusto y flexible para construir modelos de visión por computadora que no solo son precisos, sino que también ofrecen explicaciones humanas, coherentes y fieles.