Naming the Concepts Classifiers Rely On: Language-Anchored Decomposition for Faithful Explanation

Resumen Técnico: Descomposición Anclada en el Lenguaje (LAD)

1. Planteamiento del Problema

Las redes neuronales profundas desplegadas en aplicaciones visuales de alto riesgo requieren interpretabilidad; sin embargo, los métodos de explicación existentes enfrentan un compromiso fundamental entre la fidelidad (alineación con el proceso de decisión real del modelo) y el nombrado (etiquetas semánticas legibles por humanos).

• Los métodos de descubrimiento de conceptos post-hoc (p. ej., TCAV, ACE, CRAFT, FACE) son fieles al comportamiento del modelo pero producen factores sin nombre. El mismo índice de factor puede corresponder a diferentes elementos visuales en distintas imágenes, lo que requiere un etiquetado post-hoc que carece de consistencia.
• Los métodos de nombrado y de diseño (p. ej., Modelos de Cuello de Botella de Conceptos, enfoques de nombramiento de neuronas como LaViSE) proporcionan nombres legibles por humanos, pero a menudo requieren reentrenar el modelo o alterar su arquitectura. En consecuencia, el modelo explicado ya no es el que se desplegó, o las unidades nombradas no están verificadas como causalmente responsables de las predicciones.

Ningún método previo ha logrado entregar conceptos que sean simultáneamente nombrados, fieles al clasificador congelado y obtenidos sin modificar el modelo.

2. Metodología: Descomposición Anclada en el Lenguaje (LAD)

LAD aborda esta brecha invirtiendo el proceso estándar de la Factorización de Matrices No Negativas (NMF). En lugar de aprender coeficientes latentes y etiquetarlos posteriormente, LAD fija los coeficientes a mapas anclados en el lenguaje y aprende únicamente la base del concepto.

Marco Central:

1. Configuración: Dado un codificador preentrenado congelado $f$ y una cabeza de clasificación $g$, LAD opera sobre los mapas de características espaciales $Z$ producidos por el codificador. A diferencia de los métodos que agrupan las características globalmente, LAD despliega las activaciones para preservar la localidad espacial, tratando cada ubicación espacial como una observación independiente.
2. Coeficientes Anclados al Lenguaje ($S$):
   • Para una clase objetivo, un Modelo de Lenguaje Grande (LLM) genera un vocabulario de conceptos visualmente anclados (p. ej., "orejas puntiagudas", "ojos verdes") específico para la clase.
   • Se utiliza la similitud imagen-texto de CLIP para localizar estos conceptos a través de las regiones de la imagen, creando mapas de similitud espacial.
   • Estos mapas se aplanan y se apilan para formar una matriz de coeficientes fija $S \in \mathbb{R}^{(nhw) \times r}$, donde las filas representan ubicaciones espaciales y las columnas representan conceptos nombrados.
3. Factorización Invertida:
   • La NMF estándar aprende tanto los coeficientes ($U$) como la base ($W$) de tal manera que $A \approx UW^\top$.
   • LAD fija los coeficientes a la matriz anclada al lenguaje $S$ y aprende solo la base del concepto $W$ para reconstruir las activaciones del codificador: $\hat{\bar{A}} \approx SW^\top$.
   • La optimización minimiza el error de reconstrucción $\|\bar{A} - SW^\top\|_F^2$ bajo restricciones de no negatividad utilizando el Descenso de Gradiente Proyectado (PGD).
4. Inferencia: Para nuevas imágenes, la base $W$ permanece fija y los coeficientes no negativos $\hat{S}$ se estiman mediante mínimos cuadrados no negativos. Estos coeficientes se remodelan en mapas de calor espaciales, proporcionando explicaciones localizadas y nombradas.

Mecanismo Clave: El ancla de lenguaje actúa como una restricción estructural. La geometría de características del codificador congelado determina qué conceptos nombrados se retienen (asignándoles pesos de base distintos de cero), mientras que los conceptos inconsistentes con la evidencia del codificador son suprimidos.

3. Contribuciones Clave

• Un Nuevo Marco Post-hoc: LAD es el primer marco que produce conceptos que son nombrados, fieles y obtenidos sin reentrenar el modelo. Logra esto fijando los mapas de similitud de CLIP anclados al lenguaje como la matriz de coeficientes en una descomposición tipo NMF.
• Ancla de Lenguaje Funcional: El artículo demuestra que el ancla de lenguaje no es meramente cosmética. Eliminar el ancla (revirtiendo a la NMF no supervisada estándar) preserva la precisión de la clasificación pero provoca un colapso abrupto en la fidelidad de la atribución (específicamente en las pruebas de eliminación de conceptos). Esto demuestra que el ancla dirige el descubrimiento hacia estructuras con significado para el clasificador.
• Rollouts de Conceptos Nombrados por Imagen: A diferencia de las líneas base que producen factores anónimos, LAD permite rollouts por imagen donde los conceptos nombrados específicos utilizados para una predicción se localizan, se clasifican por importancia y se anotan con su contribución a la reconstrucción.
• Evaluación Exhaustiva: El método se evalúa en imágenes naturales (ImageNet), escenas (Places365) e imágenes clínicas (imágenes de fondo de retina), demostrando robustez en diversas tareas visuales.

4. Resultados

• Fidelidad: En ImageNet y Places365, LAD preserva la precisión top-1 (comparable a las líneas base) mientras alcanza los puntajes más altos de Inserción de Conceptos (C-Ins), lo que indica que sus conceptos nombrados son suficientes para restaurar las predicciones.
• Desempeño de Eliminación: Mientras que el método FACE (que optimiza conjuntamente coeficientes y base) supera ligeramente a LAD en Eliminación de Conceptos (C-Del) en imágenes naturales, LAD supera significativamente a todas las líneas base en el dominio clínico (fondo de retina). En entornos clínicos, donde las firmas de enfermedades son espacialmente focales, los conceptos nombrados de LAD son los más decisivos causalmente, logrando un puntaje de C-Del de 0.954 frente al 0.863 de FACE.
• Estudios de Ablación:
  • Ancla de Lenguaje: Reemplazar los coeficientes de lenguaje fijos por coeficientes aprendidos reduce el C-Del de 0.902 a 0.507, confirmando el papel del ancla en el descubrimiento de direcciones fieles.
  • Presupuesto de Conceptos: Aumentar el número de conceptos ($r$) mejora la fidelidad de forma monótona sin sacrificar la precisión.
• Eficiencia: LAD es computacionalmente eficiente, procesando una clase en 0.03 segundos en una RTX A4500, significativamente más rápido que FACE (2.6s) y CRAFT (0.5s).

5. Significado y Reivindicaciones

El artículo sostiene que LAD logra cerrar la brecha entre la atribución fiel y la interpretabilidad humana sin comprometer la integridad del modelo desplegado.

• Nombrado Estructural vs. Cosmético: Los autores enfatizan que el nombramiento en LAD es una propiedad estructural de la factorización, no una etiqueta post-hoc. La propia geometría de características del modelo determina qué conceptos son relevantes, mitigando los sesgos conocidos de los modelos tipo CLIP al suprimir los conceptos inconsistentes con la evidencia del codificador.
• Evidencia Auditable: En dominios de alto riesgo como la imagenología médica, LAD proporciona un "registro auditable" donde un lector puede inspeccionar no solo dónde mira el modelo, sino qué atribuye a esa región (p. ej., "estructuras tipo drusas"). Esto permite la detección de discrepancias entre la evidencia visual del modelo y su atribución semántica.
• Generalizabilidad: Se demuestra que el enfoque es efectivo en imágenes naturales, comprensión de escenas y diagnósticos clínicos, sugiriendo que fijar coeficientes anclados al lenguaje es una estrategia viable para crear modelos de visión transparentes donde el contenido de una decisión es tan crítico como su precisión.