Contextualizing CNN attribution maps using predefined image-derived descriptors in medicinal plant seed classification

Resumen Técnico: Contextualización de Mapas de Atribución de CNN mediante Descriptores Predefinidos Derivados de Imágenes en la Clasificación de Semillas de Plantas Medicinales

Planteamiento del Problema
Los modelos de aprendizaje profundo, particularmente las Redes Neuronales Convolucionales (CNN), han alcanzado una alta precisión predictiva en la clasificación de semillas de plantas medicinales. Sin embargo, la alta precisión por sí sola no elucida qué propiedades visuales específicas impulsan las decisiones del modelo. Esta brecha de interpretabilidad es crítica para las semillas medicinales, donde especies estrechamente relacionadas y posibles sustitutos a menudo comparten rasgos morfológicos superpuestos. Mientras que los métodos de atribución (por ejemplo, Gradientes Integrados) generan mapas de calor que indican dónde se enfoca un modelo, no especifican qué propiedades de la imagen (por ejemplo, color, textura, frecuencia) representan esas regiones. Los mapas de calor de atribución existentes carecen de un contexto visual estructurado y reproducible para vincular las regiones de alta respuesta con descriptores de bajo nivel, lo que dificulta determinar si un modelo depende de características biológicamente relevantes o de artefactos.

Metodología
Los autores proponen un flujo de trabajo de "contextualización de descriptores restringida al primer plano" para cerrar esta brecha. El estudio se centra en cinco clases de semillas de plantas medicinales (Armeniaca vulgaris, Armeniaca sibirica, Prunus japonica, Prunus davidiana y Prunus persica) utilizando un conjunto de datos de 1,124 imágenes RGB.

1. Preprocesamiento: Las imágenes se sometieron a un flujo de trabajo estandarizado que incluyó la eliminación del fondo (usando U²-Net), la normalización de la orientación mediante el ajuste de elipse y la alineación a un lienzo centrado. Se generaron máscaras de primer plano binarias para aislar el objeto de la semilla del fondo.
2. Entrenamiento de la CNN: Se entrenaron tres arquitecturas (backbones) de CNN (ResNet50, EfficientNet-B0 y ConvNeXt-Small) utilizando pesos preentrenados de ImageNet. Todos los modelos alcanzaron un rendimiento cercano al techo (precisión de prueba >99.5%), seleccionándose ConvNeXt-Small como el clasificador primario para el análisis de atribución posterior.
3. Generación de Atribución: Se calcularon los Gradientes Integrados (IG) con una línea base de cero (imagen negra) para producir mapas de atribución absoluta que representan la magnitud espacial de las respuestas relacionadas con la predicción. Las comparaciones suplementarias incluyeron IG positivo y Grad-CAM.
4. Generación de Mapas de Descriptores: Se computaron mapas de descriptores derivados de la imagen y predefinidos para cada imagen de semilla dentro del primer plano. Estos se categorizaron en:
   • Color/Intensidad: Brillo, LAB L, Cromatismo LAB, Saturación HSV.
   • Frecuencia Espacial: FFT de paso bajo, FFT de paso alto, mapas de detalle de Wavelet.
   • Textura: Respuestas de Gabor, Patrones Binarios Locales (LBP).
   • Borde/Forma: Respuesta de borde de Sobel, variación de Laplacian, transformada de distancia, descriptores de Fourier.
5. Análisis de Asociación Espacial: El estudio calculó la correlación de rango de Spearman restringida al primer plano entre los mapas de atribución de IG y cada mapa de descriptor. Esto cuantificó el grado de co-distribución entre las respuestas de atribución y propiedades visuales específicas.
6. Clasificación de Características de Resumen de Descriptores: Como análisis complementario, se extrajeron estadísticas de resumen (media, desviación estándar, mediana, etc.) de los píxeles del primer plano de todos los mapas de descriptores. Estos vectores de características de 174 dimensiones se utilizaron para entrenar clasificadores tabulares (Regresión Logística y SVM con núcleo RBF) para evaluar si los descriptores mismos contenían información discriminativa de clase.

Result elados Clave

• Rendimiento de Clasificación: Las tres arquitecturas de CNN demostraron un rendimiento de clasificación estable y casi perfecto en el conjunto de prueba independiente, validando la fiabilidad de los resultados del modelo utilizados para la atribución.
• Asociaciones Atribución-Descriptor: Los mapas de IG absoluto de línea base cero mostraron las asociaciones espaciales positivas más altas con LAB L (luminosidad perceptual), Brillo y FFT de paso bajo (variación de intensidad de escala gruesa). Esto indica que las principales respuestas de atribución del modelo están codistribuidas con la luminosidad y las estructuras de intensidad de baja frecuencia dentro del primer plano de la semilla.
• Asociaciones de Variables: Otros descriptores mostraron asociaciones positivas moderadas (por ejemplo, Cromatismo LAB, detalles de Wavelet, transformada de distancia) o asociaciones bajas/negativas (por ejemplo, descriptores de Fourier, Saturación HSV, LBP), lo que sugiere que el modelo no depende equitativamente de todas las propiedades visuales.
• Poder Discriminativo de los Descriptores: La clasificación de características de resumen de descriptores alcanzó una precisión de prueba de 0.9778 (F1 Macro: 0.9785) utilizando Regresión Logística con los 29 descriptores. Notablemente, los subconjuntos de descriptores con alta asociación de IG (Top 5 o Top 7) lograron una precisión menor (0.91) que el conjunto completo o los subconjuntos basados en detalles de textura/wavelet (0.96), lo que indica que el ranking de asociación espacial y la separabilidad de clase capturan aspectos diferentes de la información visual.

Significancia y Reivindicaciones
El artículo afirma proporcionar una base metodológica para organizar los patrones de atribución de las CNN dentro de contextos visuales reproducibles derivados de la imagen. Al restringir el análisis al primer plano de la semilla y comparar los mapas de atribución contra un conjunto exhaustivo de descriptores predefinidos, el estudio va más allá de la inspección cualitativa de mapas de calor hacia una asociación espacial cuantitativa.

Los autores enfatizan dos contribuciones principales:

1. Contextualización: El flujo de trabajo permite a los investigadores interpretar por qué un modelo se enfoca en ciertas regiones al vincular las respuestas de atribución con propiedades visuales específicas (por ejemplo, luminosidad y estructura de baja frecuencia) en lugar de solo identificar las regiones.
2. Análisis Complementario: El estudio distingue entre "co-distribución espacial" (donde la atribución y los descriptores se superponen) y "separabilidad de clase a nivel de descriptor" (si los descriptores pueden distinguir las clases). Los resultados muestran que estos son ejes analíticos distintos; los descriptores altamente correlacionados con la atribución no son necesariamente los más discriminativos para la clasificación.

Los autores mantienen un tono modesto, señalando que el flujo de trabajo está actualmente validado bajo condiciones de imagen controladas. Sugieren que, si bien el método ofrece una interpretación estructurada para la autenticación de semillas medicinales, su estabilidad requiere una evaluación adicional con conjuntos de datos externos que involucren variaciones en iluminación, fondos y dispositivos de imagen. El estudio no pretende reemplazar el conocimiento experto, sino proporcionar un contexto estructurado derivado de la imagen para interpretar las respuestas del modelo en tareas orientadas a la autenticación.