A reproducible and interpretable workflow for small-sample leaf hyperspectral phenotyping with hierarchical validation and cross-stage robustness

Resumen Técnico: Un flujo de trabajo reproducible e interpretable para el fenotipado hiperespectral de hojas en muestras pequeñas

Planteamiento del problema
El fenotipado hiperespectral de hojas es una herramienta no destructiva crítica para estimar rasgos vegetales como el estado de la clorofila. Sin embargo, el campo enfrenta desafíos metodológicos significativos cuando se trata con conjuntos de datos de muestras pequeñas. Estos desafíos incluyen una fuerte redundancia espectral (colinealidad), el riesgo de sobreestimar el rendimiento del modelo debido a una validación de división aleatoria inapropiada (que ignora las estructuras de datos jerárquicas) y la dificultad de distinguir las señales fisiológicas genuinas de los artefactos impulsados por la redundancia en los análisis de importancia de características. Además, los flujos de trabajo existentes suelen carecer de robustez cuando se aplican a diferentes etapas de desarrollo, y muchas arquitecturas de aprendizaje profundo diseñadas para datos secuenciales (por ejemplo, Transformers, Mamba) pueden no alinearse bien con la naturaleza estructurada y no secuencial de los datos tabulares espectrales.

Metodología
Los autores presentan un flujo de trabajo reproducible utilizando hojas de avena (Avena sativa L.) para estimar el estado de la clorofila basado en SPAD. El estudio utilizó 200 hojas recolectadas en cinco etapas de crecimiento, lo que produjo 1,142 muestras retenidas a nivel de Región de Interés (ROI) (125 bandas espectrales, 400–1000 nm). El flujo de trabajo integra cuatro componentes principales:

1. Preprocesamiento Espectral: Un estudio comparativo evaluó diversas estrategias (SNV, MSC, derivadas, Min-Max). Se seleccionó la transformación de Variación de la Normal Estándar (SNV) como la óptima, eliminando eficazmente los cambios de línea base causados por el grosor de la hoja y las variaciones de iluminación.
2. Selección de Bandas en Dos Etapas: Para abordar la redundancia, se empleó una estrategia de dos etapas:
   • Etapa 1: La regresión Lasso (regularización L1) filtró las 125 bandas originales, reduciéndolas a 71.
   • Etapa 2: El Algoritmo de Proyecciones Sucesivas (SPA) refinó aún más el conjunto a 25 bandas, minimizando la colinealidad mientras preservaba la información predictiva. Esto logró una reducción de la dimensionalidad del 80%.
3. Desarrollo y Comparación de Modelos: El estudio evaluó tres paradigmas de modelado:
   • Aprendizaje Automático Convencional: Incluyendo SVR, GBR, XGBoost y PLSR.
   • Aprendizaje Profundo Tabular: Una arquitectura personalizada llamada TabM-v2, que presenta capas de atención de características, bloques MLP residuales con activación GELU y mejoras de entrenamiento como Mixup y Promedio de Pesos Estocásticos (SWA).
   • Arquitecturas Basadas en Secuencias: Se probaron modelos como FT-Transformer, 1D-CNN y varias variantes de Mamba para determinar si los sesgos inductivos secuenciales benefician la regresión espectral.
4. Validación Jerárquica y de Etapa Cruzada:
   • Validación Jerárquica: Para abordar la pseudorreplicación, los autores compararon la división aleatoria a nivel de ROI frente a la validación estricta agrupada por hoja (donde todas las ROI de una sola hoja se mantienen juntas ya sea en el conjunto de entrenamiento o de prueba) y el modelado agregado a nivel de hoja.
   • Validación de Etapa Cruzada: Se crearon cinco lotes de validación independientes a partir de distintas etapas de crecimiento (desde la plántula hasta la madurez) utilizando plantas diferentes, asegurando que no hubiera solapamiento biológico con el conjunto de entrenamiento. Esto evaluó los límites operativos bajo cambios de distribución del desarrollo.
5. Interpretabilidad: Se realizó un análisis multinivel que involucró la importancia de las características (Permutación, PLSR-VIP, Bootstrap Lasso), ablación a nivel de región y análisis de la ruta de correlación parcial para mapear las estructuras de dependencia entre las regiones espectrales.

Resultos Clave

• Rendimiento Predictivo: El modelo TabM-v2 alcanzó la mayor precisión intra-distribución ($R^2 = 0.8575 \pm 0.0021$), superando la línea base optimizada de SVR ($R^2 = 0.8490$) y a todas las arquitecturas basadas en secuencias (que funcionaron significativamente peor, por ejemplo, CNN-Mamba $R^2 \approx 0.70$).
• Reducción de Dimensionalidad: La selección de bandas en dos etapas (Lasso + SPA) redujo con éxito el conjunto de características a 25 bandas, reteniendo el 91.5% del rendimiento de SVR de espectro completo ($R^2 = 0.7770$). Se identificó un umbral de aproximadamente 30 bandas como suficiente para un $R^2 > 0.80$.
• Robustez de la Validación:
  • Jerárquica: La validación agrupada por hoja arrojó resultados comparables a la división aleatoria a nivel de ROI ($\Delta R^2 < 0.015$), lo que indica que la pseudorreplicación dentro de la hoja no infló sustancialmente las estimaciones de precisión en este conjunto de datos.
  • De Etapa Cruzada: El rendimiento varió significamente según la etapa de crecimiento. La etapa de "Espigado" mostró la mayor transferibilidad ($R^2 \approx 0.84$), mientras que la etapa de "Madurez" mostró un descenso brusco ($R^2 \approx 0.13$), definiendo el límite operativo del flujo de trabajo. La ruta compacta de Lasso+SPA+SVR demostró una robustez promedio de etapa cruzada ligeramente mejor que la de TabM-v2 de espectro completo.
• Interpretabilidad: El análisis identificó consistentemente las regiones Verde (490–580 nm), Borde Rojo (700–750 nm) y NIR como los contribuyentes dominantes. El análisis de correlación parcial reveló que la región del Borde Rojo actúa como un núcleo de dependencia central, mediando la relación entre la región Verde y el estado de la clorofila.

Significancia y Reivindicaciones
El artículo posiciona su contribución principal no como un algoritmo novedoso, sino como un flujo de trabajo metodológico que aborda las restricciones específicas de los estudios hiperespectrales de plantas con muestras pequeñas. Los autores afirman:

1. Superioridad del Flujo de Trabajo: En regímenes de muestras pequeñas, el diseño del flujo de trabajo (preprocesamiento, selección de características, estrategia de validación) es más crítico que la novedad del modelo predictivo por sí solo.
2. Idoneidad del Modelo: El aprendizaje profundo tabular (TabM-v2) está mejor alineado con los predictores espectrales estructurados que las arquitecturas orientadas a secuencias (Transformers/Mamba) para este régimen de datos específico.
3. Rigor de la Validación: El estudio proporciona un marco para distinguir entre la consistencia a nivel de ROI y la generalización a nivel de hoja, demostrando que la validación estricta agrupada por hoja es necesaria para descartar el sesgo de pseudorreplicación.
4. Límites Operativos: El flujo de trabajo define explícitamente sus límites operativos, señalando que, si bien ofrece una alta precisión dentro de la distribución de entrenamiento, la transferibilidad disminuye bajo cambios de desarrollo marcados (por ejemplo, senescencia).
5. Utilidad de Doble Salida: El estudio ofrece dos rutas complementarias: una ruta de espectro completo de alta precisión (TabM-v2) y una ruta compacta y robusta (Lasso+SPA+SVR) adecuada para su implementación en sistemas de bandas reducidas o con recursos limitados.

Los autores concluyen que, aunque el flujo de trabajo es reproducible y transferible en principio a otros cultivos, es necesaria una validación más amplia a través de genotipos, sitios, años y dispositivos para establecer una robustez universal.