Spectroscopy Analysis with Machine Learning Regression for the Quantification of Carbon and Nitrogen Contents in Inceptisol and Oxisol Soil Types: Comparing Different Preprocessing and Validation methods as well as Feature Importance

Resumen Técnico: Análisis Espectroscópico con Aprendizaje Automático para la Cuantificación de Carbono y Nitrógeno en el Suelo

Planteamiento del Problema
Los métodos tradicionales de análisis de suelo para determinar el contenido de Carbono (C) y Nitrógeno (N), como Walkley–Black y Kjeldahl, requieren mucho tiempo, mano de obra intensiva y emplean reactivos químicos peligrosos. Si bien la espectroscopia de Infrarrojo Cercano (NIR) ofrece una alternativa rápida y no destructiva, la transición de equipos de laboratorio a dispositivos portátiles introduce desafíos relacionados con la resolución espectral, el ruido y la necesidad de un procesamiento de datos robusto. Además, la heterogeneidad del suelo —específicamente entre diferentes clases de suelo como Oxisoles e Inceptisoles— puede impactar significamente la generalización de los modelos. Este estudio aborda la necesidad de desarrollar modelos predictivos fiables basados en NIR y portátiles para la cuantificación de C y N en estos tipos de suelos brasileños específicos, optimizando el preprocesamiento y las estrategias de aprendizaje automático (ML) para superar las limitaciones de datos y la variabilidad del suelo.

Metodología
El estudio utilizó 153 muestras de suelo (72 Oxisoles, 81 Inceptisoles) recolectadas de diversas ubicaciones. Los datos espectrales se adquirieron utilizando un dispositivo portátil MyNIR (rango de 900–1700 nm), mientras que los valores de referencia de C y N se establecieron mediante los métodos Walkley–Black y Kjeldahl, respectivamente.

El flujo de trabajo metodológico involucró:

1. Preprocesamiento de Datos: Se realizó una evaluación sistemática de diversas técnicas, incluyendo la Corrección de Dispersión Multiplicativa (MSC), la Variación de Desviación Estándar (SNV), la transformación Logarítmica, el filtrado de Savitzky-Golay (SG) y el recorte espectral adaptativo. Un componente crítico fue la implementación de un método robusto de eliminación de valores atípicos combinando el algoritmo de Mínimos Cuadrados Parciales Iterativos No Lineales (NIPALS) con una función de pérdida de Huber para identificar muestras con errores de predicción desproporcionados.
2. Estrategias de Validación: El estudio comparó la validación cruzada de 10 pliegues (10-fold cross-validation), la validación de dejar uno fuera (Leave-One-Out, LOO) y métodos de partición de Holdout utilizando el algoritmo Kennard-Stone para la división de entrenamiento/prueba. El split óptimo determinado fue de 70/30 para Oxisoles y 75/25 para Inceptisoles para asegurar la representatividad estadística.
3. Modelado: Se probaron varios algoritmos de regresión, incluyendo Regresión de Mínimos Cuadrados Parciales (PLS), Regresión de Vectores de Soporte (SVR), Regresión de Ridge y Random Forest (RF). Adicionalmente, se construyeron modelos de Aprendizaje de Ensamblaje por Apilamiento (Stacking Ensemble Learning), utilizando PLS, SVR y Ridge como estimadores base con Regresión Lineal como el metamodelo.
4. Importancia de las Características: Se analizaron los coeficientes de la Regresión de Ridge para identificar las longitudes de onda más y menos influyentes para la predicción.

Resultos Clave

• Preprocesamiento: La combinación del filtro Savitzky-Golay y el método de eliminación de valores atípicos basado en Huber produjo el mejor rendimiento en todos los escenarios. Se encontró que las técnicas aisladas como SNV y MSC resultaron inadecuadas para estos tipos de suelo específicos.
• Desempeño por Tipo de Suelo: Se observó una brecha de desempeño distintiva entre los tipos de suelo. Los modelos de Oxisoles demostraron una capacidad predictiva superior en comparación con los modelos de Inceptisoles.
  • Oxisoles: El modelo SVR con estandarización de datos (Pipeline 2) logró los mejores resultados para ambos componentes. Para el Carbono, alcanzó un $R^2 = 0.91$, RMSE = 0.36 y RPD = 3.39. Para el Nitrógeno, alcanzó un $R^2 = 0.89$, RMSE = 0.03 y RPD = 3.01. Estas métricas indican una excelente capacidad predictiva (RPD > 3.0).
  • Inceptisoles: Los resultados fueron satisfactorios pero menos expresivos. Para el Carbono, el Ensamblaje por Apilamiento (Pipeline 6) funcionó mejor ($R^2 = 0.79$, RPD = 2.16). Para el Nitrógeno, PLS (Pipeline 4) fue el óptimo ($R^2 = 0.77$, RPD = 2.11). El menor desempeño se atribuye al rango más estrecho y a la menor variabilidad de los contenidos de C y N en las muestras de Inceptisoles en comparación con los Oxisoles.
• Comportamiento del Modelo: Los modelos de Random Forest exhibieron consistentemente signos de sobreajuste (overfitting), mostrando un $R^2$ de calibración alto pero puntuaciones de validación significativamente menores. Los ensamblajes por apilamiento proporcionaron resultados más consistentes entre los conjuntos de calibración y validación.
• Análisis de Características: El análisis de la Regresión de Ridge identificó la región espectral de 1300–1400 nm como la más crítica para la predicción de C y N, correlacionándose con las absorciones de los enlaces C–H y N–H/O–H. Por el contrario, las regiones de 1600–1700 nm y 950–1000 nm fueron identificadas como las menos influyentes.

Significancia y Contribuciones
El artículo sostiene que la espectroscopia NIR portátil, cuando se combina con un preprocesamiento específico (SG + eliminación de valores atípicos de Huber) y pipelines de ML apropiados, es una herramienta viable para la cuantificación rápida de C y N en el suelo. El estudio destaca que:

1. La Especificidad del Suelo es Crucial: El desempeño del modelo está fuertemente influenciado por las características pedológicas y la variabilidad natural de los analitos objetivo dentro de la clase de suelo específica.
2. Optimización de Datos Portátiles: A pesar de la menor resolución de los dispositivos portátiles en comparación con los modelos de laboratorio, un preprocesamiento robusto puede generar modelos predictivos de alta calidad (RPD > 2.0 para Inceptisoles y > 3.0 para Oxisoles).
3. Aplicación Práctica: La técnica desarrollada respalda la toma de decisiones más rápida para productores agrícolas y consultores respecto al contenido de materia orgánica, fertilidad y disponibilidad de nutrientes, alineándose con la demanda de métodos analíticos sostenibles y eficientes.
4. Perspectiva Espectral: La identificación de la región de 1300–1400 nm como el principal motor de la predicción ofrece una vía para desarrollar sensores más económicos y focalizados, al poder descartar potencialmente las bandas espectrales menos relevantes.

Los autores concluyen que, si bien el enfoque es prometedor, la variabilidad en los tipos de suelo requiere estrategias de modelado personalizadas, y el trabajo futuro debería centrarse en algoritmos de selección de variables para simplificar aún más estos modelos.