🤖 machine learning

Spectroscopy Analysis with Machine Learning Regression for the Quantification of Carbon and Nitrogen Contents in Inceptisol and Oxisol Soil Types: Comparing Different Preprocessing and Validation methods as well as Feature Importance

Cette étude démontre qu'un modèle d'apprentissage automatique d'ensemble empilé, optimisé par un filtrage de Savitzky-Golay et une suppression des valeurs aberrantes basée sur la méthode NIPALS, quantifie efficacement le carbone et l'azote dans des sols de type Oxisol et Inceptisol en utilisant la spectroscopie NIR portable, atteignant une grande précision prédictive (RPD > 2,0) pour une prise de décision agricole rapide et durable.

Auteurs originaux : Vinicius Herique Kieling, Guilherme Macedo Baggio, Felipe Augusto Bueno Rossi, Marco Antonio de Castro Barbosa, Dalcimar Casanova, Larissa Macedo dos Santos Tonial, Jefferson Tales Oliva

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vinicius Herique Kieling, Guilherme Macedo Baggio, Felipe Augusto Bueno Rossi, Marco Antonio de Castro Barbosa, Dalcimar Casanova, Larissa Macedo dos Santos Tonial, Jefferson Tales Oliva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un agriculteur essayant de comprendre si votre sol est en bonne santé. Traditionnellement, pour vérifier si votre sol contient assez de Carbone (qui nourrit les plantes) et d'Azote (qui les aide à croître), vous deviez envoyer un échantillon de terre à un laboratoire. Là-bas, des scientifiques le mélangeaient avec des produits chimiques forts et malodorants, le faisaient bouillir et attendaient des jours pour obtenir les résultats. C'était lent, coûteux et un peu dangereux.

Ce document traite d'une méthode plus rapide et plus propre pour faire cela : utiliser une « lampe de poche haute technologie » appelée spectroscopie proche infrarouge (NIR) combinée au Machine Learning (des programmes informatiques intelligents).

Voici l'histoire de ce qu'ils ont fait, expliquée simplement :

1. La « Lampe Magique » contre le « Vieux Laboratoire »

Considérez la méthode traditionnelle du laboratoire comme un détective lent et manuel qui doit fouiller chaque indice un par un. La méthode NIR est comme un scanner super rapide. Il suffit de projeter une lumière spéciale sur le sol, et le sol « chante » en retour une chanson unique (un spectre) basée sur ce qu'il contient.

Cependant, cette « chanson » est incroyablement complexe. C'est comme écouter un orchestre symphonique où chaque instrument joue en même temps. Une oreille humaine (ou un cerveau humain) ne peut pas en comprendre le sens. C'est là que le Machine Learning intervient. C'est le chef d'orchestre qui écoute le chaos et parvient à déterminer exactement la quantité de Carbone et d'Azote dans le mélange.

2. Les deux types de sols (Les « Personnages »)

Les chercheurs ont testé cela sur deux types de sols très différents, comme tester une nouvelle recette sur deux sortes de pâtes différentes :

Oxisol : Considérez cela comme le sol « vieux et érodé ». Il est courant au Brésil, très profond et existe depuis longtemps. C'est comme une veste en cuir bien usée.
Inceptisol : C'est le sol « jeune, en développement ». Il est moins profond et moins formé, comme une paire de jeans neuve qui n'a pas encore été lavée.

3. Nettoyer le signal (Le problème du « Bruit »)

Lorsque la lampe de poche éclaire le sol, le signal n'est pas parfait. Parfois, la machine génère un peu de statique, ou l'échantillon de sol a une forme étrange qui perturbe la lumière. C'est comme essayer d'écouter une chanson pendant que quelqu'un applaudit bruyamment en arrière-plan.

Les chercheurs ont essayé de nombreuses façons de « nettoyer » l'audio :

Lissage (Savitzky-Golay) : Comme utiliser un casque à réduction de bruit pour lisser la statique.
Suppression des valeurs aberrantes (Outliers) : Comme couper le son de la personne qui applaudit trop fort.
Le Gagnant : Ils ont découvert que combiner le « lissage » avec la « suppression des applaudissements trop forts » donnait la chanson la plus claire.

4. Entraîner l'ordinateur (L'« Étudiant »)

Une fois le signal nettoyé, ils ont dû apprendre à l'ordinateur comment le lire. Ils ont utilisé une technique appelée Stacking, qui est comme former un groupe d'étude.

Au lieu d'un seul étudiant (un algorithme) essayant de résoudre le problème, ils avaient une équipe : un « génie des maths » (PLS), un « chercheur de formes » (SVR) et un « respectueux des règles » (Ridge).
Ils ont laissé chaque étudiant deviner la réponse, puis un « professeur » (un méta-modèle) a examiné toutes leurs réponses pour prendre la décision finale et la meilleure.

5. Les Résultats : Qui a fait mieux ?

Les résultats étaient un peu comme un match de sport entre deux équipes différentes :

L'équipe Oxisol (Le vieux sol) : Ils ont été les champions ! Le modèle informatique était incroyablement précis. Il pouvait prédire les niveaux de Carbone et d'Azote avec un « score » (R²) d'environ 0,91 et 0,89. Cela signifie que l'ordinateur était presque aussi bon que la méthode lente du laboratoire chimique, mais qu'il a pris des secondes au lieu de jours.
L'équipe Inceptisol (Le jeune sol) : Ils ont fait un « bon travail », mais pas aussi parfaitement. Les scores étaient plus bas (autour de 0,77 à 0,79). Les chercheurs pensent que c'est parce que le jeune sol est plus variable et « désordonné », ce qui rend plus difficile pour l'ordinateur de trouver un motif clair.

6. Les « Ingrédients Secrets » (Longueurs d'onde)

Les chercheurs ont également demandé : Quelles parties du spectre lumineux faisaient réellement le travail ?
Ils ont découvert que la partie « centrale » du spectre lumineux (autour de 1300–1400 nanomètres) était la plus importante. C'est le « point idéal » où le Carbone et l'Azote du sol « chantent » le plus fort. Les extrémités du spectre (près de 1600–1700 nm) n'étaient principalement que du bruit, comme de la statique sur une radio.

L'essentiel

Ce document prouve que vous n'avez pas besoin d'un laboratoire rempli de produits chimiques et de jours d'attente pour savoir si votre sol est en bonne santé. En utilisant un scanner de lumière portable et des programmes informatiques intelligents, vous pouvez obtenir une réponse fiable en quelques secondes.

Pour le « Vieux Sol » (Oxisol) : Cela fonctionne presque parfaitement.
Pour le « Jeune Sol » (Inceptisol) : Cela fonctionne bien, bien qu'il nécessite un peu plus de soin.

L'étude suggère que les agriculteurs et les consultants peuvent utiliser cette « lampe magique » pour prendre des décisions plus rapides sur la façon de nourrir leurs cultures, économisant ainsi du temps et de l'argent tout en étant plus respectueux de l'environnement.

Résumé Technique : Analyse par Spectroscopie avec Apprentissage Automatique pour la Quantification du Carbone et de l'Azote du Sol

Énoncé du Problème
Les méthodes traditionnelles d'analyse des sols pour déterminer la teneur en Carbone (C) et en Azote (N), telles que Walkley–Black et Kjeldahl, sont chronophages, exigeantes en main-d'œuvre et impliquent des réactifs chimiques dangereux. Bien que la spectroscopie proche infrarouge (NIR) offre une alternative rapide et non destructive, la transition des appareils de paillasse vers des dispositifs portables introduit des défis concernant la résolution spectrale, le bruit et la nécessité de traitements de données robustes. De plus, l'hétérogénéité des sols — spécifiquement entre différentes classes de sols comme les Oxisols et les Inceptisols — peut impacter significativement la généralisation des modèles. Cette étude répond au besoin de développer des modèles prédictifs fiables basés sur le NIR et portables pour la quantification du C et du N dans ces types de sols brésiliens spécifiques, en optimisant le prétraitement et les stratégies d'apprentissage automatique (ML) pour surmonter les limitations de données et la variabilité des sols.

Méthodologie
L'étude a utilisé 153 échantillons de sol (72 Oxisols, 81 Inceptisols) collectés dans diverses localités. Les données spectrales ont été acquises à l'aide d'un dispositif portable MyNIR (plage 900–1700 nm), tandis que les valeurs de référence de C et de N ont été établies via les méthodes Walkley–Black et Kjeldahl, respectivement.

Le flux de travail méthodologique comprenait :

Prétraitement des Données : Une évaluation systématique de diverses techniques a été menée, incluant la Correction de Dispersion Multiplicative (MSC), la Correction de Variate Normale Standard (SNV), la transformation logarithmique, le filtrage de Savitzky-Golay (SG) et l'élagage spectral adaptatif. Un composant critique était la mise en œuvre d'une méthode robuste de suppression des valeurs aberrantes combinant l'algorithme de moindres carrés partiels itératifs non linéaires (NIPALS) avec une fonction de perte de Huber pour identifier les échantillons présentant des erreurs de prédiction disproportionnées.
Stratégies de Validation : L'étude a comparé la validation croisée à 10 plis (10-fold cross-validation), la méthode de "Leave-One-Out" (LOO) et les méthodes de Holdout en utilisant l'algorithme de Kennard-Stone pour la division entraînement/test. La répartition optimale déterminée était de 70/30 pour les Oxisols et 75/25 pour les Inceptisols afin de garantir la représentativité statistique.
Modélisation : Plusieurs algorithmes de régression ont été testés, notamment la Régression des Moindres Carrés Partiels (PLS), la Régression par Vecteurs de Support (SVR), la Régression Ridge et la Forêt Aléatoire (RF). De plus, des modèles d'Apprentissage par Ensemblage de Stacking ont été construits, utilisant la PLS, la SVR et la Régression Ridge comme estimateurs de base avec la Régression Linéaire comme méta-modèle.
Importance des Caractéristiques : Les coefficients de la Régression Ridge ont été analysés pour identifier les longueurs d'onde les plus et les moins influentes pour la prédiction.

Résultats Clés

Prétraitement : La combinaison du filtre Savitzky-Golay et de la méthode de suppression des valeurs aberrantes basée sur Huber a produit la meilleure performance dans tous les scénarios. Les techniques isolées comme la SNV et la MSC se sont révélées inadéquates pour ces types de sols spécifiques.
Performance par Type de Sol : Un écart de performance distinct a été observé entre les types de sols. Les modèles d'Oxisols ont démontré une capacité prédictive supérieure par rapport aux modèles d'Inceptisols.
- Oxisols : Le modèle SVR avec standardisation des données (Pipeline 2) a obtenu les meilleurs résultats pour les deux composants. Pour le Carbone, il a atteint $R^2 = 0,91$ , RMSE = 0,36 et RPD = 3,39. Pour l'Azote, il a atteint $R^2 = 0,89$ , RMSE = 0,03 et RPD = 3,01. Ces métriques indiquent une excellente capacité prédictive (RPD > 3,0).
- Inceptisols : Les résultats étaient satisfaisants mais moins expressifs. Pour le Carbone, l'Ensemble de Stacking (Pipeline 6) a été le plus performant ( $R^2 = 0,79$ , RPD = 2,16). Pour l'Azote, la PLS (Pipeline 4) était optimale ( $R^2 = 0,77$ , RPD = 2,11). La performance moindre est attribuée à la plage plus étroite et à la plus faible variabilité des teneurs en C et N dans les échantillons d'Inceptisols par rapport aux Oxisols.
Comportement des Modèles : Les modèles de Forêt Aléatoire ont systématiquement montré des signes de surapprentissage (overfitting), affichant des $R^2$ de calibration élevés mais des scores de validation nettement inférieurs. Les ensembles de Stacking ont fourni des résultats plus cohérents entre la calibration et la validation.
Analyse des Caractéristiques : L'analyse de la Régression Ridge a identifié la région spectrale 1300–1400 nm comme étant la plus critique pour la prédiction du C et du N, ce qui est corrélé aux absorptions des liaisons C–H et N–H/O–H. À l'inverse, les régions 1600–1700 nm et 950–1000 nm ont été identifiées comme les moins influentes.

Signification et Contributions
L'article affirme que la spectroscopie NIR portable, lorsqu'elle est couplée à un prétraitement spécifique (SG + suppression des valeurs aberrantes par Huber) et à des pipelines de ML appropriés, est un outil viable pour la quantification rapide du C et du N du sol. L'étude souligne que :

La Spécificité du Sol est Cruciale : La performance des modèles est fortement influencée par les caractéristiques pédologiques et la variabilité naturelle des analytes cibles au sein de la classe de sol spécifique.
Optimisation des Données Portables : Malgré la résolution plus faible des appareils portables par rapport aux modèles de laboratoire, un prétraitement robuste peut générer des modèles prédictifs de haute qualité (RPD > 2,0 pour les Inceptisols et > 3,0 pour les Oxisols).
Application Pratique : La technique développée soutient une prise de décision plus rapide pour les producteurs agricoles et les consultants concernant la teneur en matière organique, la fertilité et la disponibilité des nutriments, s'alignant sur la demande de méthodes analytiques durables et efficaces.
Aperçu Spectral : L'identification de la région 1300–1400 nm comme principal moteur de la prédiction offre une voie pour le développement de capteurs ciblés à moindre coût, en éliminant potentiellement les bandes spectrales moins pertinentes.

Les auteurs concluent que bien que l'approche soit prometteuse, la variabilité des types de sols nécessite des stratégies de modélisation sur mesure, et que les travaux futurs devraient se concentrer sur les algorithmes de sélection de variables pour simplifier davantage ces modèles.