🤖 machine learning

Spectroscopy Analysis with Machine Learning Regression for the Quantification of Carbon and Nitrogen Contents in Inceptisol and Oxisol Soil Types: Comparing Different Preprocessing and Validation methods as well as Feature Importance

Diese Studie zeigt, dass ein gestapeltes Ensemble-Maschinhenlernmodell, das durch Savitzky-Golay-Filterung und NIPALS-basierte Ausreißerentfernung optimiert wurde, Kohlenstoff und Stickstoff in Oxisol- und Inceptisol-Böden mittels tragbarer NIR-Spektroskopie effektiv quantifiziert und dabei eine hohe Vorhersagegenauigkeit (RPD > 2,0) für eine schnelle, nachhaltige landwirtschaftliche Entscheidungsfindung erreicht.

Ursprüngliche Autoren: Vinicius Herique Kieling, Guilherme Macedo Baggio, Felipe Augusto Bueno Rossi, Marco Antonio de Castro Barbosa, Dalcimar Casanova, Larissa Macedo dos Santos Tonial, Jefferson Tales Oliva

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vinicius Herique Kieling, Guilherme Macedo Baggio, Felipe Augusto Bueno Rossi, Marco Antonio de Castro Barbosa, Dalcimar Casanova, Larissa Macedo dos Santos Tonial, Jefferson Tales Oliva

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Landwirt, der herausfinden möchte, wie gesund sein Boden ist. Traditionell müsste man, um zu prüfen, ob der Boden genug Kohlenstoff (der Pflanzen nährt) und Stickstoff (der ihnen beim Wachsen hilft) enthält, eine Bodenprobe an ein Labor schicken. Dort würden Wissenschaftler sie mit starken, stinkenden Chemikalien mischen, aufkochen und Tage auf die Ergebnisse warten. Das ist langsam, teuer und ein wenig gefährlich.

In dieser Arbeit geht es um einen schnelleren, saubereren Weg, dies zu tun: die Verwendung einer „High-Tech-Taschenlampe“ namens Nahinfrarot (NIR)-Spektroskopie kombiniert mit Maschinellem Lernen (intelligenten Computerprogrammen).

Hier ist die Geschichte dessen, was sie getan haben, einfach erklärt:

1. Die „magische Taschenlampe“ vs. das „alte Labor“

Den traditionellen Labormethode als einen langsamen, manuellen Detektiv zu betrachten, der jeden einzelnen Hinweis einzeln durchforsten muss. Die NIR-Methode ist wie ein superschneller Scanner. Man leuchtet einfach mit einem speziellen Licht auf den Boden, und der Boden „singt“ basprimär ein einzigartiges Lied (ein Spektrum) zurück, basierend auf dem, was in ihm steckt.

Dieses „Lied“ ist jedoch unglaublich komplex. Es ist, als würde man einem Sinfonieorchester lauschen, bei dem jedes Instrument gleichzeitig spielt. Ein menschliches Ohr (oder ein menschliches Gehirn) kann daraus keinen Sinn schöpfen. Genau hier kommt das Maschinelle Lernen ins Spiel. Es ist der Dirigent, der dem Chaos lauscht und genau herausfindet, wie viel Kohlenstoff und Stickstoff in der Mischung enthalten sind.

2. Die zwei Arten von Boden (Die „Charaktere“)

Die Forscher testeten dies an zwei sehr unterschiedlichen Bodenarten, so als würde man ein neues Rezept an zwei verschiedenen Arten von Teig testen:

Oxisol: Denken Sie an diesen „alten, verwitterten“ Boden. Er ist in Brasilien weit verbreitet, sehr tiefgründig und existiert schon sehr lange. Er ist wie eine gut getragene Lederjacke.
Inceptisol: Dies ist der „junge, sich entwickelnde“ Boden. Er ist flacher und weniger ausgebildet, wie eine brandneue Jeans, die noch nicht gewaschen wurde.

3. Das Signal bereinigen (Das „Rausch“-Problem)

Wenn die Taschenlampe auf den Boden leuchtet, ist das Signal nicht perfekt. Manchmal gibt es ein wenig statisches Rauschen in der Maschine, oder die Bodenprobe hat eine seltsame Form, die das Licht verwirrt. Das ist so, als würde man versuchen, ein Lied zu hören, während jemand im Hintergrund laut klatscht.

Die Forscher versuchten viele Wege, um das Audio zu „reinigen“:

Glättung (Savitzky-Golay): Wie die Verwendung von Noise-Cancelling-Kopfhörern, um das statische Rauschen zu glätten.
Entfernen von Ausreißern: Wie das Stummschalten der Person, die zu laut klatscht.
Der Gewinner: Sie fanden heraus, dass die Kombination aus „Glättung“ und dem „Entfernen der lauten Klatscher“ das klarste Lied lieferte.

4. Den Computer trainieren (Der „Schüler“)

Sobald das Signal sauber war, mussten sie den Computer lehren, es zu lesen. Sie verwendeten eine Technik namens Stacking, was wie das Bilden einer Lerngruppe ist.

Anstatt nur eines Schülers (eines Algorithmus), der versucht, das Problem zu lösen, hatten sie ein Team: einen „Mathe-Genie“ (PLS), einen „Musterfinder“ (SVR) und einen „Regelfolger“ (Ridge).
Sie ließen jeden Schüler die Antwort erraten, und dann sah sich ein „Lehrer“ (ein Meta-Modell) all ihre Vermutungen an, um die endgültige, beste Entscheidung zu treffen.

5. Die Ergebnisse: Wer war besser?

Die Ergebnisse waren ein wenig wie ein Sportmatch zwischen zwei verschiedenen Teams:

Das Oxisol-Team (Der alte Boden): Sie waren die Champions! Das Computermodell war unglaublich genau. Es konnte den Kohlenstoff- und Stickstoffgehalt mit einem „Score“ (R²) von etwa 0,91 und 0,89 vorhersagen. Das bedeutet, der Computer war fast so gut wie die langsame, chemische Labormethode, brauchte aber nur Sekunden statt Tagen.
Das Inceptisol-Team (Der junge Boden): Sie haben einen „guten Job“ gemacht, aber nicht ganz so perfekt. Die Werte waren niedriger (etwa 0,77 bis 0,79). Die Forscher glauben, dass dies daran liegt, dass der junge Boden variabler und „unordentlicher“ ist, was es für den Computer schwieriger macht, ein klares Muster zu finden.

6. Die „Geheimzutat“ (Wellenlängen)

Die Forscher fragten auch: Welche Teile des Lichtspektrums waren tatsächlich für die Arbeit verantwortlich?
Sie fanden heraus, dass der „mittlere“ Teil des Lichtspektrums (um 1300–1400 Nanometer) am wichtigsten war. Dies ist der „Sweet Spot“, an dem der Kohlenstoff und der Stickstoff des Bodens am lautesten „singen“. Die Enden des Spektrums (nahe 1600–1700 nm) waren größtenteils nur Rauschen, wie das Statik-Geräusch eines Radios.

Das Fazit

Diese Arbeit beweist, dass man kein Labor voller Chemikalien und Tage des Wartens braucht, um zu wissen, ob der Boden gesund ist. Durch die Verwendung eines tragbaren Lichtscanners und intelligenter Computerprogramme kann man in Sekundenschnelle eine zuverlässige Antwort erhalten.

Für den „alten Boden“ (Oxisol): Es funktioniert fast perfekt.
Für den „jungen Boden“ (Inceptisol): Es funktioniert gut, benötigt aber etwas mehr Sorgfalt.

Die Studie legt nahe, dass Landwirte und Berater diese „magische Taschenlampe“ nutzen können, um schnellere Entscheidungen darüber zu treffen, wie sie ihre Pflanzen ernähren, wodurch sie Zeit und Geld sparen und gleichzeitig schonender mit der Umwelt umgehen.

Technische Zusammenfassung: Spektroskopische Analyse mittels Maschinellem Lernen zur Quantifizierung von Bodenkohlenstoff und -stickstoff

Problemstellung
Traditionelle Bodenanalysen zur Bestimmung des Kohlenstoff- (C) und Stickstoffgehalts (N), wie etwa die Walkley–Black- und Kjeldahl-Methoden, sind zeitaufwendig, arbeitsintensiv und erfordern gefährliche chemische Reagenzien. Während die Nahinfrarot-Spektroskopie (NIR) eine schnelle, zerstörungsfreie Alternative bietet, bringt der Übergang von Laborgeräten zu tragbaren Geräten Herausforderungen hinsichtlich der spektralen Auflösung, des Rauschens und der Notwendigkeit einer robusten Datenverarbeitung mit sich. Darüber hinaus kann die Bodenheterogenität – insbesondere zwischen verschiedenen Bodenklassen wie Oxisolen und Inceptisolen – die Generalisierung von Modellen erheblich beeinflussen. Diese Studie adressiert die Notwendigkeit, zuverlässige, auf NIR basierende prädiktive Modelle zur Quantifizierung von C und N für diese spezifischen brasilianischen Bodentypen zu entwickeln, indem sie die Vorverarbeitung und die Strategien des maschinellen Lernens (ML) optimiert, um Datenbeschränkungen und Bodenvariabilität zu überwinden.

Methodik
Die Studie verwendete 153 Bodenproben (72 Oxisole, 81 Inceptisole), die an verschiedenen Standorten gesammelt wurden. Die Spektraldaten wurden mit einem tragbaren MyNIR-Gerät (Bereich 900–1700 nm) erfasst, während die Referenzwerte für C und N mittels der Walkley–Black- bzw. Kjeldahl-Methode ermittelt wurden.

Der methodische Arbeitsablauf umfasste:

Datenvorverarbeitung: Eine systematische Evaluierung verschiedener Techniken wurde durchgeführt, einschließlich Multiplikativer Streukorrektur (MSC), Standard Normal Variate (SNV), logarithmischer Transformation, Savitzky-Golay (SG)-Filterung und adaptiver spektraler Beschneidung. Eine kritische Komponente war die Implementierung einer robusten Ausreißer-Entfernungsmethode, die den Nonlinear Iterative Partial Least Squares (NIPLS)-Algorithmus mit einer Huber-Loss-Funktion kombinierte, um Proben mit unverhältnismäßigen Vorhersagefehlern zu identifizieren.
Validierungsstrategien: Die Studie verglich die 10-fache Kreuzvalidierung, Leave-One-Out (LOO) und Holdout-Methoden unter Verwendung des Kennard-Stone-Algorithmus für die Train/Test-Aufteilung. Die optimale Aufteilung wurde als 70/30 für Oxisole und 75/25 für Inceptisole festgelegt, um die statistische Repräsentativität zu gewährleisten.
Modellierung: Mehrere Regressionsalgorithmen wurden getestet, darunter Partial Least Squares (PLS), Support Vector Regression (SVR), Ridge-Regression und Random Forest (RF). Zusätzlich wurden Stacking-Ensemble-Lernmodelle konstruiert, die PLS, SVR und Ridge als Basisschätzer mit Linear Regression als Meta-Modell verwendeten.
Merkmalsrelevanz (Feature Importance): Die Koeffizienten der Ridge-Regression wurden analysiert, um die einflussreichsten und am wenigsten einflussreichen Wellenlängen für die Vorhersage zu identifizieren.

Wichtigste Ergebnisse

Vorverarbeitung: Die Kombination aus dem Savitzky-Golay-Filter und der Huber-basierten Ausreißer-Entfernung lieferte über alle Szenarien hinweg die beste Leistung. Isolierte Techniken wie SNV und MSC erwiesen sich für diese spezifischen Bodentypen als unzureichend.
Leistung nach Bodentyp: Es wurde eine deutliche Leistungslücke zwischen den Bodentypen beobachtet. Oxisol-Modelle zeigten eine überlegene prädiktive Kapazität im Vergleich zu Inceptisol-Modellen.
- Oxisole: Das SVR-Modell mit Datennormierung (Pipeline 2) erreichte die besten Ergebnisse für beide Komponenten. Für Kohlenstoff erreichte es $R^2 = 0,91$ , RMSE = 0,36 und RPD = 3,39. Für Stickstoff wurden $R^2 = 0,89$ , RMSE = 0,03 und RPD = 3,01 erreicht. Diese Metriken deuten auf eine exzellente Vorhersagekapazität hin (RPD > 3,0).
- Inceptisole: Die Ergebnisse waren zufriedenstellend, aber weniger expressiv. Für Kohlenstoff lieferte das Stacking-Ensemble (Pipeline 6) die beste Leistung ( $R^2 = 0,79$ , RPD = 2,16). Für Stickstoff war PLS (Pipeline 4) optimal ( $R^2 = 0,77$ , RPD = 2,11). Die geringere Leistung wird auf den engeren Bereich und die geringere Variabilität der C- und N-Gehalte in den Inceptisol-Proben im Vergleich zu den Oxisolen zurückgeführt.
Modellverhalten: Random-Forest-Modelle zeigten konsistent Anzeichen von Overfitting, mit hohen Kalibrierungs- $R^2$ -Werten, aber signifikant niedrigeren Validierungswerten. Stacking-Ensembles lieferten konsistentere Ergebnisse zwischen Kalibrierungs- und Validierungssätzen.
Merkmalsanalyse: Die Ridge-Regressions-Analyse identifizierte den Spektralbereich von 1300–1400 nm als den kritischsten für die Vorhersage von sowohl C als auch N, was mit C–H- und N–H/O–H-Bindungsabsorptionen korreliert. Umgekehrt wurden die Regionen 1600–1700 nm und 950–1000 nm als am wenigsten einflussreich identifiziert.

Bedeutung und Beiträge
Die Arbeit legt dar, dass die tragbare NIR-Spektroskopie, gekoppelt mit spezifischer Vorverarbeitung (SG + Huber-Ausreißer-Entfernung) und geeigneten ML-Pipelines, ein praktikables Werkzeug zur schnellen Quantifizierung von Boden-C und -N ist. Die Studie hebt hervor, dass:

Bodenspezifität entscheidend ist: Die Modellleistung wird stark durch pedologische Eigenschaften und die natürliche Variabilität der Zielanalythen innerhalb der spezifischen Bodenklasse beeinflusst.
Optimierung tragbarer Daten: Trotz der geringeren Auflösung tragbarer Geräte im Vergleich zu Laborgeräten kann eine robuste Vorverarbeitung hochwertige prädiktive Modelle liefern (RPD > 2,0 für Inceptisole und > 3,0 für Oxisole).
Praktische Anwendung: Die entwickelte Technik unterstützt eine schnellere Entscheidungsfindung für landwirtschaftliche Erzeuger und Berater hinsichtlich organischer Substanz, Fruchtbarkeit und Nährstoffverfügbarkeit, was der Nachfrage nach nachhaltigen und effizienten Analysemethoden entspricht.
Spektrale Erkenntnis: Die Identifizierung des 1300–1400 nm Bereichs als primärer Treiber für die Vorhersage bietet einen Weg für die Entwicklung kostengünstigerer, gezielter Sensoren, indem potenziell weniger relevante Spektralbänder verworfen werden können.

Die Autoren kommen zu dem Schluss, dass der Ansatz zwar vielversprechend ist, die Variabilität der Bodentypen jedoch maßgeschneiderte Modellierungsstrategien erfordert; zukünftige Arbeiten sollten sich auf Algorithmen zur Variablenselektion konzentrieren, um diese Modelle weiter zu vereinfachen.