🤖 machine learning

Spectroscopy Analysis with Machine Learning Regression for the Quantification of Carbon and Nitrogen Contents in Inceptisol and Oxisol Soil Types: Comparing Different Preprocessing and Validation methods as well as Feature Importance

Este estudo demonstra que um modelo de aprendizado de máquina de ensemble empilhado, otimizado com filtragem de Savitzky-Golay e remoção de outliers baseada em NIPALS, quantifica efetivamente o carbono e o nitrogênio em solos Oxisol e Inceptisol usando espectroscopia NIR portátil, alcançando alta precisão preditiva (RPD > 2,0) para a tomada de decisão agrícola rápida e sustentável.

Autores originais: Vinicius Herique Kieling, Guilherme Macedo Baggio, Felipe Augusto Bueno Rossi, Marco Antonio de Castro Barbosa, Dalcimar Casanova, Larissa Macedo dos Santos Tonial, Jefferson Tales Oliva

Publicado 2026-07-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vinicius Herique Kieling, Guilherme Macedo Baggio, Felipe Augusto Bueno Rossi, Marco Antonio de Castro Barbosa, Dalcimar Casanova, Larissa Macedo dos Santos Tonial, Jefferson Tales Oliva

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um agricultor tentando descobrir se o seu solo está saudável. Tradicionalmente, para verificar se o seu solo tem Carbono suficiente (que alimenta as plantas) e Nitrogênio (que as ajuda a crescer), você teria que enviar uma amostra de terra para um laboratório. Lá, cientistas a misturariam com produtos químicos fortes e com cheiro forte, ferveriam e esperariam dias pelos resultados. É lento, caro e um pouco perigoso.

Este artigo é sobre uma maneira mais rápida e limpa de fazer isso: usando uma "lanterna de alta tecnologia" chamada espectroscopia de Infravermelho Próximo (NIR) combinada com Aprendizado de Máquina (programas de computador inteligentes).

Aqui está a história do que eles fizeram, explicada de forma simples:

1. A "Lanterna Mágica" vs. O "Velho Laboratório"

Pense no método tradicional de laboratório como um detetive lento e manual que precisa investigar cada pista, uma por uma. O método NIR é como um scanner super-rápido. Você apenas projeta uma luz especial no solo, e o solo "canta" de volta uma música única (um espectro) baseada no que há dentro dele.

No entanto, essa "música" é incrivelmente complexa. É como ouvir uma orquestra sinfônica onde todos os instrumentos estão tocando ao mesmo tempo. Um ouvido humano (ou um cérebro humano) não consegue entender isso. É aí que entra o Aprendizado de Máquina. Ele é o maestro que ouve o caos e descobre exatamente quanto de Carbono e Nitrogênio há na mistura.

2. Os Dois Tipos de Solo (Os "Personagens")

Os pesquisadores testaram isso em dois tipos de solo muito diferentes, como testar uma nova receita em dois tipos diferentes de massa:

Oxisol: Pense nisso como o solo "velho e desgastado". É comum no Brasil, muito profundo e existe há muito tempo. É como uma jaqueta de couro bem usada.
Inceptisol: Este é o solo "jovem e em desenvolvimento". É mais raso e menos formado, como um par de jeans novinho que ainda não foi lavado.

3. Limpando o Sinal (O Problema do "Ruído")

Quando a lanterna brilha no solo, o sinal não é perfeito. Às vezes, a máquina apresenta um pouco de estática, ou a amostra de solo tem um formato estranho que confunde a luz. Isso é como tentar ouvir uma música enquanto alguém bate palmas alto ao fundo.

Os pesquisadores tentaram muitas maneiras de "limpar o áudio":

Suavização (Savitzky-Golay): Como usar fones de ouvido com cancelamento de ruído para suavizar a estática.
Remoção de Outliers: Como silenciar a pessoa que está batendo palmas alto demais.
O Vencedor: Eles descobriram que combinar a "suavização" com a "remoção dos bater de palmas barulhentos" proporcionou a música mais clara.

4. Treinando o Computador (O "Estudante")

Uma vez que o sinal estava limpo, eles tiveram que ensinar o computador a lê-lo. Eles usaram uma técnica chamada Stacking, que é como formar um grupo de estudos.

Em vez de apenas um estudante (um algoritmo) tentando resolver o problema, eles tinham uma equipe: um "gênio da matemática" (PLS), um "buscador de padrões" (SVR) e um "seguidor de regras" (Ridge).
Eles deixaram cada estudante dar um palpite sobre a resposta, e então um "professor" (um meta-modelo) olhou para todos os palpites para tomar a decisão final e melhor.

5. Os Resultados: Quem se Saiu Melhor?

Os resultados foram um pouco como uma partida esportiva entre dois times diferentes:

O Time do Oxisol (O Solo Velho): Eles foram os campeões! O modelo de computador foi incrivelmente preciso. Ele conseguiu prever os níveis de Carbono e Nitrogênio com uma "pontuação" (R²) de cerca de 0,91 e 0,89. Isso significa que o computador foi quase tão bom quanto o método lento de laboratório químico, mas levou segundos em vez de dias.
O Time do Inceptisol (O Solo Jovem): Eles fizeram um "bom trabalho", mas não tão perfeitamente. As pontuações foram mais baixas (cerca de 0,77 a 0,79). Os pesquisadores acreditam que isso se deve ao fato de o solo jovem ser mais variável e "bagunçado", tornando mais difícil para o computador encontrar um padrão claro.

6. Os "Ingredientes Secretos" (Comprimentos de Onda)

Os pesquisadores também perguntaram: Quais partes do espectro de luz estavam realmente fazendo o trabalho?
Eles descobriram que a parte "central" do espectro de luz (por volta de 1300–1400 nanômetros) era a mais importante. Este é o "ponto ideal" onde o Carbono e o Nitrogênio do solo "cantam" mais alto. As extremidades do espectro (perto de 1600–1700 nm) eram apenas ruído, como estática em um rádio.

A Conclusão

Este artigo prova que você não precisa de um laboratório cheio de produtos químicos e dias de espera para saber se o seu solo está saudável. Ao usar um scanner de luz portátil e programas de computador inteligentes, você pode obter uma resposta confiável em segundos.

Para o "Solo Velho" (Oxisol): Funciona quase perfeitamente.
Para o "Solo Jovem" (Inceptisol): Funciona bem, embora precise de um pouco mais de cuidado.

O estudo sugere que agricultores e consultores podem usar esta "lanterna mágica" para tomar decisões mais rápidas sobre como alimentar suas plantações, economizando tempo e dinheiro, além de serem mais gentis com o meio ambiente.

Resumo Técnico: Análise Espectroscópica com Aprendizado de Máquina para Quantificação de Carbono e Nitrogênio no Solo

Definição do Problema
Os métodos tradicionais de análise de solo para determinação do conteúdo de Carbono (C) e Nitrogênio (N), como Walkley–Black e Kjeldahl, são demorados, demandam muita mão de obra e envolvem reagentes químicos perigosos. Embora a espectroscopia de Infravermelho Próximo (NIR) ofereça uma alternativa rápida e não destrutiva, a transição de equipamentos de bancada para dispositivos portáteis introduz desafios relacionados à resolução espectral, ruído e à necessidade de um processamento de dados robusto. Além disso, a heterogeneidade do solo — especificamente entre diferentes classes de solos, como Oxissolos e Inceptisóis — pode impactar significativamente a generalização dos modelos. Este estudo aborda a necessidade de desenvolver modelos preditivos confiáveis baseados em NIR portátil para a quantificação de C e N nesses tipos específicos de solos brasileiros, otimizando o pré-processamento e as estratégias de aprendizado de máquina (ML) para superar as limitações de dados e a variabilidade do solo.

Metodologia
O estudo utilizou 153 amostras de solo (72 Oxissolos, 81 Inceptisóis) coletadas de vários locais. Os dados espectrais foram adquiridos utilizando um dispositivo MyNIR portátil (faixa de 900–1700 nm), enquanto os valores de referência de C e N foram estabelecidos via métodos Walkley–Black e Kjeldahl, respectivamente.

O fluxo de trabalho metodológico envolveu:

Pré-processamento de Dados: Uma avaliação sistemática de várias técnicas foi conduzida, incluindo Correção de Dispersão Multiplicativa (MSC), Variável Normalizada Padrão (SNV), transformação Logarítmica, filtragem de Savitzky-Golay (SG) e poda espectral adaptativa. Um componente crítico foi a implementação de um método robusto de remoção de outliers combinando o algoritmo de Mínimos Quadrados Parciais Iterativos Não Lineares (NIPALS) com uma função de perda de Huber para identificar amostras com erros de predição desproporcionais.
Estratégias de Validação: O estudo comparou validação cruzada de 10 dobras (10-fold cross-validation), Deixar Um Fora (Leave-One-Out - LOO) e métodos de Holdout usando o algoritmo Kennard-Stone para a divisão entre treino e teste. A divisão ideal determinada foi de 70/30 para Oxissolos e 75/25 para Inceptisóis para garantir a representatividade estatística.
Modelagem: Diversos algoritmos de regressão foram testados, incluindo Regressão de Mínimos Quadrados Parciais (PLS), Regressão de Vetores de Suporte (SVR), Regressão de Ridge e Floresta Aleatória (RF). Adicionalmente, modelos de Aprendizado de Conjunto por Empilhamento (Stacking Ensemble Learning) foram construídos, utilizando PLS, SVR e Ridge como estimadores base com Regressão Linear como o meta-modelo.
Importância das Características: Os coeficientes da Regressão de Ridge foram analisados para identificar os comprimentos de onda mais e menos influentes para a predição.

Principais Resultados

Pré-processamento: A combinação do filtro Savitzky-Golay e o método de remoção de outliers baseado em Huber apresentou o melhor desempenho em todos os cenários. Técnicas isoladas como SNV e MSC mostraram-se inadequadas para estes tipos específicos de solo.
Desempenho por Tipo de Solo: Observou-se uma distinção clara de desempenho entre os tipos de solo. Os modelos de Oxissolos demonstraram capacidade preditiva superior em comparação aos modelos de Inceptisóis.
- Oxissolos: O modelo SVR com padronização de dados (Pipeline 2) alcançou os melhores resultados para ambos os componentes. Para o Carbono, atingiu $R^2 = 0,91$ , RMSE = 0,36 e RPD = 3,39. Para o Nitrogênio, alcançou $R^2 = 0,89$ , RMSE = 0,03 e RPD = 3,01. Estas métricas indicam excelente capacidade preditiva (RPD > 3,0).
- Inceptisóis: Os resultados foram satisfatórios, porém menos expressivos. Para o Carbono, o Stacking Ensemble (Pipeline 6) teve o melhor desempenho ( $R^2 = 0,79$ , RPD = 2,16). Para o Nitrogênio, o PLS (Pipeline 4) foi o ideal ( $R^2 = 0,77$ , RPD = 2,11). O menor desempenho é atribuído à faixa mais estreita e ao menor conteúdo de variabilidade de C e N nas amostras de Inceptisóis em comparação aos Oxissolos.
Comportamento dos Modelos: Os modelos de Floresta Aleatória exibiram consistentemente sinais de overfitting, mostrando alto $R^2$ de calibração, mas escores de validação significativamente menores. Os modelos de stacking ensemble forneceram resultados mais consistentes entre os conjuntos de calibração e validação.
Análise de Características: A análise de Regressão de Ridge identificou a região espectral de 1300–1400 nm como a mais crítica para a predição de C e N, correlacionando-se com as absorções de ligações C–H e N–H/O–H. Por outro vez, as regiões de 1600–1700 nm e 950–1000 nm foram identificadas como as menos influentes.

Significância e Contribuições
O artigo afirma que a espectroscopia NIR portátil, quando acoplada a um pré-processamento específico (SG + remoção de outliers de Huber) e pipelines de ML apropriados, é uma ferramenta viável para a quantificação rápida de C e N no solo. O estudo destaca que:

A Especificidade do Solo é Crucial: O desempenho do modelo é fortemente influenciado pelas características pedológicas e pela variabilidade natural dos analitos alvo dentro da classe específica de solo.
Otimização de Dados Portáteis: Apesar da menor resolução dos dispositivos portáteis em comparação aos modelos de bancada, o pré-processamento robusto pode gerar modelos preditivos de alta qualidade (RPD > 2,0 para Inceptisóis e > 3,0 para Oxissolos).
Aplicação Prática: A técnica desenvolvida apoia a tomada de decisão mais rápida para produtores agrícolas e consultores em relação ao conteúdo de matéria orgânica, fertilidade e disponibilidade de nutrientes, alinhando-se à demanda por métodos analíticos sustentáveis e eficientes.
Visão Espectral: A identificação da região de 1300–1400 nm como o principal motor para a predição oferece um caminho para o desenvolvimento de sensores direcionados de menor custo, potencialmente descartando bandas espectrais menos relevantes.

Os autores concluem que, embora a abordagem seja promissora, a variabilidade nos tipos de solo exige estratégias de modelagem personalizadas, e trabalhos futuros devem focar em algoritmos de seleção de variáveis para simplificar ainda mais esses modelos.