🤖 machine learning

Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

Este estudo propõe um modelo indireto probabilístico robusto para prever a resistência ao cisalhamento não drenada, integrando técnicas de imputação múltipla para lidar com dados ausentes a uma rede neural aprimorada por atenção de múltiplas cabeças, demonstrando precisão e quantificação de incerteza superiores em comparação aos métodos convencionais.

Autores originais: Haibin Xiong, Shaoheng Dai, Peng Lan, Xuzhen He, Chenxi Tong, Sheng Zhang, Daichao Sheng

Publicado 2026-08-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haibin Xiong, Shaoheng Dai, Peng Lan, Xuzhen He, Chenxi Tong, Sheng Zhang, Daichao Sheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar construir um arranha-céu em um pedaço de terra que você nunca viu antes. Você não pode simplesmente adivinhar; você precisa saber quão forte é o solo, ou toda a estrutura pode afundar ou deslizar. Este é o trabalho dos engenheiros geotécnicos, que estudam a "resistência ao cisalhamento não drenada" do solo — basicamente, quanto de força a terra pode suportar antes de deslizar quando a água está presa dentro dela. É um pouco como tentar descobrir quanto peso uma esponja molhada pode suportar antes de ser esmagada até ficar plana. O problema é que obter essa informação é caótico. Às vezes, você não consegue testar o solo diretamente porque ele é muito profundo ou caro demais, então os engenheiros têm que adivinhar com base em outras pistas, como a viscosidade do solo ou como um cone o penetra. Mas esses palpites são frequentemente cheios de lacunas, literalmente e figurativamente. Os dados estão faltando, os números variam drasticamente de um ponto para outro e as formas antigas de adivinhar são muitas vezes incertas demais para serem seguras.

Este artigo é como uma equipe de detetives tentando resolver o caso dos dados de solo desaparecidos. Eles pegaram um arquivo massivo e global de "pessoas desaparecidas" para solo argiloso chamado banco de dados CLAY/10/7490. Este arquivo contém informações de 30 países diferentes, mas é um desastre: apenas cerca de 34% das informações estão realmente presentes. O resto está em branco, como um quebra-cabeça com a maioria das peças arrancadas. Os pesquisadores queriam ver se poderiam usar truques computacionais avançados para preencher essas lacunas e, então, usar esses quebra-cabeças preenchidos para prever a resistência do solo de forma mais precisa do que nunca. Eles testaram três maneiras diferentes de adivinhar as peças que faltavam e construíram dois novos tipos de "super-previsores" para ver qual combinação funcionava melhor.

A Grande Busca pela Peça Faltante

A equipe começou analisando seu gigantesco banco de dados, que continha 7.490 linhas de dados sobre argila. Mas aqui está o detalhe: a maioria das linhas estava incompleta. Algumas colunas, como os "limites de Atterberg" (que medem o quão pegajosa e plástica é a argila), tinham cerca de 40% de dados ausentes, mas as colunas sobre medições de "CPTU" (que vêm de empurrar um cone no solo) tinham mais de 90% de dados ausentes! Era como tentar resolver um crime onde a testemunha esqueceu 90% do que viu.

Primeiro, eles tentaram um método simples e tradicional chamado modelo Multivariado Normal (MN). Pense nisso como um professor que sabe que alunos bons em matemática geralmente também são bons em ciências. Se um aluno está com uma nota de ciências faltando, o professor a estima com base na nota de matemática. Os pesquisadores usaram essa lógica para preencher os dados ausentes do solo. Eles descobriram que, embora esse método mantivesse a "forma" geral dos dados correta, ele não tornava as previsões finais muito melhores por si só. Era como preencher o quebra-cabeça com peças que pareciam certas, mas não se encaixavam perfeitamente na imagem.

Em seguida, tentaram dois métodos mais sofisticados: MICE e Miss Forest (MF).

MICE é como um grupo de detetives que se revezam para adivinhar a informação que falta. Um detetive adivinha um valor com base nas pistas, depois o próximo detetive usa esse palpite para fazer sua própria estimativa, e eles continuam indo e voltando até que todos concordem.
Miss Forest é como uma equipe de detetives de IA superinteligentes que usam uma "floresta" de árvores de decisão para descobrir as peças que faltam. Eles procuram padrões complexos que a matemática simples pode deixar passar.

Quando compararam esses métodos, descobriram que o MICE era o melhor em manter os dados parecidos com o solo real do mundo físico. Ele não criava valores discrepantes estranhos ou padrões falsos e era o mais fiel à distribuição estatística original. O Miss Forest era aceitável, mas às vezes era um pouco criativo demais em seus palpites. O método MN simples foi o menos preciso na preservação da verdadeira natureza dos dados, produzindo frequentemente resultados que eram "excessivamente concentrados" em comparação com a realidade desordenada original.

Os Super-Previsores

Depois de terem seus bancos de dados "preenchidos", os pesquisadores construíram dois novos tipos de modelos de previsão para ver se consegiam adivinhar a resistência do solo melhor do que os métodos antigos.

O PXGB (Gradient Boosting Probabilístico Extremo): Imagine uma equipe de 100 especialistas votando na resposta. Se um especialista estiver errado, os outros o corrigem. Este modelo é ótimo para lidar com dados desordenados, mas ainda é apenas uma máquina de "votação" padrão.
O MHA-PNN (Rede Neural Probabilística de Atenção Multi-Cabeça): Este é o astro do show. Pense neste modelo como um detetive com um superpoder: a Atenção. Assim como você pode focar em um detalhe específico em uma sala lotada enquanto ignora o ruído, este modelo possui "cabeças" que podem focar nas pistas mais importantes dos dados do solo e ignorar as inúteis. Ele não apenas olha para os dados; ele entende as relações entre as diferentes pistas.

A Grande Revelação

Os resultados foram claros. Quando os pesquisadores testaram esses modelos, o modelo MHA-PNN esmagou a concorrência, mas a escolha de como preencher os dados ausentes importava de uma forma específica.

Precisão: O modelo MHA-PNN cometeu erros cerca de 72% menores do que o modelo PXGB ao utilizar os dados preenchidos da melhor forma.
Confiança: Ele não apenas chutou um número; ele forneceu uma faixa de valores prováveis (incerteza). Os palpites do MHA-PNN foram muito mais estreitos e confiáveis. Seu "intervalo de confiança" (a faixa de respostas possíveis) foi cerca de 96% mais estreito do que o do PXGB, o que significa que ele era muito mais seguro de sua resposta sem estar errado.
O Problema da "Falta": Eles também descobriram algo importante: se você tiver poucas pistas (menos de quatro partes de dados), mesmo o melhor modelo terá dificuldades. É como tentar adivinhar o enredo de um filme com apenas uma cena. Mas, assim que tinham pistas suficientes, o MHA-PNN brilhava.

Aqui está a reviravolta: Embora o MICE tenha sido o vencedor claro na preservação da forma estatística dos dados (fazendo o quebra-cabeça preenchido parecer mais com o real), ele não era o parceiro perfeito para a previsão final. Surpreendentemente, o modelo MHA-PNN alcançou seu melhor desempenho absoluto quando pareado com o método de imputação MN. Os pesquisadores descobriram que o MN oferecia o melhor equilíbrio para este modelo avançado específico. Embora o MN não preservasse a distribuição dos dados tão perfeitamente quanto o MICE, ele forneceu a base mais precisa para o MHA-PNN construir suas previsões. Portanto, a "melhor" combinação não era sobre escolher o melhor imputador individual ou o melhor modelo individual, mas sim encontrar o par específico onde o modelo de "super-atenção" avançado pudesse realizar seu melhor trabalho.

Por Que Isso Importa

Este estudo sugere que podemos construir modelos muito mais seguros e confiáveis para prever a resistência do solo, mesmo quando nossos dados estão incompletos e desordenados. Ao usar essas técnicas de "atenção" avançadas e encontrar o parceiro certo para o preenchimento de dados, os engenheiros podem ser capazes de tomar decisões melhores ao construir fundações, túneis e encostas sem a necessidade de testar cada centímetro de solo. No entanto, os autores ressaltam que isso não é uma varinha mágica que substitui os testes do mundo real. É uma ferramenta poderosa para obter um bom primeiro palpite, especialmente quando os dados são escassos, mas para os projetos mais críticos, você ainda precisa verificar o solo por conta própria.

Em suma, o artigo mostra que, ao ensinar os computadores a prestar atenção às pistas certas e a preencher as lacunas de forma inteligente — mesmo que o método de preenchimento não seja estatisticamente perfeito por si só — podemos transformar um quebra-cabeça bagunçado e incompleto em uma imagem clara do chão sob nossos pés.

Resumo Técnico: Modelos Indiretos Probabilísticos para Resistência ao Cisalhamento Não Drenada

Definição do Problema
A previsão precisa da resistência ao cisalhamento não drenada ( $s_u$ ) é fundamental para o projeto geotécnico, particularmente em cenários de carregamento transiente, como eventos sísmicos, tunelamento e estabilidade de taludes. No entanto, os métodos empíricos tradicionais são prejudicados por incertezas significativas, incluindo a variabilidade inerente do solo, incerteza estatística devido a dados limitados, erros de medição e incertezas de transformação. Embora os modelos indiretos baseados em dados ofereçam uma alternativa computacionalmente eficiente aos métodos de Cadeia de Markov Monte Carlo (MCMC) Bayesiano, seu desenvolvimento é frequentemente limitado pela escassez de dados específicos do local. Além disso, as bases de dados globais existentes, como a base CLAY/10/7490 (contendo 7.490 linhas de 251 estudos), sofrem com altas taxas de dados ausentes (taxa de completude de ~34,1%) e variabilidade substancial. O desafio reside em utilizar efetivamente esses conjuntos de dados incompletos e altamente variáveis para construir modelos probabilísticos robustos sem descartar informações valiosas ou introduzir viés através de um tratamento de dados simplista.

Metodologia
O estudo propõe um framework integrado que aborda a incompletude dos dados e a incerteza do modelo através de uma abordagem de três estágios:

Estratégias de Imputação de Dados:
Os autores avaliam três métodos distintos de imputação para lidar com valores ausentes na base de dados CLAY/10/7490 (especificamente para limites de Atterberg e parâmetros CPTU, excluindo a variável alvo $s_u$ ):

Normal Multivariada (MN): Um método estatístico de base que assume uma distribuição normal multivariada após a transformação das variáveis usando o sistema Johnson (especificamente a família SU) e funções de transformação específicas (logarítmica, sigmoide inversa, hiperbólica inversa).
Imputação Múltipla por Equações Encadeadas (MICE): Uma abordagem estatística que modela iterativamente os valores ausentes de cada variável com base em sua própria distribuição, sem assumir normalidade multivariada.
Miss Forest (MF): Uma abordagem baseada em aprendizado de máquina utilizando Random Forests para capturar relações não lineares entre as variáveis.
A eficácia desses métodos foi primeiro avaliada comparando as distribuições estatísticas (histogramas, testes de Kolmogorov-Smirnov) dos conjuntos de dados imputados contra os dados originais.

Frameworks de Modelagem Probabilística:
Dois modelos indiretos probabilísticos foram desenvolvidos e treinados nos conjuntos de dados imputados (e no conjunto de dados incompleto original para comparação):

Extreme Gradient Boosting Probabilístico (PXGB): Uma extensão do XGBoost que assume que a variável alvo segue uma distribuição normal. Utiliza a Log-Verossimilhança Negativa (NLL) como função de perda para permitir a quantificação da incerteza.
Rede Neural Probabilística com Atenção de Múltiplas Cabeças (MHA-PNN): Uma arquitetura inovadora que integra um mecanismo de Atenção de Múltiplas Cabeças (MHA) em uma Rede Neural Artificial (ANN) padrão. A camada MHA permite que o modelo foque em características de entrada relevantes e extraia informações de múltiplas perspectivas, abordando o desafio de dados de entrada limitados. A camada de saída prevê a média e o desvio padrão da distribuição alvo, também otimizada via NLL.

Protocolo de Avaliação:
Os modelos foram avaliados utilizando validação cruzada de 5 dobras estratificada. O desempenho foi medido usando:

Métricas de Acurácia: Erro Quadrático Médio (RMSE), Coeficiente de Determinação ( $R^2$ ) e Erro Médio Percentual Absoluto (MAPE).
Métricas de Incerteza: Largura do Intervalo Condicional ( $w_{CI}$ ) e Taxa de Cobertura (CR) para intervalos de confiança de 95%.
O estudo excluiu especificamente casos com três ou menos características de entrada, pois análises preliminares mostraram que estes geravam previsões não confiáveis, independentemente do método utilizado.

Principais Contribuições

Comparação Sistemática de Imputação: O artigo fornece uma análise comparativa de técnicas de imputação MN, MICE e MF em uma base de dados geotécnica de grande escala e altamente incompleta. Demonstra que, embora o MICE preserve melhor a distribuição original dos dados (menores estatísticas do teste K-S), a escolha do método de imputação impacta significativamente o desempenho dos modelos subsequentes.
Arquitetura MHA-PNN Inovadora: Os autores introduzem o modelo MHA-PNN, que utiliza mecanismos de atenção para aprimorar a extração de características a partir de dados geotécnicos esparsos e incompletos.
Integração de Framework Probabilístico: O estudo vai além da estimativa pontual ao desenvolver modelos que produzem distribuições de probabilidade completas, quantificando explicitamente a incerteza juntamente com as previsões.
Benchmarking: O trabalho estabelece um benchmark rigoroso comparando a predição estatística tradicional (baseada em MN), aprendizado de conjunto (PXGB) e aprendizado profundo (MHA-PNN) sob diferentes condições de completude de dados.

Resultos

Impacto da Imputação: A imputação geralmente melhorou o desempenho do modelo em comparação com o treinamento nos dados incompletos originais. O método MICE produziu os conjuntos de dados imputados estatisticamente mais consistentes, enquanto o método MF introduziu alguns outliers.
Desempenho do Modelo:
- O modelo PXGB mostrou melhoria significativa quando treinado com dados imputados (ex: conjunto de dados MICE) em comparação com os dados originais, reduzindo o MAPE em ~42% e o RMSE em ~35%.
- O modelo MHA-PNN superou consistentemente tanto o PXGB quanto os modelos de predição tradicionais baseados em MN em todos os conjuntos de dados.
- Especificamente, o MHA-PNN treinado no conjunto de dados imputado por MN alcançou os melhores resultados gerais: MAPE de 0,34, RMSE de 0,37 e $R^2$ de 0,55. Isso representou uma redução de ~72% no MAPE e de ~53% no RMSE em comparação com o modelo PXGB no mesmo conjunto de dados.
- Em termos de quantificação de incerteza, o modelo MHA-PNN produziu intervalos de confiança significativamente mais estreitos ( $w_{CI} \approx 1,03$ ) mantendo altas taxas de cobertura (CR $\approx$ 0,94), indicando estimativas de incerteza bem calibradas.
Dependência de Características: O estudo confirmou que a precisão da predição é altamente sensível ao número de características de entrada disponíveis. Os modelos apresentaram desempenho insatisfatório quando menos de quatro características estavam disponíveis, destacando a necessidade de inputs informativos (particularmente parâmetros CPTU) para uma estimativa confiável de $s_u$ .

Significância e Alegações
Os autores alegam que a estratégia integrada proposta — combinando imputação avançada com a arquitetura MHA-PNN — oferece uma solução robusta para a construção de modelos indiretos probabilísticos na engenharia geotécnica, particularmente ao lidar com conjuntos de dados esparsos e incompletos. Os achados sugerem que esta abordagem supera substancialmente as correlações empíricas convencionais e os modelos padrão de aprendizado de máquina tanto em precisão de predição quanto em quantificação de incerteza.

No entanto, o artigo mantém uma postura modesta quanto à aplicação prática desses modelos. Os autores afirmam explicitamente que a base de dados global é destinada a "estimativas de primeira ordem" e que os outputs do modelo devem ser tratados como "orientação preliminar". Eles enfatizam que o modelo não é um substituto para predições específicas do local e que os engenheiros devem suplementar esses resultados com investigações locais, especialmente para condições geologicamente distintas ou sensíveis (ex: argilas estruturadas ou moles). O estudo conclui que, embora o framework MHA-PNN capture efetivamente interações complexas de características e melhore a confiabilidade sob condições de escassez de dados, investigações específicas do local permanecem essenciais para decisões de projeto confiáveis.

A Grande Busca pela Peça Faltante

Os Super-Previsores

A Grande Revelação

Por Que Isso Importa

Mais como este