Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

Imaginez que vous deviez construire un gratte-ciel sur une parcelle de terrain que vous n'avez jamais vue auparavant. Vous ne pouvez pas simplement deviner ; vous devez savoir quelle est la résistance du sol, sinon l'ensemble pourrait s'enfoncer ou glisser. C'est le travail des ingénieurs géotechniciens, qui étudient la « résistance au cisaillement non drainée » du sol — en gros, la quantité de force que la terre peut supporter avant de glisser lorsqu'elle contient de l'eau emprisonnée à l'intérieur. C'est un peu comme essayer de déterminer quelle quantité de poids une éponge mouillée peut supporter avant de s'écraser. Le problème, c'est que l'obtention de cette information est désordonnée. Parfois, on ne peut pas tester le sol directement parce qu'il est trop profond ou trop coûteux, alors les ingénieurs doivent donc deviner en se basant sur d'autres indices, comme l'adhérence de la terre ou la façon dont un cône la pénètre. Mais ces suppositions sont souvent truffées de trous, au sens propre comme au figuré. Les données sont manquantes, les chiffres varient énormément d'un endroit à l'autre, et les anciennes méthodes de supposition sont souvent trop incertaines pour être sûres.

Ce document est comme une équipe de détectives essayant de résoudre l'enquête sur les données de sol disparues. Ils ont saisi un immense dossier de « personnes disparues » mondial pour le sol argileux appelé la base de données CLAY/10/7490. Ce fichier contient des informations provenant de 30 pays différents, mais c'est un désastre : seulement environ 34 % de l'information est réellement présente. Le reste est vide, comme un puzzle dont la plupart des pièces auraient été arrachées. Les chercheurs voulaient voir s'ils pouvaient utiliser des astuces informatiques avancées pour combler ces vides et ensuite utiliser ces puzzles complétés pour prédire la résistance du sol plus précisément que jamais auparavant. Ils ont testé trois façons différentes de deviner les pièces manquantes et ont construit deux nouveaux types de « super-prévisionnistes » pour voir quelle combinaison fonctionnait le mieux.

La grande chasse aux pièces manquantes

L'équipe a commencé par examiner sa gigantesque base de données, qui contenait 7 490 lignes de données sur l'argile. Mais voici le hic : la plupart des lignes étaient incomplètes. Certaines colonnes, comme les « limites d'Atterberg » (qui mesurent à quel point l'argile est collante et plastique), n'avaient des données manquantes que dans environ 40 % des cas. Mais les colonnes concernant les mesures « CPTU » (qui proviennent de la poussée d'un cône dans le sol) manquaient dans plus de 90 % des cas ! C'était comme essayer de résoudre un crime où le témoin aurait oublié 90 % de ce qu'il a vu.

D'abord, ils ont essayé une méthode simple et traditionnelle appelée le modèle Normal Multivarié (MN). Voyez cela comme un enseignant qui sait que les élèves bons en mathématiques sont généralement aussi bons en sciences. Si un élève a une note de science manquante, l'enseignant la devine en se basant sur sa note de mathématiques. Les chercheurs ont utilisé cette logique pour remplir les données manquantes du sol. Ils ont constaté que, bien que cette méthode conserve la « forme » générale des données, elle ne rendait pas les prédictions finales beaucoup meilleures en soi. C'était comme remplir le puzzle avec des pièces qui semblaient correctes mais qui ne s'adaptaient pas tout à fait à l'image.

Ensuite, ils ont essayé deux méthodes plus sophistiquées : MICE et Miss Forest (MF).

• MICE est comme un groupe de détectives qui se relaient pour deviner l'information manquante. Un détective devine une valeur basée sur les indices, puis le suivant utilise cette supposition pour faire sa propre supposition, et ils continuent ainsi de faire des allers-retours jusqu'à ce qu'ils soient tous d'accord.
• Miss Forest est comme une équipe de détectives dotés d'une IA super intelligente qui utilisent une « forêt » d'arbres de décision pour comprendre les pièces manquantes. Ils recherchent des motifs complexes que les mathématiques simples pourraient manquer.

Lorsqu'ils ont comparé ces méthodes, ils ont constaté que MICE était la meilleure pour conserver l'aspect des données originales du monde réel. Elle ne créait pas d'anomalies bizarres ou de modèles factices et était la plus fidèle à la distribution statistique originale. Miss Forest était correcte, mais elle devenait parfois un peu trop créative dans ses suppositions. La méthode MN simple était la moins précise pour préserver la véritable nature des données, produisant souvent des résultats « excessivement concentrés » par rapport à la réalité désordonnée d'origine.

Les Super-Prévisionnistes

Une fois qu'ils ont obtenu leurs bases de données « complétées », les chercheurs ont construit deux nouveaux types de modèles de prédiction pour voir s'ils pouvaient deviner la résistance du sol mieux que les anciennes méthodes.

1. Le PXGB (Extreme Gradient Boosting Probabiliste) : Imaginez une équipe de 100 experts qui votent sur la réponse. Si un expert se trompe, les autres le corrigent. Ce modèle est excellent pour gérer les données désordonnées, mais il s'agit toujours d'une simple machine de « vote ».
2. Le MHA-PNN (Réseau de Neurones Probabilistes à Attention Multi-Têtes) : C'est la star du spectacle. Considérez ce modèle comme un détective doté d'un superpouvoir : l'Attention. Tout comme vous pouvez vous concentrer sur un détail spécifique dans une pièce bondée tout en ignorant le bruit, ce modèle possède des « têtes » capables de se concentrer sur les indices les plus importants dans les données du sol et d'ignorer les inutiles. Il ne se contente pas de regarder les données ; il comprend les relations entre les différents indices.

La grande révélation

Les résultats étaient clairs. Lorsque les chercheurs ont testé ces modèles, le modèle MHA-PNN a écrasé la concurrence, mais le choix de la manière de compléter les données manquantes importait de manière spécifique.

• Précision : Le modèle MHA-PNN commettait des erreurs environ 72 % plus petites que le modèle PXGB lorsqu'il utilisait les données les mieux complétées.
• Confiance : Il ne se contentait pas de deviner le chiffre ; il donnait une plage de valeurs probables (incertitude). Les suppositions du modèle MHA-PNN étaient beaucoup plus serrées et fiables. Son « intervalle de confiance » (la plage de réponses possibles) était environ 96 % plus étroit que celui du modèle PXGB, ce qui signifie qu'il était beaucoup plus sûr de sa réponse sans pour autant se tromper.
• Le problème des « données manquantes » : Ils ont également découvert quelque chose d'important : si vous n'avez que peu d'indices (moins de quatre éléments de données), même le meilleur modèle a du mal. C'est comme essayer de deviner l'intrigue d'un film avec une seule scène. Mais une fois qu'ils avaient assez d'indices, le modèle MHA-PNN brillait.

Voici le rebondissement : Bien que MICE ait été le grand gagnant pour préserver la forme statistique des données (faisant en sorte que le puzzle complété ressemble le plus possible à la réalité), il n'était pas le partenaire parfait pour la prédiction finale. Étonnamment, le modèle MHA-PNN a obtenu sa meilleure performance absolue lorsqu'il était associé à la méthode d'imputation MN. Les chercheurs ont découvert que MN offrait le meilleur compromis pour ce modèle avancé spécifique. Même si MN ne préservait pas la distribution des données aussi parfaitement que MICE, il fournissait la fondation la plus précise sur laquelle le MHA-PNN pouvait construire ses prédictions. Ainsi, la « meilleure » combinaison ne consistait pas à choisir le meilleur imputateur ou le meilleur modèle, mais à trouver l'appariement spécifique où le modèle avancé de « super-attention » pouvait accomplir son meilleur travail.

Pourquoi cela importe

Cette étude suggère que nous pouvons construire des modèles beaucoup plus sûrs et plus fiables pour prédire la résistance du sol, même lorsque nos données sont incomplètes et désordonnées. En utilisant ces techniques d'« attention » avancées et en trounant le bon partenaire pour compléter les données, les ingénieurs pourraient être en mesure de prendre de meilleures décisions pour la construction de fondations, de tunnels et de pentes sans avoir besoin de tester chaque centimètre carré de sol. Cependant, les auteurs prennent soin de préciser que cela ne remplace pas une baguette magique qui remplacerait les tests en conditions réelles. C'est un outil puissant pour obtenir une bonne première estimation, surtout lorsque les données sont rares, mais pour les projets les plus critiques, il faut toujours vérifier le sol par soi-même.

En résumé, l'article montre qu'en apprenant aux ordinateurs à prêter attention aux bons indices et en complétant intelligemment les blancs — même si la méthode de remplissage n'est pas statistiquement parfaite en soi — nous pouvons transformer un puzzle désordonné et incomplet en une image claire du sol sous nos pieds.