HUGO-CS: A Hybrid-Labeled, Uncertainty-Aware, General-Purpose, Observational Dataset for Cold Spray

Cet article présente HUGO-CS, un ensemble de données observationnelles à grande échelle et à étiquetage hybride de 4 383 expériences de projection à froid issues de la littérature scientifique, élaboré grâce à un nouveau cadre sensible à l'incertitude qui combine l'extraction automatisée par des modèles de langage de grande taille avec un affinage manuel ciblé pour surmonter les défis liés à la rareté des données et à la standardisation dans l'optimisation des procédés.

L'essentiel

Imaginez le monde du Cold Spraying comme une compétition de cuisine à haut risque. Dans cette cuisine, les chefs (scientifiques) utilisent une technique spéciale pour construire des objets métalliques couche par couche sans les fondre, un peu comme utiliser un canon à air ultra-rapide et haute pression pour tirer de minuscules particules de métal sur une surface afin qu'elles s'écrasent ensemble et adhèrent.

Le problème est que chaque chef a sa propre recette. Certains écrivent leurs recettes dans un code secret, d'autres utilisent différentes unités de mesure (tasses contre grammes), et beaucoup se contentent de griffonner les résultats dans un cahier désordonné sans liste claire d'ingrédients. À cause de cela, il est incroyablement difficile de déterminer la « recette parfaite » pour fabriquer des pièces métalliques solides et durables.

Voici ce que fait cet article, expliqué simplement :

1. Le Problème : Une Bibliothèque de Cahiers Désordonnés

Depuis des années, les scientifiques publient des articles sur le cold spraying. Mais si vous vouliez apprendre d'eux tous, vous vous heurteriez à un mur :

• Les Données sont Cachées : Les résultats sont souvent piégés dans des images ou des tableaux au sein de fichiers PDF, pas dans un format qu'un ordinateur peut facilement lire.
• L'Échelle est Minuscule : Les tentatives précédentes de collecter ces données ressemblaient à essayer de construire une maison avec seulement quelques briques. La plus grande collection avant celle-ci ne contenait que 137 expériences.
• L'Incohérence : Un article peut dire « Aluminium 6061 », un autre « AA 6061 », et un troisième « Poudre Al 6061 ». Pour un ordinateur, cela ressemble à trois matériaux complètement différents, même s'il s'agit du même.

2. La Solution : L'Assistant de Chef « HUGO »

Les auteurs ont construit un nouveau système appelé HUGO (Hybrid-labeled, Uncertainty-aware, General-purpose, Observational) pour résoudre ce problème. Imaginez HUGO comme un assistant robotique super-intelligent et infatigable qui aide une équipe de chefs humains à organiser la bibliothèque.

• Le Robot (LLM) : Ils ont utilisé un Modèle de Langage à Grande Échelle (un type d'IA) pour lire des milliers d'articles scientifiques et extraire les chiffres. Le robot est rapide — il peut lire un article en quelques secondes.
• Le Filet de Sécurité (Revue Humaine) : Les robots font des erreurs. Parfois, ils hallucinent (inventent des choses) ou manquent des détails cachés dans un graphique. Ainsi, les auteurs n'ont pas fait confiance uniquement au robot. Ils ont créé un système de « Atténuation des Risques ».
  • Imaginez que le robot trie du courrier. Si l'enveloppe a l'air bizarre, le robot la met dans une « Poubelle Rouge ».
  • Les humains n'ouvrent ensuite que la « Poubelle Rouge » pour corriger les erreurs.
  • Si l'enveloppe a l'air normale, le robot la garde.
  • Cela économise du temps car les humains ne vérifient que les choses délicates, et non chaque article individuel.

3. Le Résultat : Le Livre de Recettes « HUGO-CS »

Le résultat de ce processus est un nouvel ensemble de données massif appelé HUGO-CS.

• Taille : Il contient 4 383 expériences issues de 1 124 articles différents. C'est 30 fois plus grand que n'importe quelle collection précédente.
• Détail : Il suit 144 caractéristiques différentes pour chaque expérience, du type de gaz utilisé à la forme exacte de la poudre métallique.
• Propreté : L'équipe a nettoyé les données. Ils ont transformé « Al 6061 », « AA 6061 » et « Aluminium 6061 » en une seule étiquette standard. Ils ont également converti différentes unités (comme les pouces contre les millimètres) pour que tout parle le même langage.
• La Référence Or : Sur les 4 383 expériences, 1 765 ont été vérifiées en double par des humains. Cela crée un « Sous-ensemble Or » que les chercheurs peuvent entièrement utiliser pour tester leurs propres théories.

4. Ce qu'ils en ont fait

L'article montre que ce nouveau livre de recettes propre fonctionne réellement. Ils l'ont utilisé pour entraîner des modèles informatiques à prédire la solidité d'une pièce métallique.

• Ils ont prédit avec succès la résistance des alliages d'aluminium.
• Ils ont prédit avec succès la dureté de diverses poudres métalliques.
• Crucialement, ils ont découvert que connaître la recette chimique exacte (composition) de la poudre était le facteur le plus important pour faire des prédictions précises.

5. La Conclusion

Cet article n'a pas inventé une nouvelle façon de pulvériser du métal. Au lieu de cela, ils ont construit la bibliothèque ultime pour les personnes qui étudient la pulvérisation de métal. En combinant un robot rapide avec des vérifications humaines intelligentes, ils ont transformé un tas chaotique de notes scientifiques désordonnées en un ensemble de données propre, organisé et massif que n'importe qui peut utiliser pour comprendre et améliorer la technologie du cold spraying.

En bref : Ils ont pris une bibliothèque désordonnée et fragmentée de plus de 1 000 livres, utilisé un robot pour les lire, fait corriger les erreurs du robot par des humains, et transformé le tout en une seule grande encyclopédie parfaitement organisée pour les constructeurs de métal.

Résumé technique

Résumé technique : HUGO-CS et le cadre HUGO

Énoncé du problème
Le froid-soudage est un procédé de fabrication additive en phase solide polyvalent présentant des applications significatives dans la réparation et la fabrication de composants. Cependant, l'optimisation de ce procédé est entravée par la complexité des paramètres interdépendants et un manque critique de données à grande échelle et lisibles par machine. Bien que la littérature scientifique contienne de nombreuses expériences pertinentes, les résultats sont rapportés de manière incohérente (souvent intégrés dans des tableaux et des figures), utilisent des unités non uniformes et sont fréquemment adaptés à des classes de matériaux spécifiques ou à des propriétés cibles étroites. Les ensembles de données existants et curatés sont de petite taille (la plus grande collection antérieure ne contenait que 137 expériences) et manquent souvent de la granularité requise pour une modélisation prédictive performante ou une optimisation globale du procédé. De plus, l'extraction manuelle des données de la littérature est prohibitivement longue, avec une moyenne de 91 minutes par document, ce qui limite l'échelle des données disponibles.

Méthodologie : Le cadre HUGO
Pour répondre à ces limitations, les auteurs introduisent HUGO (Hybrid-labeled, Uncertainty-aware, General-purpose, Observational), un cadre conçu pour extraire des enregistrements expérimentaux structurés de la littérature scientifique à grande échelle. La méthodologie combine la rapidité des modèles de langage de grande taille (LLM) avec une vérification manuelle ciblée grâce à une stratégie de Mitigation Hiérarchique des Risques (HRM).

1. Extraction et prétraitement du texte : Les PDF structurés sont convertis en Markdown lisible par machine à l'aide de MinerU pour préserver la mise en page et les structures de tableaux. Les métadonnées sont récupérées via l'API Crossref, avec une intervention manuelle pour les cas ambigus.
2. Construction du schéma : Un schéma complet de 144 caractéristiques a été développé, couvrant les propriétés des matériaux, les paramètres expérimentaux (par exemple, gaz vecteur, morphologie de la poudre) et les conditions de test.
3. Pipeline d'extraction hybride :
   • Étiquetage par LLM : Un LLM basé sur des instructions (GPT o4-mini) effectue une inférence zero-shot pour extraire les données expérimentales dans un format JSON structuré.
   • Mitigation Hiérarchique des Risques (HRM) : Au lieu d'un échantillonnage aléatoire uniforme, la HRM signale les sorties à haut risque pour examen manuel en quatre étapes :
     • Erreurs structurelles : Identification des JSON non parsables ou des réponses tronquées.
     • Erreurs de complétude : Détection de la non-conformité au schéma (champs manquants ou supplémentaires) et tentative de correction automatisée via correspondance de similarité de chaînes avant le re-étiquetage manuel.
     • Valeurs aberrantes statistiques : Signalement d'anomalies basées sur le contenu à l'aide de seuils informés par le domaine, d'outliers globaux (écart >3σ par rapport à la moyenne de l'ensemble de données) et d'outliers locaux (écart >2σ par rapport au centroïde de la classe de matériaux).
     • Erreurs de couverture : Estimation du nombre d'expériences rapportées dans les figures par rapport au texte. Un second prompt LLM estime le nombre attendu d'expériences ; les articles présentant un écart élevé entre les comptes attendus et extraits (pondéré par la rareté de la métrique) sont priorisés pour l'étiquetage manuel.
4. Post-traitement et normalisation :
   • Consolidation catégorielle : Un flux de travail « Proposer-Inspecter-Revoir » (PIR) fusionne les alias de texte libre (par exemple, « Al 6061 » vs « AA 6061 ») en valeurs catégorielles standardisées.
   • Cartographie de composition continue : Les chimies des matières premières sont mappées vers une représentation structurée de 50 éléments, normalisant les unités (par exemple, conversion de at.% en wt.%) et gérant les mélanges de poudres.
   • Normalisation des unités : Les valeurs numériques sont standardisées (par exemple, MPa, GPa), et les valeurs de dureté sont analysées pour séparer l'unité de la charge de test.
   • Étiquetage de la provenance : Un second passage d'étiquetage identifie les résultats dérivés de méthodes de test non standard (par exemple, nanoindentation par rapport à un test de traction ASTM E8) pour signaler les problèmes potentiels de comparabilité.

Contributions clés

1. Cadre HUGO : Un flux de travail d'étiquetage hybride novateur qui équilibre l'efficacité des LLM avec la précision manuelle en priorisant l'intervention manuelle pour les extractions à haut risque.
2. Ensemble de données HUGO-CS : Un ensemble de données à grande échelle et lisible par machine contenant 4 383 expériences de froid-soudage avec 144 caractéristiques extraites de 1 124 sources primaires. Cela représente une augmentation de 30 fois par rapport à l'ensemble de données le plus grand précédent (137 échantillons).
3. Sous-ensemble Gold : Un sous-ensemble de haute fidélité, étiqueté à la main, de 1 765 expériences provenant de 243 sources, destiné au benchmarking, à l'analyse des erreurs et à l'entraînement de modèles de haute fidélité.
4. Pipeline de normalisation : Un pipeline de nettoyage étendu qui consolide les descripteurs catégoriels, mappe les chimies vers des compositions continues et normalise les unités à travers diverses sources.
5. Évaluation des performances : Une évaluation critique des performances d'extraction des LLM, identifiant les modes de défaillance courants tels que l'incapacité à analyser les figures, les erreurs de regroupement et les problèmes de verbosité.
6. Accès ouvert : Publication complète de l'ensemble de données et du code du pipeline sous licence CC-BY pour soutenir la reproductibilité et l'extension à de nouveaux domaines.

Résultats

• Échelle et couverture : L'ensemble de données final couvre des matériaux divers (Al, Cu, Ti, etc.) et des conditions de traitement, capturant une large gamme de propriétés mécaniques incluant la microdureté (2 980 valeurs), la limite d'élasticité (506 valeurs) et la porosité.
• Précision d'extraction : Sur un ensemble de validation retenu de 20 articles (80 expériences de vérité terrain), le LLM a atteint une précision de 89,61 % et un rappel de 86,25 %. La précision au niveau des caractéristiques a atteint en moyenne 94,55 %.
• Analyse des erreurs : Les modes de défaillance principaux comprenaient l'incapacité à extraire les données rapportées exclusivement dans les figures et des erreurs de regroupement des conditions expérimentales (par exemple, séparation des résultats de traction et de dureté dans des enregistrements distincts). La stratégie HRM a identifié et corrigé avec succès les erreurs structurelles, de schéma et de couverture, améliorant significativement la qualité des données.
• Preuve de concept de modélisation : Deux modèles ont été entraînés pour démontrer l'utilité :
  • Un modèle de limite d'élasticité pour l'aluminium (58 échantillons) a atteint un $R^2$ de 0,66 et une MAE de 36,6 MPa en utilisant le Gradient Boosting.
  • Un modèle de microdureté multi-matériaux (2 431 échantillons) a atteint un $R^2$ de 0,65 et une MAE de 87,12 HV en utilisant CatBoost. L'analyse de l'importance des caractéristiques a souligné la valeur des données détaillées sur la composition des matières premières.

Signification
L'article affirme que HUGO-CS étend considérablement l'échelle et l'accessibilité des données expérimentales de froid-soudage, permettant une analyse moderne basée sur les données et une modélisation prédictive qui étaient auparavant contraintes par des ensembles de données petits et fragmentés. En fournissant un ensemble de données généraliste, conscient de l'incertitude et standardisé, ce travail facilite la méta-analyse, l'optimisation des procédés et le développement de modèles prédictifs robustes. Les auteurs soulignent que l'inclusion de compositions détaillées des matières premières et la standardisation des unités et des catégories permettent une analyse plus riche, telle que l'étude des effets d'alliage et l'apprentissage par transfert, qui étaient difficiles avec les ensembles de données réducteurs précédents. La publication du cadre HUGO offre également une voie pour étendre cette approche à d'autres domaines scientifiques nécessitant une extraction de littérature à grande échelle.