HUGO-CS: A Hybrid-Labeled, Uncertainty-Aware, General-Purpose, Observational Dataset for Cold Spray

Dit artikel introduceert HUGO-CS, een grootschalige, hybride-gelabelde observationele dataset van 4.383 koudspuitexperimenten afgeleid uit wetenschappelijke literatuur met behulp van een nieuw onzekerheidsbewust kader dat geautomatiseerde LLM-extractie combineert met gerichte handmatige verfijning om data-schaarste en standaardisatie-uitdagingen in procesoptimalisatie te overwinnen.

De kern

Stel je de wereld van Koud Spuiten voor als een hoog-risico kookwedstrijd. In deze keuken gebruiken chefs (wetenschappers) een speciale techniek om metalen objecten laag voor laag op te bouwen zonder ze te smelten, een beetje alsof je een supersnel, hoog-druk luchtkanon gebruikt om tiny metalen deeltjes op een oppervlak te schieten zodat ze tegen elkaar slaan en blijven plakken.

Het probleem is dat elke chef zijn eigen recept heeft. Sommigen schrijven hun recepten in een geheime code, anderen gebruiken verschillende meeteenheden (bekers versus gram), en veel schetsen gewoon de resultaten in een rommelig notitieboekje zonder duidelijke lijst van ingrediënten. Hierdoor is het ongelooflijk moeilijk om het "perfecte recept" te vinden voor het bouwen van sterke, duurzame metalen onderdelen.

Hier is wat dit artikel doet, eenvoudig uitgelegd:

1. Het Probleem: Een Bibliotheek met Rommelige Notitieboekjes

Jarenlang hebben wetenschappers papers gepubliceerd over koud spuiten. Maar als je van allemaal wilde leren, liep je tegen een muur op:

• De Data is Verborgen: De resultaten zitten vaak opgesloten in afbeeldingen of tabellen in PDF-bestanden, niet in een formaat dat een computer makkelijk kan lezen.
• De Schaal is Klein: Eerdere pogingen om deze data te verzamelen waren als proberen een huis te bouwen met slechts een paar bakstenen. De grootste collectie voor dit project bevatte slechts 137 experimenten.
• De Inconsistentie: Eén paper zegt misschien "Aluminium 6061", een andere "AA 6061", en een derde "Al 6061 Powder". Voor een computer lijken dit drie volledig verschillende materialen, zelfs al zijn ze hetzelfde.

2. De Oplossing: De "HUGO" Chef-assistent

De auteurs bouwden een nieuw systeem genaamd HUGO (Hybrid-labeled, Uncertainty-aware, General-purpose, Observational) om dit op te lossen. Denk aan HUGO als een superslimme, onuitputtelijke robot-assistent die een team van menselijke chefs helpt bij het ordenen van de bibliotheek.

• De Robot (LLM): Ze gebruikten een Large Language Model (een type AI) om duizenden wetenschappelijke papers te lezen en de cijfers eruit te halen. De robot is snel – hij kan een paper in seconden lezen.
• Het Veiligheidsnet (Menselijke Controle): Robots maken fouten. Soms hallucineren ze (maken dingen uit hun duim) of missen ze details die verborgen zitten in een grafiek. Dus vertrouwden de auteurs niet zomaar op de robot. Ze creëerden een "Risicobeperking" systeem.
  • Stel je voor dat de robot post sorteert. Als de envelop er raar uitziet, legt de robot hem in een "Rode Bak".
  • Mensen openen vervolgens alleen de "Rode Bak" om de fouten te herstellen.
  • Als de envelop er normaal uitziet, houdt de robot hem.
  • Dit bespaart tijd omdat mensen alleen de lastige dingen controleren, niet elke enkele paper.

3. Het Resultaat: Het "HUGO-CS" Kookboek

Het resultaat van dit proces is een enorm nieuwe dataset genaamd HUGO-CS.

• Grootte: Het bevat 4.383 experimenten uit 1.124 verschillende papers. Dat is 30 keer groter dan enige eerdere collectie.
• Detail: Het houdt 144 verschillende kenmerken bij voor elk experiment, van het type gas dat werd gebruikt tot de exacte vorm van het metaalpoeder.
• Netheid: Het team heeft de data opgeschoond. Ze veranderden "Al 6061", "AA 6061" en "Aluminium 6061" allemaal in één standaardlabel. Ze zetten ook verschillende eenheden om (zoals inches versus millimeters) zodat alles dezelfde taal spreekt.
• De Gouden Standaard: Van de 4.383 experimenten werden 1.765 dubbel gecontroleerd door mensen. Dit creëert een "Gouden Subset" die onderzoekers volledig kunnen vertrouwen om hun eigen theorieën te testen.

4. Wat Ze Er Mee Dedden

Het artikel laat zien dat dit nieuwe, schone kookboek echt werkt. Ze gebruikten het om computermodellen te trainen om te voorspellen hoe sterk een metalen onderdeel zal zijn.

• Ze slaagden erin om de sterkte van aluminiumlegeringen te voorspellen.
• Ze slaagden erin om de hardheid van diverse metalen poeders te voorspellen.
• Cruciaal vonden ze dat het kennen van het exacte chemische recept (samenstelling) van het poeder de belangrijkste factor was voor het maken van accurate voorspellingen.

5. De Kernboodschap

Dit artikel bedacht geen nieuwe manier om metaal te spuiten. In plaats daarvan bouwden ze de ultieme bibliotheek voor mensen die metaalspuiten bestuderen. Door een snelle robot te combineren met slimme menselijke controles, veranderden ze een chaotische stapel rommelige wetenschappelijke notities in een schone, georganiseerde en enorme dataset die iedereen kan gebruiken om koudspuittechnologie te begrijpen en te verbeteren.

Kortom: Ze namen een rommelige, gefragmenteerde bibliotheek van meer dan 1.000 boeken, gebruikten een robot om ze te lezen, lieten mensen de fouten van de robot herstellen, en maakten er één grote, perfect georganiseerde encyclopedie van voor metaalbouwers.

Technische samenvatting

Technische Samenvatting: HUGO-CS en het HUGO-kader

Probleemstelling
Koud spuiten is een veelzijdig additief productieproces in de vaste fase met aanzienlijke toepassingen in componentreparatie en productie. Het optimaliseren van dit proces wordt echter belemmerd door de complexiteit van onderling afhankelijke parameters en een kritisch gebrek aan grote, machineleesbare datasets. Hoewel de wetenschappelijke literatuur talrijke relevante experimenten bevat, worden resultaten inconsistent gerapporteerd (vaak ingebed in tabellen en figuren), maken ze gebruik van niet-uniforme eenheden, en zijn ze frequent afgestemd op specifieke materiaalklassen of smalle doelstellingen. Bestaande gecurateerde datasets zijn klein (de grootste vorige verzameling bevatte slechts 137 experimenten) en missen vaak de granulariteit die vereist is voor hoogpresterend voorspellend modelleren of brede procesoptimalisatie. Bovendien is handmatige data-extractie uit literatuur onbetaalbaar tijdrovend, met een gemiddelde van 91 minuten per document, wat de schaal van beschikbare data beperkt.

Methodologie: Het HUGO-kader
Om deze beperkingen aan te pakken, introduceren de auteurs HUGO (Hybrid-gelabeld, Onzekerheidsbewust, Algemeen-toepasbaar, Observationeel), een kader ontworpen om gestructureerde experimentele records uit wetenschappelijke literatuur op schaal te extraheren. De methodologie combineert de snelheid van Large Language Models (LLM's) met gerichte handmatige verificatie via een Hiërarchische Risicobeperking (HRM)-strategie.

1. Tekstextractie en Preprocessing: Gestructureerde PDF's worden omgezet naar machineleesbare Markdown met MinerU om lay-out en tabelstructuren te behouden. Metadata wordt opgehaald via de Crossref API, met handmatige tussenkomst voor ambiguïteiten.
2. Schemaconstructie: Een uitgebreid schema van 144 kenmerken werd ontwikkeld, dat materiaaleigenschappen, experimentele parameters (bijv. draaggas, poedermorfologie) en testomstandigheden omvat.
3. Hybride Extractiepijplijn:
   • LLM-Labeling: Een instructiegebaseerde LLM (GPT o4-mini) voert zero-shot inferentie uit om experimentele data te extraheren naar een gestructureerd JSON-formaat.
   • Hiërarchische Risicobeperking (HRM): In plaats van uniforme willekeurige steekproeven, markeert HRM hoog-risico outputs voor handmatige review in vier fasen:
     • Structurele Fouten: Identificeren van onparseerbare JSON of afgekapte antwoorden.
     • Volledigheidsfouten: Detecteren van schema-niet-conformiteit (ontbrekende of extra velden) en proberen automatische correctie via string-similariteitsovereenkomst voordat handmatige herbewerking plaatsvindt.
     • Statistische Uitschieters: Markeer inhoudelijke anomalieën met domein-informeerde drempels, globale uitschieters (afwijking >3σ van het datasetgemiddelde) en lokale uitschieters (afwijking >2σ van het materiaalklassecentrum).
     • Dekkingsfouten: Schatten van het aantal experimenten gerapporteerd in figuren versus tekst. Een secundaire LLM-prompt schat het verwachte aantal experimenten; artikelen met een grote kloof tussen verwachte en geëxtraheerde aantallen (gewogen op metriek-zeldzaamheid) krijgen prioriteit voor handmatige labeling.
4. Postprocessing en Standaardisatie:
   • Categorische Consolidatie: Een "Voorstellen-Inspecteren-Beoordelen" (PIR)-workflow voegt vrijetekst-aliassen (bijv. "Al 6061" versus "AA 6061") samen tot gestandaardiseerde categorische waarden.
   • Continue Samenstellingsmapping: Grondstofchemieën worden gemapt naar een gestructureerde 50-elementenrepresentatie, normaliseren van eenheden (bijv. omzetten van at.% naar gew.%) en het verwerken van poedermengsels.
   • Eenheidsnormalisatie: Numerieke waarden worden gestandaardiseerd (bijv. MPa, GPa), en hardheidswaarden worden geparseerd om de eenheid te scheiden van de testbelasting.
   • Provenance-labeling: Een secundaire labelbeurt identificeert resultaten die zijn afgeleid van niet-standaard testmethoden (bijv. nanoindentatie versus ASTM E8 trekproef) om potentiële vergelijkbaarheidsproblemen te markeren.

Belangrijkste Bijdragen

1. HUGO-kader: Een nieuw hybride-labelingsworkflow die LLM-efficiëntie en handmatige nauwkeurigheid in evenwicht brengt door handmatige tussenkomst te prioriteren voor hoog-risico extracties.
2. HUGO-CS Dataset: Een grote, machineleesbare dataset met 4.383 koud-spuitexperimenten met 144 kenmerken geëxtraheerd uit 1.124 primaire bronnen. Dit vertegenwoordigt een 30-voudige toename ten opzichte van de vorige grootste dataset (137 samples).
3. Gouden Subset: Een hoogtrouw, handmatig gelabelde subset van 1.765 experimenten uit 243 bronnen, bedoeld voor benchmarking, foutanalyse en het trainen van hoogtrouwheidsmodellen.
4. Standaardisatiepijplijn: Een uitgebreide schoonmaakpijplijn die categorische beschrijvers consolideert, chemieën mapt naar continue samenstellingen, en eenheden normaliseert over diverse bronnen.
5. Prestatie-evaluatie: Een kritische beoordeling van LLM-extractieprestaties, waarbij veelvoorkomende faalmodi worden geïdentificeerd zoals het onvermogen om figuren te parseren, groeperingsfouten en verbaalheidsproblemen.
6. Open Toegang: Volledige release van de dataset en pijplijncode onder een CC-BY-licentie om reproduceerbaarheid en uitbreiding naar nieuwe domeinen te ondersteunen.

Resultaten

• Schaal en Dekking: De uiteindelijke dataset omvat diverse materialen (Al, Cu, Ti, enz.) en verwerkingsomstandigheden, en vangt een breed scala aan mechanische eigenschappen, inclusief microhardheid (2.980 waarden), vloeigrens (506 waarden) en porositeit.
• Extractienauwkeurigheid: Op een vastgehouden validatieset van 20 artikelen (80 ground-truth experimenten) bereikte de LLM een precisie van 89,61% en een recall van 86,25%. De nauwkeurigheid op kenmerkniveau gemiddeld 94,55%.
• Foutanalyse: De primaire faalmodi omvatten het onvermogen om data te extraheren die uitsluitend in figuren wordt gerapporteerd en fouten bij het groeperen van experimentele omstandigheden (bijv. het splitsen van trek- en hardheidsresultaten in aparte records). De HRM-strategie slaagde erin structurele, schema- en dekkingsfouten te identificeren en te corrigeren, wat de datakwaliteit aanzienlijk verbeterde.
• Modellering Proof-of-Concept: Twee modellen werden getraind om bruikbaarheid aan te tonen:
  • Een aluminium vloeigrensmodel (58 samples) bereikte een $R^2$ van 0,66 en een MAE van 36,6 MPa met Gradient Boosting.
  • Een multi-materiaal microhardheidsmodel (2.431 samples) bereikte een $R^2$ van 0,65 en een MAE van 87,12 HV met CatBoost. Analyse van kenmerkgewicht benadrukte de waarde van gedetailleerde grondstofsamenstellingsdata.

Betekenis
Het artikel beweert dat HUGO-CS de schaal en toegankelijkheid van experimentele koud-spuitdata aanzienlijk uitbreidt, waardoor moderne datagedreven analyse en voorspellend modelleren mogelijk worden die eerder beperkt waren door kleine, gefragmenteerde datasets. Door een algemeen-toepasbare, onzekerheidsbewuste en gestandaardiseerde dataset te bieden, faciliteert het werk meta-analyse, procesoptimalisatie en de ontwikkeling van robuuste voorspellende modellen. De auteurs benadrukken dat de opname van gedetailleerde grondstofsamenstellingen en de standaardisatie van eenheden en categorieën rijkere analyse mogelijk maken, zoals het bestuderen van legeringseffecten en transfer learning, wat moeilijk was met eerdere reductieve datasets. De release van het HUGO-kader biedt ook een weg om deze aanpak uit te breiden naar andere wetenschappelijke domeinen die extractie uit literatuur op grote schaal vereisen.