Technische Samenvatting: Transport Novelty Distance (TNovD)

Probleemstelling

De snelle vooruitgang in generatieve machine learning voor materiaalkundige ontdekking heeft de ontwikkeling van rigoureuze evaluatiemetrieken ingehaald. Bestaande benaderingen, zoals de SUN-metrieken (Stability, Uniqueness, Novelty), evalueren gegenereerde structuren op basis van individuele instanties en slagen er niet in om distributionele eigenschappen te vatten. Daarentegen vertrouwen distributionele metrieken zoals de Fréchet Inception Distance (FID) en de moleculaire analogon daarvan (FCD) op Gaussische aannames die data comprimeren tot gemiddelde en variantie, waardoor ze niet in staat zijn om "memorizatie" (waarbij een model simpelweg de trainingsdata reproduceert) te detecteren. Bovendien hebben huidige methoden moeite om tegelijkertijd zowel de kwaliteit (statistische gelijkenis met de trainingsdistributie) als de nieuwheid (dissimilariteit van specifieke trainingsmonsters) te beoordelen. Het artikel benadrukt dat het onderscheid tussen hoogwaardige generalisatie en gevaarlijke memorizatie cruciaal is, vooral naarmate nieuwere modellen zoals diffusiemodellen meer geneigd zijn tot overfitting.

Methodologie

De auteurs stellen de Transport Novelty Distance (TNovD) voor, een distributionele metriek geworteld in de Optimal Transport (OT)-theorie en contrastief leren. De methodologie bestaat uit drie hoofdonderdelen:

1. Kenmerkextractie via Equivariante GNN:

   • Kristalstructuren worden in een kenmerkruimte ingebed met behulp van een $SE(3)$-equivariante Graph Neural Network (GNN).
   • De GNN wordt getraind met een InfoNCE contrastieve loss op de MP20-dataset.
   • Augmentatiestrategie: Positieve paren worden gecreëerd door rotaties, translaties en supercel-expansies toe te passen op dezelfde kristalstructuur. Negatieve paren bestaan uit verschillende materialen. Deze training zorgt ervoor dat de kenmerkruimte invariant is voor rigide transformaties en supercelgrootte, terwijl het onderscheid maakt tussen verschillende chemische composities.

2. Optimal Transport Coupling:

   • TNovD berekent de koppeling tussen de kenmerkdistributies van de trainingsset ($P_D$) en de gegenereerde set ($P_G$) met behulp van het Wasserstein-afstandskader.
   • In tegenclus van standaard Wasserstein-afstanden introduceert TNovD een drempelwaarde $\tau$ om de kostenfunctie te verdelen in twee regimes:
     • Memorizatie-regime ($x < \tau$): Als een gegenereerd monster te dicht bij een trainingsmonster ligt (afstand $x < \tau$), wordt het zwaar gestraft met een machtsfunctie $(\tau - x)^M$. Dit detecteert exacte of bijna exacte replica's.
     • Kwaliteits-regime ($x \ge \tau$): Als een monster voldoende nieuw is ($x \ge \tau$), is de kosten lineair $(x - \tau)$, wat meet hoe ver het monster afwijkt van de trainingsdistributie.

3. Hyperparameter Heuristieken:

   • $\tau$ (Drempelwaarde): Bepaald door heuristiek door de 1-nearest neighbor en 2-nearest neighbor afstanden binnen de trainingsset te analyseren, wat de conditie benadert waarbij een punt als "gememoriseerd" wordt beschouwd.
   • $M$ (Exponent): Afgeleid van een evenwichtstoestand waarbij de afgeleide van de TNovD met betrekking tot $\tau$ nul is voor twee splits van een "goede" distributie, wat ervoor zorgt dat de metriek de straf voor memorizatie balanceert tegen de straf voor slechte kwaliteit.

Belangrijkste Bijdragen

• Een Verenigde Distributionele Metriek: TNovD is een metriek die ontworpen is om gezamenlijk kwaliteit en nieuwheid te evalueren in generatieve materiaalmodellen zonder te vertrouwen op Gaussische aannames. Hoewel eerder werk [8] een GNN-gebaseerde distributionele metriek voorstelde, onderscheidt TNovD zich door de GNN expliciet te trainen voor detectie van nieuwheid en door Gaussische aannames te vermijden om memorizatie beter te vangen.
• Detectie van Memorizatie: Door een niet-lineaire kostenfunctie te gebruiken voor kleine afstanden, straft TNovD de reproductie van trainingsdata expliciet af, een capaciteit die ontbreekt in FID en FCD.
• Domein-Agnostisch Framework: Hoewel toegepast op kristallen, merken de auteurs op dat het framework aanpasbaar is naar andere domeinen (bijv. afbeeldingen, moleculen) door de kenmerkextractor te vervangen.
• Robuust Kenmerkleren: Het gebruik van contrastief leren met specifieke kristallografische augmentaties (supercells, rotaties) creëert een kenmerkruimte die fysieke symmetrieën respecteert en onderscheid maakt tussen ware nieuwheid en structurele variaties van hetzelfde materiaal.

Resultaten

De auteurs hebben TNovD gevalideerd via verschillende experimenten:

1. Spelexperimenten (MP20 Validatieset):

   • Memorizatie: Wanneer validatiedata progressief werd vervangen door trainingsdata, vertoonde TNovD een bijna lineaire toename, waarmee memorizatie succesvol werd gedetecteerd.
   • Ruisinjectie: Het toevoegen van Gaussische ruis aan atomaire coördinaten of het vervormen (shearing) van het rooster resulteerde in verhoogde TNovD-scores, wat wijst op de detectie van lage kwaliteit structuren.
   • Invariantie: De metriek bleef stabiel wanneer supercells werden gegenereerd, wat de capaciteit van de GNN demonstreert om groottevariaties te verwerken zonder deze als "nieuwheid" te bestraffen.
   • Substituties: Willekeurige en binnen-groep atomaire substituties werden correct geïdentificeerd als materialen van lagere kwaliteit, waarbij willekeurige substituties zwaarder werden gestraft.

2. WBM Substitutie Dataset:

   • Toegepast op de WBM-dataset (structuren gecreëerd door iteratieve atomaire substitutie), toonde TNovD aan dat naarmate structuren divergeerden van de MP20-trainingsset, de memorizatiecomponent naar bijna nul daalde, terwijl de kwaliteitscomponent licht toenam, wat de groeiende dissimilariteit weerspiegelt.

3. Benchmarking van Generatieve Modellen:

   • Zes populaire generatieve materiaalmodellen (waaronder MatterGen, CDVAE, DiffCSP en ADiT) werden geëvalueerd op 10.000 gegenereerde monsters.
   • ADiT behaalde de beste algemene score, gedreven door hoge kwaliteit, hoewel de auteurs hypothetiseren dat het mogelijk nog steeds data memoriseert op een manier die niet volledig door de metriek wordt gevangen.
   • MatterGen presteerde vergelijkbaar met de validatieset-baseline.
   • CDVAE presteerde slecht, met hoge kwaliteitsstraffen (lage kwaliteit) en geen memorizatie, wat duidt op een falen om de trainingsdistributie te matchen.
   • Chemeleon vertoonde de hoogste memorisatiecomponent.

Betekenis en Claims

Het artikel claimt dat TNovD een noodzakelijk "complementair perspectief" biedt aan bestaande metrieken op instantieniveau. De primaire betekenis ligt in het vermogen om memorizatie te detecteren terwijl tegelijkertijd de distributionele kwaliteit wordt beoordeeld, waarmee een kritiek gat in de evaluatie van moderne generatieve modellen wordt gedicht.

De auteurs merken bescheiden op dat:

• TNovD geen trainingsdoelstelling is, aangezien een generator theoretisch de metriek zou kunnen "bespelen"; het is strikt een evaluatietool.
• De metriek niet direct de materiaalstabiliteit (bijv. energie boven de hull) of synthesebaarheid vangt, hoewel dit in de toekomst uitgebreid kan worden met getrainde energiemodellen.
• De resultaten sterk afhangen van de gekozen kenmerkrepresentatie (MP20-gebaseerde GNN) en augmentaties.
• De lage memorisatiescores bij veel modellen suggereren dat de primaire uitdaging voor huidige generatieve materiaalmodellen het fitten van de juiste datadistributie (kwaliteit) is, in plaats van het vermijden van memorizatie.

Dit werk vestigt een modulair blauwdruk voor holistische evaluatie, waarbij wordt benadrukt dat naarmate generatieve modellen geavanceerder worden, het vermogen om onderscheid te maken tussen echte ontdekking en de replicatie van de trainingsset van essentieel belang wordt.