Technische Samenvatting: MAT-PREF: Verifieerbare Belonings-training verbetert Compositioneel Redeneren in Anorganische Materialen

Probleemstelling

Reinforcement learning van verifieerbare beloningen (RLVR) heeft aanzienlijke vooruitgang gedreven in wiskundig en computationeel redeneren, maar de toepassing ervan op wetenschappelijke domeinen blijft ondergewaardeerd wat betreft de aard van generalisatie. Bestaande benchmarks in materiaalkunde falen vaak in het deconstrueren of prestatiewinsten voortkomen uit structurele transfer, eigenschapstransfer, of louter memorisatie. Specifiek vereist de taak van ionische substitutie in anorganische kristallen een compositioneel redeneren dat oxidatietoestanden, coördinatieomgevingen, ionstraal en elektronische structuureffecten gezamenlijk overweegt. Huidige grote taalmodellen (LLM's), zelfs met honderden miljarden parameters, worstelen met het betrouwbaar componeren van deze factoren en presteren nabij toeval bij dergelijke taken. Bovendien is het onduidelijk of verifieerbare belonings-training het redeneren kan verbeteren in domeinen waar correctheid afhankelijk is van Density Functional Theory (DFT) eigenschapsrangschikkingen in plaats van eenvoudige patroonherkenning.

Methodologie

De MAT-PREF Benchmark

De auteurs introduceren MAT-PREF, een benchmark bestaande uit 10.837 meerkeuzevragen over ionische substitutie over 11 anorganische structuurfamilies. De data is gebaseerd op DFT-berekeningen van de Materials Project.

• Constructie: Ingangen zijn gefilterd op stabiliteit ($E_{hull} \le 0.1$ eV/atoom), geclassificeerd in structuurfamilies, toegewezen aan oxidatietoestanden en gevalideerd op siteniveau. Vragen worden gegenereerd door een gesubstitueerd element te verwijderen om een "template groep" te creëren, waarbij wordt gewaarborgd dat eigenschapsverschillen uitsluitend voortvloeien uit het gesubstitueerde element.
• Evaluatie-splits: De benchmark isoleert drie orthogonale assen van generalisatie:
  1. IID (In-Distribution): Nieuwe hosts binnen bekende trainingsstructuurfamilies.
  2. OOD-host (Out-of-Distribution Hosts): Volledig uit de training gehouden structuurfamilies (Garnet, Halide Perovskite, NASICON).
  3. OOD-property: Uit de training gehouden doeleigenschappen (band gap) voor hosts die tijdens de training alleen via een andere eigenschap (vormingsenergie) zijn gezien.
• Scoring: Om robuustheid tegen distractor-gevoeligheid te garanderen, wordt nauwkeurigheid gemeten op het logische vraagniveau (meerderheidsstemming over meerdere distractor-permutaties van dezelfde onderliggende chemische vraag).

Trainingspipeline

De auteurs hanteren een tweefasige trainingspipeline op 8B-parameter modellen (Qwen3-8B en Llama-3.1-8B-Instruct):

1. Supervised Fine-Tuning (SFT): Een redeneerspoor (reasoning trace) wordt gegenereerd voor elke trainingsvraag met behulp van DeepSeek-R1, waarbij de instructie is om te redeneren vanuit chemische principes (ionstraal, coördinatie, etc.) zonder numerieke DFT-waarden te onthullen. Het model wordt gefinetuned op deze (vraag, spoor) paren om het format en de chemische vocabulaire te bootstrappen.
2. Group Relative Policy Optimization (GRPO): Startend vanaf het SFT-checkpoint, wordt het model getraind met GRPO met een binaire verifieerbare beloning. De beloning is 1 als het geëxtraheerde antwoord overeenkomt met de DFT-onderbouwde grondwaarheid en 0 anders. Deze fase verfijnt de policy om de waarschijnlijkheid van het correcte antwoord te maximaliseren zonder expliciete procesbeloningen te vereisen.

Belangrijkste Bijdragen

1. MAT-PREF Benchmark: Een DFT-gegronde benchmark met drie orthogonale evaluatieassen en een scoringprotocol dat inconsistent redeneren over distractor-permutaties bestraft.
2. Prestatiewinst via Verifieerbare Beloningen: Demonstratie dat een tweefasige SFT+GRPO pipeline een 8B model tilt naar 65,2% nauwkeurigheid op IID en 71,6% op OOD-host, waarmee het sterkste zero-shot baseline (Qwen3-235B-Instruct) met meer dan 20 procentpunten overtreft op structurele generalisatiesplits.
3. Mechanistisch Inzicht in Consistentie: Bewijs dat GRPO de policy-distributie hervormt zodat correcte antwoorden de modale respons worden in plaats van slechts bereikbaar. Dit wordt gekwantificeerd door een reductie in de kloof tussen milde scoring (ten minste één permutatie correct) en strikte scoring (alle permutaties correct) van 24,0pp naar 14,3pp. Logit lens-analyse onthult een ~20pp voordeel in "antwoord-kristallisatie" bij de kritieke beslissingslaag (laag 24) voor GRPO-modellen vergeleken met SFT.

Resultaten

• Schaal vs. Redeneren: Vier zero-shot frontier modellen (70–671B parameters) blijven in de 33–54% nauwkeurigheidsrange over alle splits, wat bevestigt dat model schaal alleen het vereiste voor compositioneel redeneren bij ionische substitutie niet oplost.
• Trainings-effectiviteit: De SFT+GRPO pipeline op Qwen3-8B bereikt 65,2% (IID), 71,6% (OOD-host) en 60,0% (OOD-property). Deze resultaten worden gereproduceerd op Llama-3.1-8B met identieke hyperparameters, wat de bevindingen bevestigt dat ze niet architectuur-specifiek zijn.
• Generalisatiepatronen:
  • Structurele Transfer: Het model generaliseert goed naar onbekende families, waarbij NASICON de hoogste OOD-nauwkeurigheid behaalt (82,1%).
  • Eigenschapstransfer: Cross-property transfer (trainen op vormingsenergie, testen op band gap) levert 60,0% nauwkeurigheid op, wat aanzienlijk boven de random baselines ligt, maar een kleinere marge heeft ten opzichte van zero-shot modellen, wat suggereert dat frontier pretraining enige cross-property redenering vangt.
  • Bottlenecks: Redeneren over elektronische structuur (band gap) blijft een primaire bottleneck, die achterloopt op thermodynamisch redeneren (vormingsenergie) met meer dan 20 procentpunten op IID-splits.
• Consistentie: GRPO verbetert de consistentie over distractor-permutaties aanzienlijk, waardoor de kloof tussen milde en strikte scoring wordt verkleind en een scherpere interne toewijding aan het juiste antwoord wordt aangetoond.

Betekenis en Claims

Het artikel claimt dat verifieerbare-belonings-training een levensvatbare en effectieve methode is voor het verbeteren van compositioneel wetenschappelijk redeneren in materiaalkunde, zelfs wanneer de trainingsdata beperkt is tot 8B-parameter modellen. De resultaten suggereren dat:

• Format en Redeneren Scheidbaar zijn: SFT lost format en vocabulaire problemen op, terwijl GRPO de redeneer-policy verfijnt tegen verifieerbare natuurwetten.
• Generalisatie Bereikbaar is: Modellen kunnen generaliseren naar geheel nieuwe structuurfamilies en redeneren transfereren tussen verschillende fysieke eigenschappen, mits het trainingssignaal gegrond is in first-principles berekeningen.
• Consistentie een Sleutelmetriek is: Het vermogen om consistente antwoorden te produceren over oppervlakkige perturbaties (distractor-permutaties) is een onderscheidbaar en meetbaar voordeel van RLVR, wat wijst op een verschuiving van afhankelijkheid van oppervlakkige cues naar dieper chemisch redeneren.

De auteurs blijven bescheiden over de reikwijdte, waarbij zij opmerken dat MAT-PREF redeneren test binnen een DFT-consistente framework in plaats van de real-world synthese haalbaarheid, en dat elektronische-structuur redeneren een beperking blijft die toekomstig werk vereist, zoals process reward models.