Accurate predictive model of band gap with selected important features based on explainable machine learning

Dit onderzoek toont aan dat het toepassen van uitlegbare machinelearning-technieken op een SVR-model voor het voorspellen van bandgaten leidt tot een vereenvoudigd model met slechts vijf kenmerken dat niet alleen vergelijkbare nauwkeurigheid behoudt, maar ook betere generalisatie en lagere voorspellingsfouten oplevert dan het oorspronkelijke model.

De kern

Stel je voor dat je een superkrachtige voorspeller wilt bouwen die kan zeggen hoe goed een nieuw materiaal elektriciteit geleidt. In de wereld van de materialenwetenschap noemen we dit de "bandgap". Als je dit goed kunt voorspellen, kun je snellere computers of betere zonnepanelen ontwerpen.

De auteurs van dit onderzoek (van Toyota) hebben een slimme computer (een machine learning-model) gebouwd die dit doet. Maar ze liepen tegen een probleem aan: de computer was als een zwarte doos. Hij gaf het juiste antwoord, maar niemand wist waarom of hoe hij daar kwam. Bovendien gebruikte hij 18 verschillende ingrediënten (kenmerken) om zijn voorspelling te maken, waarvan sommige misschien wel helemaal niet nodig waren.

Hier is hoe ze dit probleem oplossen, vertaald in een eenvoudig verhaal:

1. Het probleem: De overvolle koffer

Stel je voor dat je een koffer moet inpakken voor een lange reis (het voorspellen van nieuwe materialen). Je pakt 18 dingen mee: een kaart, een kompas, een wereldbol, een foto van je huis, een oude krant, een fles water, etc.
De computer gebruikt al deze 18 items om te beslissen of je de reis kunt maken. Het probleem is dat sommige items dubbelop zijn (bijvoorbeeld de kaart en de wereldbol vertellen bijna hetzelfde) en sommige items (zoals de oude krant) zijn nutteloos.
Als je te veel items meeneemt, wordt de koffer zwaar en onhandig. De computer wordt dan "overgevoelig": hij werkt perfect voor de reis die je al hebt gemaakt (de bekende data), maar faalt als je een heel nieuwe reis moet maken (nieuwe, onbekende materialen).

2. De oplossing: De "Uitleg-Tool" (Explainable AI)

De onderzoekers gebruikten een speciale tool genaamd Explainable Machine Learning (XML). Je kunt dit zien als een detective die in de zwarte doos van de computer kijkt en zegt: "Hé, deze 18 items zijn niet allemaal even belangrijk!"

Ze gebruikten twee methoden om de detective te zijn:

• De "Verwarde-Test" (Permutation Feature Importance): De detective neemt één item uit de koffer, verwart het een beetje en kijkt of de computer nog steeds goed werkt. Als de computer in paniek raakt en fouten maakt, was dat item belangrijk. Als de computer niets merkt, was het item nutteloos.
• De "Rekenmeester" (SHAP): Deze methode kijkt naar elk item en zegt precies hoeveel het heeft bijgedragen aan de uiteindelijke voorspelling.

3. De grote verrassing: Minder is meer!

Toen de detective aan het werk ging, gebeurde er iets verrassends:

• De "Dubbels" moesten weg: Ze ontdekten dat sommige items zo op elkaar leken (ze waren sterk gecorreleerd) dat ze elkaar verwarden. Als je ze allebei in de koffer had, dacht de detective dat ze allebei superbelangrijk waren, terwijl ze eigenlijk maar één ding vertelden. De onderzoekers gooide deze dubbele items er eerst uit, zodat de detective eerlijk kon oordelen.
• De top 5: Na het weggooien van de nutteloze en dubbele items, bleek dat je eigenlijk maar 5 items nodig had om net zo goed te presteren als met 18!

4. Het resultaat: Een lichtere, slimmere koffer

Het mooie van hun nieuwe "5-items-koffer" is:

1. Net zo goed thuis: Voor bekende materialen werkt hij net zo goed als de zware, oude versie.
2. Beter op avontuur: Voor nieuwe, onbekende materialen (de "out-of-domain" data) werkt de nieuwe versie zelfs beter! Omdat hij niet overbelast is met onnodige info, kan hij zich beter aanpassen aan nieuwe situaties.
3. Sneller en goedkoper: Je hoeft niet meer 18 dingen te meten of te berekenen, maar alleen maar 5. Dat bespaart tijd en geld.

De kernboodschap

Dit onderzoek laat zien dat je in de wereld van AI niet altijd "hoe meer, hoe beter" moet denken. Soms is het slim om te vragen: "Wat heb ik echt nodig?"

Door de computer te laten uitleggen welke ingrediënten echt belangrijk zijn, kunnen we complexe, ondoorzichtige modellen omzetten in simpele, betrouwbare en snelle modellen. Het is alsof je van een zware, volgepropte rugzak overstapt op een strakke, lichte wandeltas die je precies meeneemt wat je nodig hebt om de bergtop te bereiken.

Kortom: Ze hebben een slimme manier gevonden om de "zwarte doos" open te maken, de rommel eruit te halen, en een slimmere, snellere voorspeller te bouwen die beter werkt voor de toekomst.

Technische samenvatting

Probleemstelling

In het veld van materialen-informatica hebben niet-lineaire machine learning (ML) modellen, zoals Support Vector Regression (SVR), uitstekende voorspellende prestaties voor materiaaleigenschappen zoals de bandkloof ($E_g$). Echter, deze modellen worden vaak als "black boxes" beschouwd, wat hun interpretatie en wetenschappelijke inzicht beperkt. Daarnaast kunnen ze onnodige of sterk gecorreleerde kenmerken (features) bevatten die de prestaties niet verbeteren of zelfs de generalisatie verminderen, vooral bij data buiten het trainingsdomein (Out-of-Domain of OOD). Bestaande studies die gebruikmaken van Explainable ML (XML) zijn vaak beperkt tot specifieke materiaalklassen (zoals perovskieten) of gebruiken geen gecombineerde XML-methoden om de betrouwbaarheid van feature-importance te verifiëren. Er is een behoefte aan een framework dat niet alleen de voorspellende nauwkeurigheid behoudt, maar ook een compact, interpreteerbaar model levert dat goed generaliseert naar chemisch verschillende systemen.

Methodologie

De auteurs hebben een systematisch framework ontwikkeld om een SVR-model voor het voorspellen van de bandkloof op GW-niveau ($E_g^{GW}$) te vereenvoudigen en te interpreteren. De methode omvat de volgende stappen:

1. Dataset en Basismodel:
   • Gebruik van een dataset van 270 binaire en ternaire anorganische verbindingen (in-domein) en een OOD-dataset van 40 materialen met overgangsmetalen of quaternaire/pentanaire elementen.
   • Een "pristine" SVR-model met 18 input-kenmerken (elementaire eigenschappen zoals atoomnummer, elektronegativiteit, ionisatie-energie, en DFT-afgeleide eigenschappen zoals $E_g^{PBE}$).
2. Preprocessing: Eliminatie van Gecorreleerde Kenmerken:
   • Voordat XML-methoden worden toegepast, wordt een correlatieanalyse uitgevoerd. Kenmerken met een sterke correlatie (correlatiecoëfficiënt > 0,8) worden verwijderd om misinterpretatie van feature-importance te voorkomen.
   • Dit proces resulteerde in een reductie van 18 naar 11 kenmerken. Variance Inflation Factors (VIF) werden gebruikt om multicollineariteit te verifiëren; na filtering lagen alle VIF-waarden onder de 10.
3. Toepassing van XML-methoden:
   • Twee methoden werden gecombineerd voor het bepalen van feature-importance: Permutation Feature Importance (PFI) en SHapley Additive exPlanations (SHAP).
   • De rangschikking van de kenmerken werd gebaseerd op de gemiddelde scores van beide methoden om de betrouwbaarheid te waarborgen.
   • De resultaten werden gevalideerd tegenover een interpreteerbaar lineair LASSO-model.
4. Modelreductie en Validatie:
   • Er werden modellen gebouwd met progressief minder kenmerken (van 11 tot 2), gebaseerd op de XML-rangschikking.
   • De prestaties werden geëvalueerd op basis van de Root Mean Square Error (RMSE) voor zowel in-domein als OOD-data.
   • Statistische significantie werd getoetst met gepaarde t-tests over 20 willekeurige train/test splits.

Belangrijkste Bijdragen

• Framework voor XML-gestuurde Feature Selectie: Een expliciete methode om complexe ML-modellen te reduceren tot compacte, interpreteerbare modellen zonder in te leveren op nauwkeurigheid.
• Preprocessing voor Correlatie: Het aantonen dat het verwijderen van sterk gecorreleerde kenmerken voordat XML-analyse wordt uitgevoerd cruciaal is. Zonder deze stap worden de importance-scores van SHAP en PFI vertekend (bijvoorbeeld door compenserend gedrag tussen sterk gecorreleerde variabelen zoals $\sigma(Z)$ en $\sigma(m)$).
• Cross-validatie van Methoden: Het combineren van PFI, SHAP en LASSO om een robuuste rangschikking van belangrijke kenmerken te garanderen.
• Verbeterde Generalisatie: Het aantonen dat een vereenvoudigd model beter presteert op chemisch verschillende (OOD) data dan het complexe oorspronkelijke model.

Resultaten

• Optimale Feature Set: De analyse toonde aan dat een model met slechts 5 kenmerken de beste balans biedt tussen nauwkeurigheid en generalisatie. Deze vijf kenmerken zijn:
  1. $E_g^{PBE}$ (Bandkloof berekend met PBE-functional)
  2. $\sigma(\chi)$ (Standaarddeviatie van elektronegativiteit)
  3. $\bar{\chi}$ (Gemiddelde elektronegativiteit)
  4. $|\bar{n}|$ (Absolute gemiddelde oxidatietoestand)
  5. $\sigma(p)$ (Standaarddeviatie van het periodenummer)
• Prestaties In-Domein: Het 5-kenmerk model behaalde een RMSE van 0,254 eV, wat vergelijkbaar is met het pristine model (18 kenmerken) van 0,247 eV.
• Prestaties Out-of-Domain (OOD): Het 5-kenmerk model vertoonde aanzienlijk betere generalisatie met een RMSE van 0,348 eV, vergeleken met 0,460 eV voor het pristine model. Dit is een verbetering van meer dan 0,1 eV.
• Statistische Betrouwbaarheid: De verbetering op OOD-data was statistisch significant (p < 10⁻⁷). Bovendien hadden de gereduceerde modellen een kleinere voorspellingsvariantie (predictive deviation) dan het complexe model.
• Fysische Interpretatie: De feature $\sigma(p)$ (dispersie van hoofdkwantumgetallen) bleek belangrijk voor de generalisatie, hoewel het een zwakke lineaire correlatie met de doelvariabele had. Dit suggereert dat het een corrigerend effect heeft op de PBE-naar-GW correctie dat niet wordt gevangen door gemiddelde eigenschappen.

Betekenis en Conclusie

De studie demonstreert dat Explainable ML (XML) niet alleen nuttig is voor het begrijpen van "waarom" een model een voorspelling doet, maar ook als krachtig instrument voor het ontwerpen van efficiëntere modellen. Door sterk gecorreleerde kenmerken te elimineren en vervolgens te focussen op de meest invloedrijke variabelen via PFI en SHAP, kunnen onderzoekers:

1. De rekenkosten voor het verzamelen van kenmerken verlagen.
2. Overfitting voorkomen en de betrouwbaarheid van voorspellingen voor nieuwe, chemisch verschillende materialen verhogen.
3. Fysisch betekenisvolle inzichten verkrijgen in de factoren die de bandkloof bepalen.

Het voorgestelde framework biedt een reproduceerbare route voor de materialenontdekking waarbij complexiteit wordt teruggebracht zonder in te leveren op de nauwkeurigheid, wat essentieel is voor de schaalbare toepassing van ML in de materiaalkunde.