Generating is not discovering: a pre-registered physics judge for AI-proposed superconductors, calibrated on six known superconductors and one negative control

De zoektocht naar nieuwe supergeleiders—materialen die elektriciteit geleiden met nul weerstand—is een nieuw tijdperk binnengegaan waarin kunstmatige intelligentie wordt gevraagd om ze te verbeelden. Decennialang wisten wetenschappers dat voor een materiaal om een supergeleider te worden, de elektronen op een specifieke manier moeten paren, en dat het materiaal sterk genoeg moet zijn om tot een draad te kunnen worden getrokken voor praktisch gebruik. Recentelijk zijn krachtige computermodellen begonnen met het genereren van miljoenen nieuwe kristalstructuren, waarbij ze beweren dat deze stabiel en veelbelovend zijn. Echter, een cruciale vraag blijft onbeantwoord: bezitten deze door de computer gegenereerde ideeën daadwerkelijk de fysieke eigenschappen die nodig zijn om te werken, of zijn het slechts wiskundig stabiele vormen die falen wanneer ze worden getoetst aan de wetten van de natuurkunde? Het vakgebied heeft een gebrek aan een standaardmethode om te controleren of een voorgesteld materiaal daadwerkelijk zijn elektronen kan paren en de reis van de laboratoriumbank naar een praktische toepassing kan overleven.

Reinaldo Inácio, een onderzoeker gevestigd in São Paulo, heeft een rigoureus testingsysteem gebouwd om deze vraag te beantwoorden. Hij noemt het een "physics judge" (fysica-rechter). In tegen tegenstelling tot eerdere methoden die simpelweg controleren of een structuur bij elkaar blijft, simuleert deze rechter het complexe gedrag van elektronen om te zien of ze zullen paren en een supergeleidende staat zullen vormen. Het systeem neemt een kristalstructuur als input en voert deze door een reeks van zeven strikte fasen. Eerst berekent het de elektronische structuur van het materiaal. Daarna bouwt het een vereenvoudigd model om te volgen hoe elektronen bewegen. Vervolgens berekent het hoe het materiaal reageert op magnetische fluctuaties, wat de krachten zijn die vaak ervoor zorgen dat elektronen paren in hogetemperatuur-supergeleiders. Ten slotte controleert het of het materiaal in een draad kan worden gemaakt, waarbij gekeken wordt naar factoren zoals hoe de elektronen zich gedragen op de grenzen tussen kristallen en hoe het materiaal met spanning omgaat. Elke stap wordt beheerst door vooraf ingestelde regels, en het gehele proces is ontworpen om transparant en reproduceerbaar te zijn, waarbij elke berekening wordt vastgelegd zodat iedereen het resultaat kan verifiëren.

Om te bewijzen dat deze rechter werkt, testte de onderzoeker hem eerst op zes bekende supergeleiders, waaronder materialen zoals niobium en een koperhoudende verbinding genaamd YBa2Cu3O7. Voordat hij de berekeningen uitvoerde, schreef hij precies op wat de rechter voor elk materiaal zou moeten vinden, waardoor hij een reeks "antwoordsleutels" creëerde. Het systeem identificeerde succesvol het correcte koppelingsgedrag voor alle zes de bekende materialen, waarmee werd bevestigd dat het de fysica van echte supergeleiders kan herkennen. De rechter identificeerde ook correct een negatieve controle: een materiaal dat zeer sterk lijkt op een bekende supergeleider maar niet daadwerkelijk supergeleidend is. Toen de rechter dit niet-supergeleidende materiaal analyseerde, bepaalde het correct dat de elektronen zich niet zouden paren, zelfs toen de structuur van het materiaal bijna identiek was aan die van een werkend materiaal. Dit toonde aan dat de rechter gevoelig genoeg is om onderscheid te maken tussen materialen die wel werken en die niet, op basis van subtiele verschillen in hun elektronische interacties.

De onderzoeker gebruikte deze rechter vervolgens om de output van huidige generatoren van kunstmatige intelligentie te auditeren. Hij onderzocht duizenden structuren voorgesteld door AI-systemen en haalde deze door de physics judge. De resultaten waren schokkend. Toen de rechter 1.248 nieuwe structuren analyseerde die door een AI-systeem genaamd MatterGen waren gegenereerd, vond het nul kandidaten die zowel nieuw als in staat waren om de specifieke elektronische koppeling te dragen die nodig is voor een draad. Evenzo, toen de rechter meer dan 47.000 verbindingen uit een publieke database scande, stelde hij vast dat hoewel velen de juiste geometrische vorm hadden, ze de noodzakelijke elektronische kracht misten om supergeleiders te worden. De studie concludeerde dat de huidige generatie AI-tools uitstekend is in het vinden van stabiele vormen, maar nog niet in staat is om nieuwe fysica te ontdekken. De AI vindt in essentie materialen opnieuw die wetenschappers al kennen, of stelt structuren voor die op papier veelbelovend lijken maar falen bij de fysieke test van elektronische koppeling.

Het artikel betoogt dat de flessenhals bij de ontdekking van nieuwe supergeleiders niet langer het vermogen om ideeën te genereren is, maar het vermogen om ze te beoordelen. De kosten voor het draaien van deze volledige physics judge op een nieuw materiaal zijn verrassend laag, geschat op minder dan 200 Amerikaanse dollar aan cloud computing-kosten voor de gehele studie. De onderzoeker stelt voor dat de wetenschappelijke gemeenschap deze rechter als een publieke benchmark adopteert. Voordat een nieuw door AI gegenereerd materiaal als een ontdekking wordt gevierd, moet het door deze test worden gehaald om te zien of het werkelijk de fysica bezit om de taak te volbrengen. Totdat een dergelijke test wordt toegepast, blijven de duizenden "stabiele" structuren die door AI worden voorgesteld, onbewezen ideeën. De studie suggereert dat echte ontdekking pas zal plaatsvinden wanneer de generatie van nieuwe ideeën wordt gematcht door een rigoureuze, op fysica gebaseerde filter die "nee" kan zeggen tegen materialen die niet kunnen werken, om ervoor te zorgen dat toekomstige inspanningen zich alleen richten op kandidaten met een reële kans om de volgende generatie supergeleidende draden te worden.