De papers die de moderne wetenschap en AI vormden
Het ATLAS-experiment bij de LHC heeft in proton-protonbotsingen duidelijke aanwijzingen gevonden voor de productie van een nieuw neutraal boson met een massa van ongeveer 126 GeV, wat compatibel is met het Standard Model Higgs-boson.
Het CMS-experiment heeft bij proton-protonbotsingen een nieuw deeltje waargenomen met een massa van ongeveer 125 GeV, wat sterk wijst op de ontdekking van het Higgs-boson.
Op 14 september 2015 detecteerde LIGO voor het eerst direct zwaartekrachtgolven veroorzaakt door de samensmelting van twee sterrenmassa-zwarte gaten, wat de existentie van dergelijke systemen bevestigt en een directe observatie van een binair zwart gat-gebeurtenis oplevert.
Het Event Horizon Telescope-team heeft voor het eerst de schaduw van het supermassieve zwarte gat in het centrum van het sterrenstelsel M87 afgebeeld, waarbij de waarnemingen de voorspellingen van de algemene relativiteitstheorie bevestigen en een massa van ongeveer 6,5 miljard zonsmassa opleveren.
Dit paper introduceert de Transformer, een nieuw netwerkarchitectuur dat uitsluitend op attentiemechanismen is gebaseerd en recurrente en convolutie-neuronale netwerken vervangt, wat resulteert in superieure vertaalkwaliteit, snellere training en betere schaalbaarheid.
Dit paper introduceert een residual learning framework dat het trainen van uiterst diepe neurale netten mogelijk maakt, wat leidt tot state-of-the-art resultaten op diverse beeldherkennings- en detectiecompetities zoals ILSVRC en COCO 2015.
Deze paper introduceert een nieuw raamwerk voor generatieve modellen dat gebruikmaakt van een adversariaal proces waarbij een generatief model en een discriminatief model gelijktijdig worden getraind in een minimax-spel om de dataverdeling te leren zonder Markov-ketens of geschatte inferentie.
Dit paper introduceert BERT, een nieuw taalmodel dat diepe bidirectionele representaties pre-traint op ongelabelde tekst en vervolgens met minimale aanpassingen state-of-the-art resultaten behaalt op diverse natuurlijke taalverwerkingstaken.
Dit paper introduceert hoogwaardige beeldsynthese met behulp van Diffusie Probabilistische Modellen, die een state-of-the-art FID-score van 3,17 op CIFAR10 bereiken en een progressief verliesgevoelig decompressieschema bieden dat is geïnspireerd op niet-evenwichtsthermodynamica.
Dit paper introduceert Adam, een efficiënt en eenvoudig te implementeren algoritme voor stochastische optimalisatie dat adaptieve momenten gebruikt en uitstekend presteert bij grote, ruige of schaarse datasets.
Het paper introduceert Batch Normalization, een techniek die de training van diepe neurale netwerken versnelt en stabiliseert door de interne covariatieverschuiving te verminderen via normalisatie van de laag-invoeren, waardoor hogere leerpercentages mogelijk worden en de noodzaak voor Dropout afneemt.
Dit paper introduceert een schaalbaar, stochastisch variatieal Bayes-algoritme dat efficiënte inferentie en leren mogelijk maakt in gerichte probabilistische modellen met continue latente variabelen en grote datasets, door middel van een herschreven variatiele ondergrens en het gebruik van een herkenningmodel.
Dit artikel onthult empirische schalingswetten voor taalmodellen die aantonen dat grotere modellen op een relatief kleine dataset trainen de meest rekenkracht-efficiënte strategie is, aangezien de prestaties volgens een machtsverband schalen met modelgrootte, datasetgrootte en rekenkracht.
Het introduceren van 'dropout', een techniek waarbij willekeurig de helft van de neurale detectors tijdens het trainen wordt uitgeschakeld, voorkomt overfitting door complexe co-aanpassingen te onderdrukken en leidt tot aanzienlijke verbeteringen in spraak- en objectherkenning.
De auteurs presenteren twee nieuwe modelarchitecturen die efficiënt hoogwaardige woordvectoren leren van zeer grote datasets met aanzienlijk lagere rekentijd dan eerdere methoden, terwijl ze state-of-the-art prestaties behalen op zowel semantische als syntactische vergelijkingsopdrachten.