Die Arbeiten, die moderne Wissenschaft und KI geprägt haben
Das ATLAS-Experiment am LHC meldet in dieser Studie die Entdeckung eines neuen neutralen Bosons mit einer Masse von 126,0 GeV, das mit einer statistischen Signifikanz von 5,9 Standardabweichungen beobachtet wurde und mit dem Standardmodell-Higgs-Boson übereinstimmt.
Das CMS-Experiment am LHC hat in Proton-Proton-Kollisionen bei Energien von 7 und 8 TeV ein neues Boson mit einer Masse von etwa 125 GeV entdeckt, dessen Signifikanz von 5,0 Standardabweichungen die Entdeckung eines neuen Teilchens, höchstwahrscheinlich des Higgs-Bosons, bestätigt.
Dieser Artikel beschreibt die erste direkte Beobachtung von Gravitationswellen, die am 14. September 2015 durch die Verschmelzung zweier schwarzer Löcher erzeugt wurden und damit sowohl die Existenz von binären schwarzen Löchern als auch die Vorhersagen der Allgemeinen Relativitätstheorie experimentell bestätigen.
Das Event-Horizon-Teleskop hat erstmals den Schatten des supermassereichen Schwarzen Lochs im Zentrum der Galaxie M87 abgebildet, wodurch die Vorhersagen der Allgemeinen Relativitätstheorie bestätigt und die Masse des Objekts auf 6,5 Milliarden Sonnenmassen bestimmt werden konnte.
Das Paper stellt die Transformer-Architektur vor, die ausschließlich auf Aufmerksamkeitsmechanismen statt auf Rekursion oder Faltungen setzt und damit bei maschinellen Übersetzungs- und Parsing-Aufgaben sowohl eine höhere Qualität als auch eine deutlich effizientere Trainingszeit erreicht.
Die Autoren stellen ein Residual-Learning-Framework vor, das das Training extrem tiefer neuronaler Netze erleichtert und durch den Einsatz von Restfunktionen auf Datensätzen wie ImageNet und COCO neue State-of-the-Art-Ergebnisse in der Bilderkennung erzielt.
Die Autoren stellen ein neues Framework vor, das zwei Modelle – ein generatives Modell G und ein diskriminatives Modell D – in einem adversären Minimax-Spiel gleichzeitig trainiert, um die Datenverteilung zu erfassen, ohne dabei Markov-Ketten oder aufwendige Inferenznetzwerke zu benötigen.
Die Arbeit stellt BERT vor, ein bidirektionales Transformer-Modell, das durch Vor-Training auf ungelabelten Texten und anschließendes Feinabstimmen mit nur einer zusätzlichen Ausgabeschicht neue State-of-the-Art-Ergebnisse auf elf verschiedenen NLP-Aufgaben erzielt.
Diese Arbeit stellt hochwertige Bildsyntheseergebnisse mittels Diffusions-Wahrscheinlichkeitsmodellen vor, die durch eine neuartige Verbindung zu Denoising Score Matching und Langevin-Dynamik trainiert werden und auf CIFAR10 sowie LSUN neue State-of-the-Art-Ergebnisse erzielen.
Die Arbeit stellt Adam vor, einen effizienten und leicht zu implementierenden Algorithmus zur stochastischen Optimierung, der auf adaptiven Schätzungen niedrigerer Momente basiert und sich durch geringen Speicherbedarf sowie gute Leistung bei großen, verrauschten oder spärlichen Problemen auszeichnet.
Die vorgestellte Arbeit führt Batch Normalization ein, eine Methode zur Normalisierung von Layereingaben in neuronalen Netzen, die das Problem des internen Kovariaten-Shifts löst, das Training durch höhere Lernraten und weniger sorgfältige Initialisierung erheblich beschleunigt und als Regularisierer dient, wodurch auf dem ImageNet-Datensatz ein neuer Rekord mit einer Top-5-Fehlerrate von 4,9 % erzielt wird.
Dieses Paper stellt einen skalierbaren stochastischen Variationsinferenz-Algorithmus vor, der durch eine Reparametrisierung des unteren Schranken-Schätzers effizientes Lernen und Inferenz in gerichteten probabilistischen Modellen mit kontinuierlichen latenten Variablen und großen Datensätzen ermöglicht.
Die Studie zeigt, dass die Leistung von Sprachmodellen durch einfache Potenzgesetze in Abhängigkeit von Modellgröße, Datensatzgröße und Rechenkapazität bestimmt wird, was zu der Empfehlung führt, sehr große Modelle auf moderaten Datenmengen zu trainieren und den Prozess vor der Konvergenz zu stoppen, um die Rechenressourcen optimal zu nutzen.
Das Paper stellt die Dropout-Technik vor, die durch das zufällige Deaktivieren von Neuronen während des Trainings die Ko-Adaptation von Merkmalserkennern verhindert, Überanpassung reduziert und damit die Leistung von neuronalen Netzen bei verschiedenen Aufgaben wie Spracherkennung und Objekterkennung signifikant verbessert.
Diese Arbeit stellt zwei neue Modellarchitekturen vor, die es ermöglichen, innerhalb eines Tages hochwertige Wortvektoren aus einem sehr großen Datensatz zu berechnen und dabei sowohl die Genauigkeit als auch die Recheneffizienz im Vergleich zu früheren Methoden signifikant zu steigern.