Gli articoli che hanno plasmato la scienza moderna e l'IA
Il documento presenta l'osservazione, con una significatività statistica di 5.9 deviazioni standard, di una nuova particella neutra con massa di 126,0 GeV, compatibile con il bosone di Higgs del Modello Standard, ottenuta dall'analisi combinata dei dati raccolti dal rivelatore ATLAS al Large Hadron Collider nel 2011 e nel 2012.
L'esperimento CMS al LHC ha osservato, con una significatività statistica di 5.0 deviazioni standard, un nuovo bosone con una massa di circa 125 GeV, prodotto nelle collisioni protone-protone e rilevato principalmente attraverso i canali di decadimento in due fotoni e in due bosoni Z.
Il 14 settembre 2015, i rivelatori LIGO hanno osservato per la prima volta direttamente le onde gravitazionali generate dalla fusione di un sistema binario di buchi neri, confermando le previsioni della relatività generale e dimostrando l'esistenza di tali sistemi stellari.
Il primo articolo sui risultati dell'Event Horizon Telescope presenta l'immagine diretta dell'ombra del buco nero supermassiccio al centro della galassia M87, ottenuta tramite interferometria a lunghissima base a 1,3 mm, che conferma le previsioni della relatività generale e permette di stimarne la massa in circa 6,5 miliardi di masse solari.
Il paper introduce il Transformer, una nuova architettura di rete basata esclusivamente sui meccanismi di attenzione che elimina ricorrenze e convoluzioni, ottenendo risultati superiori nelle traduzioni macchina e una maggiore efficienza computazionale rispetto ai modelli precedenti.
Questo paper introduce un framework di apprendimento residuo che facilita l'addestramento di reti neurali estremamente profonde, ottenendo risultati record nel 2015 su ImageNet e COCO grazie alla capacità di migliorare l'accuratezza all'aumentare della profondità del modello.
Gli autori propongono un nuovo framework basato su un processo avversariale in cui una rete generativa e una discriminativa vengono addestrate simultaneamente per modellare la distribuzione dei dati senza ricorrere a catene di Markov o inferenza approssimata.
Il paper introduce BERT, un nuovo modello di rappresentazione linguistica basato su trasformatori bidirezionali pre-addestrati su testo non etichettato che, grazie alla semplice sintonizzazione fine con un solo strato aggiuntivo, raggiunge risultati all'avanguardia in undici compiti di elaborazione del linguaggio naturale.
Questo paper presenta modelli di diffusione probabilistica per la sintesi di immagini di alta qualità, ottenendo risultati all'avanguardia su CIFAR10 e LSUN grazie a un legame innovativo con il denoising score matching e un approccio di decompressione progressiva.
Il paper introduce Adam, un algoritmo efficiente e facile da implementare per l'ottimizzazione stocastica basato su stime adattive dei momenti di ordine inferiore, che combina i vantaggi di AdaGrad e RMSProp per gestire efficacemente problemi con gradienti rumorosi o sparsi e grandi quantità di dati.
Il paper introduce la Batch Normalization, una tecnica che accelera l'addestramento delle reti neurali profonde riducendo lo spostamento interno della covariata attraverso la normalizzazione degli input di ogni layer, permettendo l'uso di tassi di apprendimento più elevati, migliorando la regolarizzazione e raggiungendo risultati di classificazione su ImageNet superiori a quelli umani.
Questo articolo introduce un algoritmo di inferenza variazionale stocastica basato su un ricalcolo del limite inferiore che, sfruttando un modello di riconoscimento e metodi di discesa del gradiente stocastico, permette un'apprendimento efficiente su grandi dataset e in presenza di variabili latenti continue con distribuzioni posteriori intrattabili.
Il paper stabilisce leggi empiriche secondo cui le prestazioni dei modelli linguistici seguono una legge di potenza rispetto a dimensioni del modello, dataset e calcolo, dimostrando che l'allocazione ottimale delle risorse computazionali prevede l'addestramento di modelli molto grandi su dataset relativamente piccoli e l'arresto dell'addestramento ben prima della convergenza.
Il paper dimostra che l'uso della tecnica di "dropout", che consiste nell'omettere casualmente metà dei rilevatori di caratteristiche durante l'addestramento, riduce drasticamente l'overfitting prevenendo le co-adattazioni complesse e migliorando significativamente le prestazioni su compiti di riconoscimento vocale e di oggetti.
Gli autori propongono due nuove architetture di modelli per generare rappresentazioni vettoriali continue delle parole da grandi dataset, ottenendo miglioramenti significativi in termini di accuratezza e costi computazionali rispetto alle tecniche precedenti.