Los artículos que dieron forma a la ciencia moderna y la IA
El experimento ATLAS en el LHC presentó evidencia clara de la producción de una nueva partícula compatible con el bosón de Higgs del Modelo Estándar, con una masa de 126.0 GeV y una significancia estadística de 5.9 desviaciones estándar, basada en datos de colisiones protón-protón a 7 y 8 TeV.
El experimento CMS en el LHC anunció el descubrimiento de una nueva partícula bosónica con una masa de aproximadamente 125 GeV, observada a través de un exceso significativo de eventos en varios modos de desintegración que coincide con las predicciones del bosón de Higgs del Modelo Estándar.
El 14 de septiembre de 2015, el observatorio LIGO realizó la primera detección directa de ondas gravitacionales provenientes de la fusión de un sistema binario de agujeros negros estelares, confirmando así las predicciones de la relatividad general y la existencia de tales sistemas.
El Telescopio del Horizonte de Sucesos obtuvo la primera imagen directa de la sombra del agujero negro supermasivo en el centro de M87, confirmando las predicciones de la relatividad general y permitiendo calcular su masa en aproximadamente 6.500 millones de masas solares.
El paper presenta el Transformer, una nueva arquitectura de red basada exclusivamente en mecanismos de atención que elimina las recurrencias y convoluciones, logrando resultados superiores en tareas de traducción automática y parsing con un entrenamiento más rápido y paralelizable.
Este paper presenta un marco de aprendizaje residual que facilita el entrenamiento de redes neuronales extremadamente profundas, logrando récords de precisión en la clasificación de imágenes de ImageNet y mejoras significativas en tareas de detección y segmentación de objetos.
Los autores proponen un nuevo marco para estimar modelos generativos mediante un proceso adversarial que entrena simultáneamente una red generadora y una discriminadora en un juego minimax, permitiendo la generación de muestras sin necesidad de cadenas de Markov o inferencia aproximada.
El artículo presenta BERT, un nuevo modelo de representación lingüística bidireccional pre-entrenado en texto no etiquetado que, mediante un simple ajuste fino, logra resultados de vanguardia en once tareas de procesamiento de lenguaje natural sin necesidad de modificaciones arquitectónicas específicas.
Este artículo presenta resultados de alta calidad en la síntesis de imágenes utilizando modelos de difusión probabilística, logrando puntuaciones de estado del arte en CIFAR10 y calidad comparable a ProgressiveGAN en LSUN mediante un límite variacional ponderado que conecta estos modelos con el aprendizaje de puntuación y la dinámica de Langevin.
El artículo presenta Adam, un algoritmo eficiente y fácil de implementar para la optimización estocástica basado en estimaciones adaptativas de momentos, que demuestra un rendimiento superior en problemas a gran escala y con gradientes ruidosos o dispersos, junto con un análisis teórico de su convergencia y una variante llamada AdaMax.
El artículo presenta la Normalización por Lotes (Batch Normalization), una técnica que acelera el entrenamiento de redes neuronales profundas al normalizar las entradas de cada capa para reducir el desplazamiento de covarianza interno, lo que permite utilizar tasas de aprendizaje más altas, una inicialización menos crítica y actúa como regularizador, logrando así un rendimiento superior en la clasificación de imágenes.
Este artículo presenta un algoritmo de inferencia variacional estocástica que, mediante una reparametrización del límite inferior y el uso de un modelo de reconocimiento, permite realizar un aprendizaje eficiente y escalable en modelos probabilísticos dirigidos con variables latentes continuas y conjuntos de datos grandes.
El artículo establece leyes empíricas de escalado que demuestran que el rendimiento de los modelos de lenguaje sigue una ley de potencias en función del tamaño del modelo, el conjunto de datos y la capacidad de cómputo, revelando que la asignación óptima de recursos implica entrenar modelos muy grandes en conjuntos de datos relativamente pequeños y detener el entrenamiento antes de la convergencia completa.
El artículo presenta el método de "dropout", que mejora el rendimiento de las redes neuronales en tareas de reconocimiento al prevenir el sobreajuste mediante la omisión aleatoria de detectores de características durante el entrenamiento, lo que fomenta la robustez y establece nuevos récords en benchmarks.
Este artículo presenta dos nuevas arquitecturas de modelos para generar representaciones vectoriales continuas de palabras a partir de grandes conjuntos de datos, logrando mejoras significativas en precisión y eficiencia computacional en comparación con técnicas anteriores.