Robust Training of Neural Networks at Arbitrary Precision and Sparsity

Deze paper introduceert een unificerend raamwerk dat kwantisatie en verduidelijking als additief ruis modelleert en een afgeleid denoising-dekwantisatietransform toepast om stabiele training van neurale netwerken op willekeurige precisie- en sparsiteitsniveaus mogelijk te maken, waardoor state-of-the-art resultaten worden behaald in ultra-lage precisie-regimes zoals A1W1.

Chengxi Ye, Grace Chu, Yanfeng Liu, Yichi Zhang, Lukasz Lew, Li Zhang, Mark Sandler, Andrew HowardWed, 11 Ma🤖 cs.AI

ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning

Dit paper introduceert ARLBench, een efficiënt en flexibel benchmark voor hyperparameteroptimalisatie in versterkingsleer dat het mogelijk maakt om diverse AutoRL-methoden te vergelijken met een fractie van de gebruikelijke rekkracht door gebruik te maken van een geselecteerde subset van representatieve taken.

Jannis Becktepe, Julian Dierkes, Carolin Benjamins, Aditya Mohan, David Salinas, Raghu Rajan, Frank Hutter, Holger Hoos, Marius Lindauer, Theresa EimerWed, 11 Ma🤖 cs.LG

Learning responsibility allocations for multi-agent interactions: A differentiable optimization approach with control barrier functions

Dit paper introduceert een datagedreven aanpak op basis van differentieerbare optimalisatie en controle-barrièrefuncties om verantwoordelijkheidsallocaties voor veilige multi-agent-interacties te leren, waardoor een interpreteerbaar inzicht wordt verkregen in hoe agenten hun gedrag aanpassen om de veiligheid van anderen te waarborgen.

Isaac Remy, David Fridovich-Keil, Karen LeungWed, 11 Ma🤖 cs.LG

Calabi-Yau metrics through Grassmannian learning and Donaldson's algorithm

Dit artikel presenteert een nieuwe machine learning-methode die gradiëntafdaaltechnieken op Grassmanniaanse variëteiten combineert met Donaldson's algoritme om efficiënte benaderingen van Calabi-Yau-metrieken te verkrijgen, waarbij de auteurs de prestaties testen op de Dwork-familie van driedimensionale variëteiten en de opkomst van niet-triviale lokale minima in de moduli-ruimte observeren.

Carl Henrik Ek, Oisin Kim, Challenger MishraWed, 11 Ma🤖 cs.LG

Adaptive and Stratified Subsampling for High-Dimensional Robust Estimation

Dit artikel introduceert en analyseert twee subsampling-schatters, Adaptive Importance Sampling en Stratified Sub-sampling, voor robuuste hoogdimensionale regressie onder zware-tail ruis, contaminatie en tijdsafhankelijkheid, waarbij het theorie-algoritme-gat wordt overbrugd en bewezen wordt dat deze methoden de minimax-optimale snelheid bereiken en empirisch superieur presteren ten opzichte van uniforme subsampling.

Prateek Mittal, Joohi ChauhanWed, 11 Ma🤖 cs.LG

Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning

Deze paper introduceert Scalable Message Passing Neural Networks (SMPNNs), een architectuur die standaard convolutie combineert met Pre-Layer Normalization in plaats van attention, waardoor diepe en schaalbare graafneuralen netwerken mogelijk worden die prestaties leveren die concurreren met de beste Graph Transformers zonder de hoge rekenkosten van attention-mechanismen.

Haitz Sáez de Ocáriz Borde, Artem Lukoianov, Anastasis Kratsios, Michael Bronstein, Xiaowen DongWed, 11 Ma🤖 cs.LG