NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches
Die Arbeit stellt NOBLE vor, eine Architektur-Erweiterung für Transformer, die permanente nichtlineare Low-Rank-Branches in die linearen Schichten integriert, um das Training von Grund auf zu beschleunigen und dabei die Effizienz bei minimalen Parameter- und Zeitkosten signifikant zu steigern.