POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation
Le papier présente POET-X, une variante économe en mémoire et efficace du cadre POET pour l'entraînement des grands modèles de langage, qui permet de préentraîner des modèles à plusieurs milliards de paramètres sur un seul GPU Nvidia H100 là où les optimiseurs standards échouent par manque de mémoire.