TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
El artículo presenta TrasMuon, un optimizador que mejora la estabilidad y velocidad de convergencia de los métodos Muon al preservar su geometría ortogonalizada mientras introduce una calibración global y un recorte de región de confianza basado en la energía para mitigar la sensibilidad a la magnitud de los pasos y los picos de alta energía.