HTMuon: Improving Muon via Heavy-Tailed Spectral Correction
Dit paper introduceert HTMuon, een verbeterde versie van de Muon-optimizer die door middel van heavy-tailed spectrale correctie de prestaties van LLM's en beeldclassificatie verbetert door de beperkingen van de oorspronkelijke orthogonale update-regel te overwinnen.