From Infrared to Ultraviolet]{From Infrared to Ultraviolet: A Renormalization Group Approach to Frequency-Aware Progressive Training
Dieses Paper schlägt eine frequenzbewusste progressive Trainingsstrategie vor, die von der Renormierungsgruppe inspiriert ist und sukzessive Niederfrequenz- zu Hochfrequenzzweige mit abnehmenden Lernraten aktiviert, wobei es konsistente Verbesserungen bei niederdimensionalen Few-Shot-Regressionsaufgaben nachweist, während gleichzeitig klargestellt wird, dass seine Wirksamkeit in hochdimensionalen oder glatten Prozessszenarien, in denen die Skalentrennung weniger relevant ist, abnimmt.