Do We Really Need Permutations? Impact of Model Width on Linear Mode Connectivity
Diese Arbeit zeigt empirisch, dass eine einfache Vergrößerung der Modellbreite in Kombination mit einer geeigneten Softmax-Temperaturkalibrierung ausreicht, um lineare Modus-Konnektivität zu erreichen, ohne dass eine aufwendige Permutation der Parameter notwendig ist.