Soft Equivariance Regularization for Invariant Self-Supervised Learning
Die Arbeit stellt „Soft Equivariance Regularization" (SER) vor, einen effizienten Regularisierer, der durch die Entkopplung von Invarianz und Äquivarianz auf verschiedenen Netzwerkschichten die Repräsentationsqualität für Selbstüberwachtes Lernen verbessert, ohne dabei zusätzliche Vorhersageköpfe zu benötigen oder die Trainingskosten signifikant zu erhöhen.