Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning
Ce papier démontre que la réduction de la variance directionnelle des axes de décision (directional CDNV) dans les représentations auto-supervisées explique à la fois la forte performance en transfert few-shot et la faible interférence entre multiples tâches en forçant ces axes à devenir quasi orthogonaux.