Escaping The Big Data Paradigm in Self-Supervised Representation Learning
Dit paper introduceert SCOTT en MIM-JEPA, een methode die Vision Transformers in staat stelt om zonder grote datasets of rekenkracht robuuste representaties te leren, waardoor de afhankelijkheid van 'big data' in het zelftoezichtende leren voor visie wordt doorbroken.