What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers
यह शोध पत्र प्रदर्शित करता है कि ALiBi पोजीशनल एनकोडिंग के साथ विजन ट्रांसफॉर्मर्स को फाइनट्यून करना अंतर्निहित पोजीशनल बायस को प्रभावी ढंग से कम करता है और सामान्य सिमेंटिक रिप्रेजेंटेशन को सुरक्षित रखता है, जिससे दिशा-स्वतंत्र डोमेन जैसे कि मटेरियल साइंस माइक्रोस्कोपी में सफल ज़ीरो-शॉट अडैप्टेशन और सेगमेंटेशन सक्षम होता है।