What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers
Cet article propose d'utiliser le codage de position ALiBi pour réduire les biais positionnels dans les Vision Transformers, permettant ainsi une adaptation plus efficace pour des tâches comme la segmentation d'images de microscopie où l'orientation n'est pas préférentielle.