ButterflyViT: 354 Expert Compression for Edge Vision Transformers
ButterflyViT is een nieuwe methode die Vision Transformers voor randapparatuur mogelijk maakt door experts te behandelen als geometrische herschikkingen van een gedeelde quantized substraat, wat resulteert in een 354-voudige vermindering van het geheugengebruik bij 64 experts met verwaarloosbaar verlies aan nauwkeurigheid.