Separators in Enhancing Autoregressive Pretraining for Vision Mamba
Il paper introduce STAR, un metodo innovativo di pre-addestramento autoregressivo per Vision Mamba che utilizza separatori per estendere significativamente la lunghezza delle sequenze in ingresso, ottenendo prestazioni competitive come dimostrato dalla precisione del 83,5% su ImageNet-1k.