Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates
Cet article propose une méthode entièrement différentiable utilisant des portes de Bernoulli relaxées pour découvrir des tickets de loterie forts dans des réseaux de neurones sur-optimisés, permettant d'atteindre jusqu'à 90 % de parcimonie avec une perte de précision minimale sans nécessiter d'estimateurs de gradient non différentiables ni de cycles d'élagage itératifs.