OptiRoulette Optimizer: A New Stochastic Meta-Optimizer for up to 5.3x Faster Convergence
Die Arbeit stellt OptiRoulette vor, einen stochastischen Meta-Optimierer, der durch dynamische Auswahl von Update-Regeln aus einem Pool und speziellen Anpassungsmechanismen die Konvergenzgeschwindigkeit und -zuverlässigkeit im Vergleich zu AdamW auf mehreren Bilddatensätzen signifikant verbessert.