NeuCLIP: Efficient Large-Scale CLIP Training with Neural Normalizer Optimization
Le papier présente NeuCLIP, un cadre d'optimisation novateur qui reformule la perte de contraste via l'analyse convexe et transforme l'estimation du terme de normalisation en l'apprentissage d'un réseau de neurones compact, permettant ainsi un entraînement CLIP plus efficace et performant à grande échelle sans dépendre de gros lots de données.