Influence-driven Curriculum Learning for Pre-training on Limited Data
Cet article démontre que le remplacement des métriques de difficulté conventionnelles centrées sur l'humain par des scores d'influence des données d'entraînement centrés sur le modèle permet à l'apprentissage curriculaire de surpasser de manière significative le pré-entraînement par ordre aléatoire sur des données limitées, atteignant une amélioration de plus de 10 points de pourcentage sur les benchmarks.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.