11526 articles
Ce papier propose ExGRPO, un cadre d'optimisation stratégique qui améliore l'efficacité et la stabilité de l'apprentissage par renforcement des modèles de raisonnement en réutilisant et en priorisant sélectivement les expériences passées les plus pertinentes, telles que celles caractérisées par leur justesse et leur entropie.
Le papier présente DragFlow, un cadre innovant qui exploite les puissants priors du modèle DiT FLUX via une supervision basée sur des régions et des contraintes de gradient pour surmonter les limitations des méthodes de retouche par glissement traditionnelles et établir un nouvel état de l'art dans ce domaine.
Cet article établit théoriquement et expérimentalement que l'efficacité de l'augmentation du temps de calcul pour améliorer le raisonnement des modèles de langage dépend crucialement de la diversité, de la pertinence et de la difficulté des tâches présentes dans les données d'entraînement, révélant notamment que des compétences insuffisantes dans ces données peuvent dégrader les performances malgré un effort de calcul accru.
Cet article démontre théoriquement et valide empiriquement que les modèles implicites, grâce à une analyse non paramétrique de leur puissance expressive, peuvent voir leur capacité à modéliser des fonctions complexes s'accroître avec le temps de calcul alloué lors du test, leur permettant d'atteindre des performances supérieures à celles des modèles explicites.
Ce papier présente RACE Attention, une méthode d'attention strictement linéaire qui remplace l'attention Softmax par des projections gaussiennes et un hachage sensible à la localité, permettant un entraînement efficace sur des séquences extrêmement longues (jusqu'à 75 millions de tokens) tout en surpassant ou égalant les performances des modèles de base.
Cet article propose une décomposition de la perte d'entropie croisée révélant que seule la composante « erreur-entropie » suit une loi d'échelle robuste, expliquant ainsi pourquoi la loi d'échelle traditionnelle échoue aux très grandes échelles et établissant une nouvelle base théorique pour le développement des modèles de langage.
Le papier présente DRPO, une méthode novatrice qui découple les signaux de récompense pour les raisonnements corrects et incorrects afin de réduire efficacement la longueur des réponses des grands modèles de raisonnement sans compromettre significativement leurs performances.
Cet article présente CCGBO, une nouvelle méthode d'optimisation bayésienne qui améliore l'efficacité de la recherche de l'optimum global en quantifiant la contribution individuelle des observations passées via un crédit contrefactuel intégré à la fonction d'acquisition, garantissant ainsi une convergence accélérée avec une régression sous-linéaire.
Cet article présente les Directional Sheaf Hypergraph Networks (DSHN), un cadre novateur fondé sur la théorie des faisceaux cellulaires qui unifie et généralise les approches d'apprentissage sur les hypergraphes dirigés et non dirigés, permettant ainsi de surmonter les biais d'homophilie et d'obtenir des performances significativement supérieures sur des données réelles.
Le papier propose ResCP, une méthode d'inférence conforme sans entraînement pour les séries temporelles qui utilise l'informatique en réservoir pour réévaluer dynamiquement les scores de conformité et garantir une couverture conditionnelle asymptotique tout en évitant le réentraînement coûteux.
Ce papier présente la distillation « boomerang », une méthode efficace permettant de générer des modèles intermédiaires de taille variable sans entraînement supplémentaire en partant d'un grand modèle enseignant, le réduisant à un petit modèle étudiant puis en réincorporant progressivement des couches de l'enseignant pour obtenir des performances lisses et compétitives entre les deux extrêmes.
Cet article propose une méthode d'entraînement nommée SSFT, combinée à une optimisation de politique (GFPO), qui utilise des tokens de bifurcation globaux pour préserver la diversité des modes de raisonnement parallèle et améliorer les performances des modèles de langage sur des tâches complexes de mathématiques et de génération de code.
Cet article présente RGSD, un algorithme novateur qui ancre la découverte de compétences dans un espace latent sémantique grâce à des données de référence, permettant ainsi à des agents à haute dimensionnalité d'imiter et de découvrir des comportements variés tout en surclassant les méthodes d'apprentissage par imitation pour le respect des commandes de style.
Cet article propose une généralisation ANOVA de l'analyse de Fourier sur l'hypercube booléen pour des mesures de probabilité arbitraires, en fournissant une base explicite, une méthode pour surmonter la malédiction de la dimensionnalité et une application concrète à l'IA explicable pour des espaces de configuration non uniformes.
Cet article démontre de manière théorique et pratique que le t-SNE exagère la structure des regroupements, rendant impossible l'inférence fiable de la force des clusters d'entrée ou de l'extrémité des points aberrants à partir de ses visualisations.
Ce papier présente TTOM, un cadre sans entraînement qui améliore la génération vidéo compositionnelle en alignant les modèles de fondation vidéo sur des layouts spatio-temporels via une optimisation et une mémorisation paramétriques en temps d'exécution.
Le papier présente DISCO, une méthode simple et efficace qui sélectionne des échantillons en maximisant les désaccords entre les modèles pour condenser les données d'évaluation et réduire considérablement les coûts de calcul tout en maintenant une haute précision de prédiction.
Cette étude révèle que, contrairement aux modèles de diffusion conventionnels, les modèles de diffusion latents (LDM) bénéficient d'un arrêt anticipé pour améliorer la qualité des échantillons, un phénomène intrinsèque à la réduction de dimensionnalité où la dimension de l'espace latent détermine le moment optimal de l'arrêt.
Le papier présente PHyCLIP, une méthode qui unifie la hiérarchie et la compositionnalité dans l'apprentissage de représentations vision-langage en utilisant une métrique de produit sur des facteurs hyperboliques, surpassant ainsi les approches existantes sur diverses tâches d'évaluation.
Les auteurs proposent un modèle d'agent actor-critic couplé à un générateur de séquences inspiré de l'hippocampe qui, en exploitant la synergie entre les entrées visuelles égo-centriques clairsemées et une mémoire récurrente, résout efficacement des tâches de navigation et reproduit des phénomènes neurobiologiques clés comme la formation de champs de place.