342 articles
Cet article étudie les propriétés fondamentales des fonctions paraconvexes et analyse la convergence des méthodes de sous-gradient projeté pour leur optimisation, en validant théoriquement et numériquement leur efficacité sur divers problèmes de récupération de matrices de faible rang robustes.
Cet article démontre que l'optimisation des réseaux de neurones peu profonds souffre de la malédiction de la dimension, où la vitesse de décroissance du risque de population lors de l'entraînement par flot de gradient est fondamentalement limitée par la dimension de l'espace et la régularité de la fonction cible, même avec des fonctions d'activation localement lipschitziennes.
Cet article propose et analyse Clip21-SGD2M, une nouvelle méthode pour l'apprentissage fédéré qui combine le recadrage, l'impulsion de type heavy-ball et la rétroaction d'erreur pour garantir simultanément des taux de convergence optimaux et une forte confidentialité différentielle, même en présence de données hétérogènes.
Dans cette note, les auteurs comparent plusieurs notions de non-rigidité des vecteurs horizontaux dans les groupes de Carnot, motivées notamment par la caractérisation des ensembles monotones et les propriétés d'extension de Whitney.
Cet article propose une méthode d'apprentissage par renforcement inverse basée sur l'entropie maximale et les espaces de Hilbert à noyau reproduisant (RKHS) pour les jeux à champ moyen, permettant d'inférer des structures de récompenses non linéaires riches avec des garanties théoriques de convergence et une précision supérieure aux approches linéaires existantes.
Cet article propose et analyse un algorithme primal-dual accéléré par inertie, dérivé d'un système différentiel d'ordre deux à échelle temporelle, pour résoudre des problèmes d'optimisation convexe non lisse avec contraintes d'égalité linéaires, en établissant des taux de convergence rapides pour l'écart primal-dual, la violation de faisabilité et le résidu objectif.
Cet article propose un algorithme de gradient stochastique proximal avec réduction de variance et pas adaptatif pour l'optimisation convexe composite, dont la convergence forte et le taux de convergence en sont établis théoriquement et validés par des expériences numériques sur la régression logistique et Lasso.
Cet article propose un nouveau cadre théorique basé sur une formulation matricielle pour établir des bornes supérieures et inférieures sur le problème d'ordonnancement en atelier de type flowshop, démontrant par des tests sur les benchmarks Taillard et VRF une amélioration significative de ces bornes ainsi que des avancées théoriques sur les conjectures de Taillard et les ratios d'approximation asymptotiques.
Cet article propose un nouvel algorithme d'ADMM symétrique décentralisé qui, en intégrant plusieurs rounds de communication par itération via une nouvelle formulation de contraintes, réduit le coût de communication global et assure une convergence linéaire pour l'optimisation composite sur réseaux sans coordinateur central.
Ce papier propose Deep FlexQP, un solveur de programmation quadratique convexe accéléré par apprentissage profond et basé sur une relaxation élastique , qui garantit la récupération de solutions optimales ou minimisant les violations de contraintes tout en accélérant considérablement les solveurs de programmation quadratique séquentielle (SQP) pour des applications comme l'optimisation de trajectoires et les filtres de sécurité prédictifs.
Cet article propose D-APDB, un algorithme primal-dual accéléré et distribué avec backtracking qui atteint un taux de convergence optimal de pour l'optimisation contrainte composite convexe sans nécessiter la connaissance préalable des constantes de Lipschitz.
Cet article établit des garanties de convergence plus précises et rapides pour l'optimiseur Muon en utilisant une analyse directe et simplifiée qui s'affranchit des hypothèses restrictives des travaux antérieurs, offrant ainsi une caractérisation théorique améliorée applicable à une plus large gamme de problèmes d'optimisation non convexe.
Ce papier propose un cadre variationnel interprétant les couches des transformers comme des itérations d'algorithmes d'optimisation, permettant de concevoir une architecture accélérée par Nesterov qui surpasse les modèles de base sur des tâches de génération de texte.
Cet article démontre que le problème d'ordonnancement de flux de permutation robuste sous incertitude budgétisée peut être résolu en temps polynomial pour deux machines et approché pour un nombre fixe de machines, grâce à une réduction ingénieuse vers des instances du problème nominal qui évite la complexité des méthodes heuristiques ou d'optimisation par programmation en nombres entiers.
Cet article démontre que la rareté métrique de l'image réelle d'un quotient catégoriel sous l'action d'un groupe fini explique la prédominance de la symétrie et la structuration énergétique des paysages d'optimisation invariants, en reliant la géométrie des strates de bord à la localisation des minima globaux.
Cet article propose une méthode de contrôle des réseaux électriques adaptée aux événements rares, utilisant une approche par particules de Fleming-Viot au sein d'une optimisation stochastique multistage pour générer des scénarios de faible production éolienne et ainsi piloter de manière robuste et économique la production des centrales conventionnelles face aux pénuries d'énergie renouvelable.
Cet article démontre que l'optimisation de la politique pour le contrôle mixte H2/H-infini présente une structure non convexe bénigne où chaque point stationnaire est globalement optimal, grâce à un cadre de relèvement convexe étendu qui permet de concevoir des méthodes d'itération de politique évolutives.
Cet article propose une méthode de localisation par appartenance à un ensemble basée sur des mesures de distance bruitées, permettant de caractériser l'ensemble des positions possibles et de le borner efficacement par des formes convexes simples via la programmation convexe, sans recourir aux relaxations de programmation semi-définie.
Cet article propose une solution probabiliste aux problèmes de contrôle optimal linéaire-quadratique avec contraintes d'état, en fournissant une représentation de la fonction de valeur et un contrôle optimal sous forme forte pour maintenir un processus de diffusion dans un domaine donné tout en minimisant un coût quadratique.
Cet article démontre que, pour des données aléatoires de haute dimension, le biais implicite de la descente de gradient sur un modèle ReLU peu profond se rapproche de la solution à norme L2 minimale avec une erreur de l'ordre de , grâce à une nouvelle analyse primale-duale qui établit une stabilisation rapide des motifs d'activation ReLU.