335 articles
Cet article démontre que l'apprentissage d'un modèle fort à partir des labels imparfaits d'un modèle faible via la régression ridge à caractéristiques aléatoires permet d'améliorer substantiellement les lois d'échelle de l'erreur de test, permettant au modèle fort d'atteindre des taux optimaux même lorsque le modèle faible ne voit pas son erreur diminuer avec la taille de l'échantillon.
Ce papier propose une nouvelle méthode expérimentale appelée « Artificial Replay » qui permet de comparer efficacement des algorithmes de bandit manchot en réutilisant les données d'une première exécution, réduisant ainsi considérablement les coûts d'interaction tout en garantissant un estimateur non biaisé et à variance sous-linéaire.
Cet article établit pour la première fois un principe de grande déviation pour les réseaux de neurones convolutifs dans le régime à nombre infini de canaux, en démontrant ce principe pour les matrices de covariance conditionnelle et la distribution a posteriori, tout en fournissant une preuve simplifiée de la convergence vers un processus gaussien.
Ce papier améliore l'analyse de Klivans et al. en démontrant que le degré polynomial nécessaire pour l'apprentissage agnostique de classes de concepts à surface de Gauss bornée est de , établissant ainsi des bornes quasi-optimales pour l'apprentissage des fonctions de seuil polynomial dans le modèle des requêtes statistiques.
Ce papier démontre que les graphes de codage prédictif constituent un sur-ensemble mathématique des réseaux de neurones à propagation avant, renforçant ainsi leur pertinence dans le domaine de l'apprentissage automatique et la notion de topologie des réseaux neuronaux.
Cet article démontre que le flot de gradient sur les modèles softmax à valeurs polarise intrinsèquement les sorties vers des solutions à faible entropie, offrant ainsi une explication théorique à des phénomènes empiriques des transformateurs tels que les « attention sinks » et les activations massives.
Cet article propose la méthode SPPCSO, une approche d'estimation pénalisée adaptative qui intègre la régression en composantes principales et la régularisation pour surmonter les défis de la multicolinéarité et du bruit élevé dans les données de haute dimension, offrant ainsi une sélection de variables stable et précise.
Ce papier présente les Environnements de Surveillance Synthétiques (SME), une suite infinie de tâches de contrôle continu aux politiques optimales connues, conçue pour permettre une analyse scientifique rigoureuse et transparente des algorithmes d'apprentissage par renforcement en isolant l'impact de facteurs environnementaux spécifiques sur leurs performances.
Cet article propose le BAEN-SVM, un modèle de classification binaire robuste basé sur une nouvelle fonction de perte asymétrique et bornée, qui surpasse les SVM classiques dans les environnements bruyants tout en offrant des garanties théoriques de robustesse et de consistance.
Cet article présente un cadre de calcul certifié et précis des normes d'espaces fonctionnelles (telles que et Sobolev) pour les réseaux de neurones profonds, en combinant l'arithmétique par intervalles, le raffinement adaptatif et l'agrégation par quadrature afin de fournir des bornes déterministes garanties sur les résidus des PINN.
Cet article présente DistBART, une approche bayésienne non paramétrique pour la régression de distributions qui modélise la fonction de régression à l'aide d'ensembles d'arbres de décision (BART), offrant ainsi une méthode évolutive et théoriquement fondée pour prédire des réponses scalaires à partir de prédicteurs de distributions.
Ce papier présente une approche de mise en cache sémantique qui réduit considérablement le temps d'exécution de l'apprentissage de concepts en Description Logique en évitant les appels redondants de récupération d'instances, tout en restant efficace pour les raisonneurs symboliques et neuro-symboliques.
Cet article propose deux algorithmes de gradient alterné primal-dual d'ordre zéro, ZO-PDAPG et ZO-RMPDPG, pour résoudre des problèmes minimax non convexes avec contraintes linéaires couplées en fournissant les premières garanties de complexité itérative dans les contextes déterministe et stochastique, tout en établissant un nouvel état de l'art pour les cas sans contraintes couplées.
Cet article propose une approche de factorisation matricielle non négative (NMF) intégrant une formulation min-max pour atténuer les biais, en démontrant par des expériences synthétiques et réelles que cette méthode peut améliorer l'équité entre les groupes, bien que cela puisse parfois se faire au détriment de la précision pour certains individus.
Cette étude expérimentale démontre que les modèles d'apprentissage automatique conscients de l'équité permettent d'atteindre un meilleur compromis entre précision prédictive et équité dans le contexte du scoring de crédit par rapport aux modèles de classification traditionnels.
Cet article démontre que l'optimisation des réseaux de neurones peu profonds souffre de la malédiction de la dimension, où la vitesse de décroissance du risque de population lors de l'entraînement par flot de gradient est fondamentalement limitée par la dimension de l'espace et la régularité de la fonction cible, même avec des fonctions d'activation localement lipschitziennes.
Cet article étend la méthode de flux d'entropie aux algorithmes d'apprentissage régis par des processus de Markov homogènes en temps, en établissant de nouvelles bornes de généralisation grâce à une approximation continue exacte et à des liens avec les inégalités de Sobolev logarithmiques modifiées.
Cet article propose et analyse Clip21-SGD2M, une nouvelle méthode pour l'apprentissage fédéré qui combine le recadrage, l'impulsion de type heavy-ball et la rétroaction d'erreur pour garantir simultanément des taux de convergence optimaux et une forte confidentialité différentielle, même en présence de données hétérogènes.
Cet article propose une formulation variationnelle du flot de particules log-homotopique en le reliant au flot de gradient de Fisher-Rao, permettant de dériver des algorithmes d'estimation gaussiens et à mélange de gaussiennes qui généralisent le flot exact de Daum et Huang.
Ce papier présente CausalPitfalls, un benchmark complet conçu pour évaluer rigoureusement les capacités des grands modèles de langage à surmonter les pièges statistiques de l'inférence causale, révélant ainsi leurs limitations actuelles dans ce domaine critique.