2325 articles
Le papier présente LoRA-Ensemble, une méthode efficace et économe en paramètres pour l'ensemble de modèles dans les réseaux à attention, qui utilise des matrices de faible rang partagées pour surpasser les techniques implicites existantes et égaler les ensembles explicites en précision tout en offrant une meilleure calibration des incertitudes.
Ce papier présente FEX, un nouveau cadre d'explication rapide basé sur le gradient de politique qui représente les attributions par des distributions de probabilité, permettant de réduire le temps d'inférence de plus de 97 % et l'utilisation de la mémoire de 70 % tout en maintenant une haute qualité d'explication pour des tâches de classification d'images et de texte.
Cet article identifie et modélise théoriquement une phase de « corruption » lors du fine-tuning à peu d'exemples de modèles de diffusion, puis propose une solution basée sur les réseaux de neurones bayésiens qui atténue ce phénomène et améliore la fidélité et la diversité des images générées sans coût d'inférence supplémentaire.
Cet article propose DKDL-Net, un modèle léger de détection de défauts de roulements qui combine la distillation de connaissances découplée et le fine-tuning LoRA pour atteindre une précision de 99,48 % avec une complexité computationnelle réduite par rapport aux modèles existants.
Cet article propose un cadre sémiparamétrique structuré combinant des modèles de choix algorithmique et de réponse des spectateurs, ainsi qu'une extension de l'apprentissage automatique double (DML), pour estimer sans biais les effets des traitements dans les marchés à deux faces où l'interférence algorithmique fausse les expériences randomisées classiques.
LAMBDA est un agent de données open-source et sans code basé sur des modèles de langage, qui orchestre un programmeur et un inspecteur pour générer et déboguer automatiquement du code, tout en permettant une intervention humaine et l'intégration de connaissances externes pour faciliter l'analyse de données.
Ce papier présente OTAD, un nouveau modèle de défense robuste qui combine l'entraînement de réseaux de neurones avec une régularisation par transport optimal et l'interpolation via un problème d'intégration convexe pour garantir une continuité de Lipschitz locale tout en maintenant une grande expressivité.
Cet article établit les fondements statistiques de l'estimateur de vraisemblance partielle maximale par mini-lots (mb-MPLE) pour les modèles de Cox profonds, démontrant sa consistance et son efficacité asymptotique tout en fournissant des directives pratiques pour l'optimisation par descente de gradient stochastique.
Cet article propose une méthode d'échantillonnage par importance recuit (AIS) couplée à une reparamétrisation efficace pour surmonter les limitations des modèles latents à processus gaussiens (GPLVM) dans les espaces de grande dimension, permettant ainsi d'obtenir des bornes variationnelles plus serrées et une convergence plus robuste que les méthodes actuelles.
Cet article introduit la distance -Gromov-Wasserstein (-GW) comme un cadre unifié pour comparer des réseaux généralisés, démontrant qu'elle définit une métrique aux propriétés mathématiques robustes tout en offrant des bornes inférieures calculables pour des applications pratiques.
Cette étude met en garde contre l'utilisation des explicateurs post hoc comme SHAP et LIME pour valider des hypothèses en recherche commerciale, démontrant que leur interprétation comme preuves de relations sous-jacentes dans les données est souvent erronée en raison de l'alignement imparfait et de l'effet Rashomon, et propose plutôt de les utiliser comme outils exploratoires.
Cet article propose une réévaluation rigoureuse de l'efficacité énergétique des réseaux de neurones à impulsions (SNN) en comparant des modèles équivalents à des réseaux de neurones quantifiés (QNN) via un modèle analytique complet, révélant ainsi les conditions spécifiques où les SNN surpassent réellement les QNN et peuvent doubler l'autonomie des appareils portables.
Cet article propose un réseau d'oscillateurs couplés (CON) qui modélise la dynamique des systèmes physiques dans un espace latent sous forme lagrangienne avec une stabilité prouvée, permettant ainsi un contrôle basé sur des modèles en boucle fermée performant utilisant uniquement des images brutes.
Le papier présente xTED, un cadre innovant utilisant un modèle de diffusion pour adapter directement les trajectoires d'un domaine source à un domaine cible, comblant ainsi les écarts de domaine au niveau des données tout en préservant le sens sémantique et en facilitant l'apprentissage de politiques sans nécessiter d'architectures complexes.
Ce papier propose BNEM, un échantillonneur Boltzmann innovant basé sur l'apprentissage de l'énergie de données bruitées via un processus de diffusion et une technique de bootstrap, qui surpasse les méthodes existantes en termes de performance et de robustesse pour générer des échantillons IID.
Cet article établit que les méthodes de gradient de politique convergent vers une politique globalement optimale avec un taux non asymptotique pour une classe d'MDPs à horizon fini et espaces d'état et d'action généraux, en démontrant que leur paysage d'optimisation satisfait la condition Polyak-Łojasiewicz-Kurdyka, ce qui permet d'obtenir des garanties de complexité d'échantillonnage inédites pour des modèles opérationnels tels que les systèmes d'inventaire et les soldes de trésorerie stochastiques.
Cet article propose un cadre d'équations différentielles à retard neuronal (NDDE) inspiré du formalisme de Mori-Zwanzig pour apprendre efficacement des dynamiques non markoviennes à partir de systèmes partiellement observables, surpassant ainsi les méthodes existantes comme les réseaux LSTM et les ANODEs.
Le papier présente LS-Imagine, une méthode qui améliore l'efficacité de l'exploration dans les mondes ouverts en étendant l'horizon d'imagination via un modèle du monde à court et long terme, permettant ainsi aux agents d'apprendre des comportements orientés vers des récompenses à long terme.
En modélisant l'entraînement adversarial comme un système dynamique discret, cette étude propose un cadre PAC-Bayésien qui explique mécanistiquement le surapprentissage robuste et analyse l'impact de la perturbation des poids adversariaux sur la généralisation.
Cette étude démontre que les transformers, utilisés en apprentissage en contexte, peuvent estimer implicitement les états cachés et prédire avec précision les sorties de systèmes dynamiques linéaires et non linéaires, rivalisant ainsi avec des méthodes de filtrage bayésien classiques comme le filtre de Kalman, sans nécessiter de mises à jour de gradient ni de connaissance explicite du modèle.