5575 articles
Cette étude démontre que l'adaptation de domaine non supervisée, en particulier via la minimisation de la divergence maximale de moments (MMD), permet d'améliorer significativement la capacité d'un modèle d'identification de radioisotopes, entraîné sur des données synthétiques, à se généraliser à des environnements expérimentaux réels en utilisant des données cibles non étiquetées.
En réexaminant l'alignement au moment de l'inférence sous l'angle du taux de victoire plutôt que de la récompense attendue, cette étude démontre que l'échantillonnage Best-of-N est statistiquement optimal et propose une variante simple qui élimine le piratage de la récompense tout en conservant cette optimalité.
Ce papier présente Icarus, un modèle de ciel tout-temps basé sur l'apprentissage profond capable de générer des cartes d'environnement en pleine plage dynamique (FDR) photoréalistes et contrôlables par l'utilisateur, surmontant ainsi les limitations des modèles actuels dans la reproduction précise des zones solaires et nuageuses pour l'éclairage basé sur l'image (IBL).
Le papier présente MIRACL, un cadre d'apprentissage par renforcement méta multi-objectif hiérarchique qui permet une généralisation à peu d'exemples pour l'optimisation des chaînes d'approvisionnement multi-échelons en décomposant les tâches et en utilisant une stratégie d'adaptation basée sur la dominance de Pareto, surpassant ainsi les méthodes conventionnelles en termes d'efficacité et de diversité des solutions.
Ce papier propose SGPP, un cadre géométrique unifié qui reformule l'édition des modèles de flux rectifié comme un problème d'optimisation proximale guidée par le score, permettant ainsi de combiner efficacement la fidélité à l'entrée et la réalisme généré tout en généralisant les méthodes d'inversion existantes.
Ce papier présente TML-Bench, un nouveau benchmark évaluant la fiabilité et les performances de dix modèles de langage open-source sur des tâches d'apprentissage automatique tabulaire de type Kaggle, en mesurant leur capacité à générer des soumissions valides et performantes sous différentes contraintes de temps.
Ce papier présente SCORE, une méthode de fusion de modèles qui améliore la généralisation de domaine en résolvant les conflits de sous-espaces singuliers entre modèles entraînés sur des distributions différentes grâce à la projection dans une base orthogonale partagée.
Cette étude propose l'hypothèse de sécurité désenchevêtrée (DSH), démontrant que les mécanismes de sécurité des grands modèles de langage séparent géométriquement la détection du danger de son refus, ce qui permet de créer des attaques efficaces en supprimant sélectivement la capacité d'agir tout en conservant la connaissance du risque.
Cet article propose une nouvelle méthode de gradient commuté pondéré par softmax pour l'optimisation minimax stochastique distribuée sous contraintes stochastiques, garantissant une convergence efficace et stable en boucle unique pour l'apprentissage fédéré, même en présence de participation partielle des clients.
Cet article introduit de nouvelles métriques d'alternation temporelles pour révéler que, dans le jeu de la Bataille des Exes multi-agents, les politiques apprises par Q-learning peuvent présenter des scores de justice élevés selon les mesures traditionnelles tout en échouant gravement à coordonner leurs actions dans le temps par rapport à des politiques aléatoires.
Cette étude utilise des crosscoders pour démontrer que les modèles Mixture of Experts (MoE) développent des représentations plus spécialisées et moins d'features uniques que les modèles denses, qui, eux, répartissent l'information sur des caractéristiques plus générales.
Cette étude démontre que les modèles Mixture of Experts (MoE) comme DeepSeekMoE reposent sur une expertise fortement concentrée, où un seul expert suffit souvent à approximer les performances de l'ensemble, ouvrant ainsi la voie à des optimisations d'inférence par élagage ciblé.
Ce papier présente MaCS, un cadre de régularisation simple et indépendant de l'architecture qui améliore simultanément la calibration et la robustesse des modèles de vision en combinant une pénalité de marge dans l'espace des logits et une régularisation de consistance locale, sans nécessiter de données supplémentaires ni modifier l'inférence.
Ce papier présente SEA-PEFT, une méthode d'affinage efficace en paramètres qui automatise la configuration des adaptateurs via une boucle d'auto-audit pour surmonter les défis du décalage de domaine et du manque de données dans la segmentation d'images médicales 3D en contexte few-shot.
Cette étude empirique examine les avantages, les limites et les pièges de l'adaptation au moment du test par le biais du prompting à plusieurs exemples, révélant que cette méthode est efficace pour les tâches structurées mais sensible à la stratégie de sélection et souvent peu bénéfique pour les tâches de génération ouverte.
Le papier présente ReflexiCoder, un cadre d'apprentissage par renforcement qui intègre des capacités intrinsèques d'autoréflexion et d'autocorrection dans les poids des modèles de langage, leur permettant d'atteindre des performances de pointe sur des tâches de codage complexes sans dépendre de retours externes ou d'exécution de code lors de l'inférence.
Le papier présente STEP, un cadre de prédiction d'événements stochastiques qui reformule la prédiction de liens temporels comme un problème de prévision séquentielle en temps continu basé sur les transitions de motifs temporels, offrant des gains significatifs de précision et une efficacité computationnelle supérieure sur plusieurs jeux de données réels.
Le papier présente ROSE, une méthode de réordonnancement de SparseGPT qui améliore la précision du pruning en une seule passe des grands modèles de langage en adaptant dynamiquement l'ordre d'élagage des poids en fonction de leur perte estimée, surpassant ainsi les approches existantes sur plusieurs modèles de pointe.
PixARMesh est une méthode qui reconstruit de manière autorégressive des maillages 3D complets et prêts pour les artistes d'une scène intérieure à partir d'une seule image RGB, en prédisant conjointement la disposition et la géométrie des objets dans un modèle unifié sans nécessiter d'optimisation postérieure.
Cet article propose trois techniques de mitigation de biais pour améliorer l'équité des modèles à goulot d'entité conceptuelle (CBM) en réduisant les fuites d'informations, en supprimant les concepts biaisés et en appliquant un débiasage adversarial, surpassant ainsi les travaux antérieurs en matière de compromis entre équité et performance.