11095 articles
Ce papier présente Skywork-Reward-V2, une série de modèles de récompense open-source qui atteignent des performances de pointe grâce à l'utilisation du jeu de données SynPref-40M, créé via une synergie humain-IA pour curer à grande échelle des préférences de haute qualité.
Cet article présente MC-INR, un cadre novateur basé sur l'apprentissage par méta-entraînement et le regroupement dynamique pour encoder efficacement des données de simulation scientifique multivariées sur des grilles non structurées, surmontant ainsi les limitations des représentations neuronales implicites existantes.
Cet article présente EP-GAT, un réseau de neurones à attention graphique parallèle basé sur l'énergie qui améliore la classification des tendances boursières en modélisant dynamiquement les interdépendances entre les actions via une distribution de Boltzmann et en préservant les dynamiques intra-actions hiérarchiques, surpassant ainsi plusieurs méthodes de référence sur cinq jeux de données réels.
Cet article propose une nouvelle méthode de guidage sans classificateur pour les modèles de diffusion masqués, fondée sur une analyse théorique en basse dimension qui révèle que le guidage tardif améliore la qualité des échantillons et permet de corriger un déséquilibre dans les transitions, conduisant à une simple modification de code qui améliore significativement la génération d'images et de textes conditionnels.
Cet article présente les modèles de flux de jauge, une nouvelle classe de modèles génératifs intégrant un champ de jauge apprenable dans les équations différentielles ordinaires, qui surpassent significativement les modèles de flux traditionnels sur des mélanges gaussiens et promettent des performances améliorées pour diverses tâches génératives.
Cet article présente les modèles de flux de jauge supérieurs, une nouvelle classe de modèles génératifs qui étendent les modèles de jauge classiques en intégrant des algèbres L pour incorporer la géométrie et les symétries supérieures, démontrant ainsi des performances supérieures sur des mélanges gaussiens.
Cet article établit l'équivalence entre l'algorithme GPTQ et l'algorithme du plan le plus proche de Babai en démontrant que la quantisation des réseaux de neurones correspond à la résolution du problème du vecteur le plus proche dans un réseau généré par les données d'entrée, ouvrant ainsi la voie à l'utilisation de la réduction de base de réseau pour améliorer la quantisation.
En analysant plus de 5 000 cas de vol d'identité, cette recherche propose un cadre de prédiction des risques de confidentialité basé sur un graphe d'écosystème d'identité et des réseaux de neurones graphiques pour estimer la probabilité que la divulgation d'un attribut d'identité entraîne celle d'autres données personnelles.
Le papier présente Shuffle-R1, un cadre d'apprentissage par renforcement efficace pour les modèles de langage multimodaux qui résout les problèmes d'effondrement des avantages et de silence des trajectoires grâce à un échantillonnage dynamique et un remaniement des données pour optimiser l'entraînement.
Ce papier présente un cadre d'optimisation non paramétrique des coordonnées de réaction intégrant l'historique des trajectoires, permettant une analyse robuste des dynamiques d'événements rares dans des systèmes complexes et des données longitudinales sans nécessiter d'échantillonnage extensif.
Cet article propose REC, un cadre d'apprentissage de récompense probabiliste qui utilise l'incertitude d'un ensemble de modèles pour améliorer l'apprentissage par préférences, permettant ainsi à des drones quadricoptères d'exécuter des manœuvres acrobatiques complexes avec un transfert réussi vers le monde réel sans récompenses manuelles.
Cette étude démontre que le modèle de fondation TabPFN, appliqué sans entraînement aux problèmes de caractérisation géotechnique du benchmark GEOAI, surpasse les modèles bayésiens hiérarchiques traditionnels en précision et en efficacité pour la prédiction spatiale et l'imputation de données, marquant ainsi une avancée significative dans le domaine.
Cet article propose le cadre DPH-RL, qui utilise des divergences f couvrant la masse (comme la KL directe) comme mécanisme de répétition pour préserver la diversité des solutions et améliorer les performances Pass@k et Pass@1 dans l'apprentissage par renforcement avec récompense vérifiable, tout en évitant l'oubli catastrophique et en réduisant les coûts de calcul.
Cet article établit des bornes d'erreur rigoureuses et un diagramme de phase pour l'entraînement des ResNets profonds, démontrant que leur dynamique de convergence vers une équation différentielle ordinaire (ODE) moyenne dépend crucialement de l'échelle du résidu, permettant soit une mise à jour non linéaire des caractéristiques locales, soit un régime « paresseux » linéaire.
Le système ScaleDoc accélère l'analyse sémantique de vastes collections de documents en découplant l'exécution des prédicats en une phase de représentation hors ligne et une phase de filtrage en ligne optimisée, utilisant un modèle proxy léger et un mécanisme de cascade adaptatif pour réduire considérablement les coûts d'inférence des LLM tout en garantissant la précision.
Cet article présente AIGB-Pearl, une méthode novatrice qui améliore les enchères automatiques génératives en intégrant une évaluation de trajectoires et une optimisation de politique contrainte pour permettre une exploration sûre au-delà des données statiques, surpassant ainsi les performances des approches existantes.
Cet article propose une méthode d'estimation rapide des distances de Wasserstein pour de multiples paires de distributions en apprenant un modèle de régression linéaire sur les distances de Wasserstein tranchées (standard et relevées), surpassant les approches existantes comme Wasserstein Wormhole tout en accélérant son entraînement.
Cet article propose une méthodologie d'évaluation rigoureuse et exempte de fuites de données pour le diagnostic de défauts de roulements, en mettant l'accent sur une partition des données par roulement et une formulation multi-étiquettes afin d'améliorer la généralisation et la fiabilité des modèles d'apprentissage automatique dans des applications industrielles réalistes.
Cet article propose un cadre théorique reliant la complexité de Kolmogorov aux Transformers en démontrant l'existence d'objectifs de longueur de description asymptotiquement optimes, tout en illustrant via une approche variationnelle à base de mélanges gaussiens que l'optimisation de ces objectifs pour améliorer la généralisation reste un défi majeur.
Cette étude théorique démontre que, bien que l'apprentissage par renforcement améliore la planification des modèles de langage en évitant les solutions erronées du fine-tuning supervisé grâce à l'exploration, les méthodes de gradient de politique souffrent d'un effondrement de la diversité, contrairement à l'apprentissage Q qui préserve cette diversité mais nécessite une conception rigoureuse des récompenses pour éviter les biais.