3755 articles
Le papier présente LoFT, une méthode d'adaptation à faible rang qui aligne la dynamique de l'optimiseur avec celle du fine-tuning complet en projetant les moments d'Adam dans le sous-espace de rang faible, permettant ainsi de combler l'écart de performance avec le fine-tuning complet sans coût d'inférence supplémentaire ni besoin de réglage d'hyperparamètres.
Cet article propose ProNC, un cadre novateur d'apprentissage continu qui résout l'oubli catastrophique en remplaçant l'ETF global fixe par une expansion progressive et flexible des prototypes de classe, surpassant ainsi les méthodes existantes en performance et en efficacité.
Cet article propose une méthode de correction adaptative et modulaire qui intègre un opérateur apprenable pour garantir strictement la conservation des lois physiques dans les opérateurs neuronaux, améliorant ainsi leur précision et leur stabilité par rapport aux techniques existantes.
Le papier présente ActivePusher, un cadre novateur combinant la modélisation par physique résiduelle et l'apprentissage actif basé sur l'incertitude pour améliorer l'efficacité des données et la réussite de la planification à long terme dans la manipulation non préhensile.
Ce papier présente MMTU, un benchmark à grande échelle comprenant plus de 28 000 questions sur 25 tâches réelles, conçu pour évaluer de manière exhaustive les capacités des modèles de langage à comprendre, raisonner et manipuler des données tabulaires au niveau expert, révélant ainsi des lacunes significatives même chez les modèles les plus avancés.
Cette étude démontre que l'entraînement des réseaux de neurones artificiels peut être accéléré en exploitant une région de taux d'apprentissage où la dynamique de l'optimisation bascule vers un état de chaos transitoire, favorisant un équilibre optimal entre exploration et exploitation.
Ce papier présente EROICA, le premier système de débogage en ligne capable de diagnostiquer avec un impact minimal les problèmes de performance matériels et logiciels dans les clusters de GPU à grande échelle utilisés pour l'entraînement de modèles massifs.
Ce papier présente BemaGANv2, un vocodeur basé sur les GAN optimisé pour la génération audio longue durée, qui améliore la fidélité et la cohérence temporelle grâce à l'intégration de modules AMP et d'une combinaison systématique de discriminateurs innovants comme le MED et le MRD.
Le papier propose Co-LoRA, une méthode de fédéré personnalisé qui surmonte l'hétérogénéité des données et des architectures via une agrégation consciente de la pertinence des tâches et un module invariant en dimension, validée sur un nouveau benchmark multi-modal de 40 tâches.
Cet article propose deux algorithmes efficaces, Slate-GLM-OFU et Slate-GLM-TS, pour le problème des bandits contextuels logistiques à blocs (slate), qui atteignent une faible complexité computationnelle par round et un regret optimal grâce à une planification locale et un apprentissage global, tout en démontrant des performances supérieures aux méthodes de l'état de l'art sur des données synthétiques et dans la sélection d'exemples pour les modèles de langage.
Ce papier propose une caractérisation de l'efficacité de la minimisation sensible à la netteté (SAM) dans l'effacement machine, démontrant que celle-ci améliore l'efficacité de l'effacement en réduisant l'entrelacement des caractéristiques et en renforçant la résistance aux attaques, tout en introduisant la méthode « Sharp MinMax » qui sépare l'apprentissage des signaux de rétention et d'oubli pour optimiser les performances.
Cet article présente le modèle d'énergie Kolmogorov-Arnold (KAEM), une nouvelle approche générative qui combine la rapidité et l'interprétabilité des modèles à priors simples avec la puissance expressive des modèles d'énergie, en exploitant une structure latente univariée pour permettre une inférence exacte et efficace.
Cet article propose une approche d'apprentissage semi-autosupervisé nommée GLMask, qui transforme la segmentation sémantique en segmentation d'instances avec un minimum d'annotation manuelle, atteignant des performances de pointe à la fois pour la détection d'épis de blé en agriculture et sur le jeu de données généraliste COCO.
Cet article présente SamS, un algorithme innovant qui améliore l'optimisation directe par préférence (DPO) en adaptant dynamiquement la sélection des échantillons d'entraînement à chaque lot en fonction de l'état évolutif du modèle, sans modifier l'algorithme de base et avec un surcoût computationnel minimal.
Le papier présente DemoDiffusion, une méthode simple permettant aux robots d'imiter une unique démonstration humaine pour accomplir des tâches de manipulation sans entraînement spécifique, en combinant un retargeting cinématique avec une politique de diffusion pré-entraînée pour atteindre un taux de réussite de 83,8 % sur des tâches variées.
En s'inspirant du développement visuel humain pour créer un « régime alimentaire visuel » évolutif, cette étude démontre que guider la manière dont une IA apprend permet de surmonter ses dépendances aux textures et d'obtenir une vision artificielle plus robuste, basée sur la forme et résistante aux perturbations.
Cette étude démontre que l'entraînement efficace des réseaux de neurones informés par la physique (PINNs) sur des données bruitées exige une taille de modèle suffisamment grande, établissant une limite inférieure sur le nombre de paramètres nécessaire pour réduire l'erreur empirique en dessous de la variance du bruit, indépendamment de l'augmentation du nombre d'échantillons.
Ce papier présente TableEG, un cadre exploitant des modèles de langage de grande taille pour générer des erreurs authentiques dans des données tabulaires, comblant ainsi le fossé entre les erreurs synthétiques et réelles afin d'établir un benchmark robuste pour l'évaluation des techniques de nettoyage de données.
Cet article propose MCULoRA, une nouvelle approche d'adaptation faible rang dynamique et découplée par modalité qui surpasse les méthodes existantes pour la reconnaissance des émotions en résolvant les conflits de gradients lors de l'apprentissage avec des données multimodales incomplètes.
Ce papier identifie le biais d'adhésion limitant les vérificateurs basés sur les MLLM et propose la méthode SGV, qui améliore significativement la détection des échecs et les performances d'agents autonomes en générant d'abord des priors indépendants avant d'évaluer les trajectoires.