3600 articles
Ce papier présente X-MethaneWet, le premier jeu de données de référence mondial multi-échelles pour les émissions de méthane des zones humides, qui combine des simulations physiques et des observations réelles pour entraîner des modèles d'apprentissage profond et explorer des techniques d'apprentissage par transfert afin d'améliorer la précision de la modélisation climatique.
Cet article propose un cadre théorique général pour le contrôle optimal de la densité de probabilité, établissant un principe du maximum et une équation de Hamilton-Jacobi-Bellman sur des espaces de distributions, puis introduisant un algorithme numérique évolutif basé sur les réseaux de neurones profonds pour résoudre des problèmes de contrôle multi-agents à grande échelle.
Ce papier présente VISTA, un cadre novateur et sans entraînement qui exploite les modèles vision-langage pour prédire les cours boursiers en combinant des représentations textuelles et visuelles des données historiques, surpassant ainsi significativement les méthodes traditionnelles et unimodales.
Cet article propose une nouvelle méthode de défense contre les injections de prompts dans les grands modèles de langage en injectant un signal de hiérarchie des instructions directement dans les représentations intermédiaires du réseau, ce qui réduit considérablement le taux de réussite des attaques par rapport aux approches existantes sans dégrader l'utilité du modèle.
Ce papier propose OCN, une nouvelle méthode de prédiction de liens qui surpasse les approches existantes en éliminant la redondance et le lissage excessif des voisins communs d'ordres supérieurs grâce à des techniques d'orthogonalisation et de normalisation.
Le papier présente ViTaPEs, une architecture transformer innovante qui améliore l'alignement cross-modal et la généralisation zéro-shot en intégrant un schéma d'encodage positionnel à deux étapes (local et global) pour fusionner efficacement les perceptions visuelle et tactile.
Le papier présente LoFT, une méthode d'adaptation à faible rang qui aligne la dynamique de l'optimiseur avec celle du fine-tuning complet en projetant les moments d'Adam dans le sous-espace de rang faible, permettant ainsi de combler l'écart de performance avec le fine-tuning complet sans coût d'inférence supplémentaire ni besoin de réglage d'hyperparamètres.
Cet article propose ProNC, un cadre novateur d'apprentissage continu qui résout l'oubli catastrophique en remplaçant l'ETF global fixe par une expansion progressive et flexible des prototypes de classe, surpassant ainsi les méthodes existantes en performance et en efficacité.
Cet article propose une méthode de correction adaptative et modulaire qui intègre un opérateur apprenable pour garantir strictement la conservation des lois physiques dans les opérateurs neuronaux, améliorant ainsi leur précision et leur stabilité par rapport aux techniques existantes.
Le papier présente ActivePusher, un cadre novateur combinant la modélisation par physique résiduelle et l'apprentissage actif basé sur l'incertitude pour améliorer l'efficacité des données et la réussite de la planification à long terme dans la manipulation non préhensile.
Ce papier présente MMTU, un benchmark à grande échelle comprenant plus de 28 000 questions sur 25 tâches réelles, conçu pour évaluer de manière exhaustive les capacités des modèles de langage à comprendre, raisonner et manipuler des données tabulaires au niveau expert, révélant ainsi des lacunes significatives même chez les modèles les plus avancés.
Cette étude démontre que l'entraînement des réseaux de neurones artificiels peut être accéléré en exploitant une région de taux d'apprentissage où la dynamique de l'optimisation bascule vers un état de chaos transitoire, favorisant un équilibre optimal entre exploration et exploitation.
Ce papier présente EROICA, le premier système de débogage en ligne capable de diagnostiquer avec un impact minimal les problèmes de performance matériels et logiciels dans les clusters de GPU à grande échelle utilisés pour l'entraînement de modèles massifs.
Ce papier présente BemaGANv2, un vocodeur basé sur les GAN optimisé pour la génération audio longue durée, qui améliore la fidélité et la cohérence temporelle grâce à l'intégration de modules AMP et d'une combinaison systématique de discriminateurs innovants comme le MED et le MRD.
Le papier propose Co-LoRA, une méthode de fédéré personnalisé qui surmonte l'hétérogénéité des données et des architectures via une agrégation consciente de la pertinence des tâches et un module invariant en dimension, validée sur un nouveau benchmark multi-modal de 40 tâches.
Cet article propose deux algorithmes efficaces, Slate-GLM-OFU et Slate-GLM-TS, pour le problème des bandits contextuels logistiques à blocs (slate), qui atteignent une faible complexité computationnelle par round et un regret optimal grâce à une planification locale et un apprentissage global, tout en démontrant des performances supérieures aux méthodes de l'état de l'art sur des données synthétiques et dans la sélection d'exemples pour les modèles de langage.
Ce papier propose une caractérisation de l'efficacité de la minimisation sensible à la netteté (SAM) dans l'effacement machine, démontrant que celle-ci améliore l'efficacité de l'effacement en réduisant l'entrelacement des caractéristiques et en renforçant la résistance aux attaques, tout en introduisant la méthode « Sharp MinMax » qui sépare l'apprentissage des signaux de rétention et d'oubli pour optimiser les performances.
Cet article présente le modèle d'énergie Kolmogorov-Arnold (KAEM), une nouvelle approche générative qui combine la rapidité et l'interprétabilité des modèles à priors simples avec la puissance expressive des modèles d'énergie, en exploitant une structure latente univariée pour permettre une inférence exacte et efficace.
Cet article propose une approche d'apprentissage semi-autosupervisé nommée GLMask, qui transforme la segmentation sémantique en segmentation d'instances avec un minimum d'annotation manuelle, atteignant des performances de pointe à la fois pour la détection d'épis de blé en agriculture et sur le jeu de données généraliste COCO.
Cet article présente SamS, un algorithme innovant qui améliore l'optimisation directe par préférence (DPO) en adaptant dynamiquement la sélection des échantillons d'entraînement à chaque lot en fonction de l'état évolutif du modèle, sans modifier l'algorithme de base et avec un surcoût computationnel minimal.