2357 articles
Cette étude applique l'interprétabilité mécanistique à la distillation de connaissances pour révéler comment les modèles étudiants réorganisent et compressent les circuits internes des enseignants, entraînant des changements computationnels significatifs malgré la préservation des comportements fonctionnels globaux.
Ce papier présente Ready2Unlearn, une approche proactive qui intègre la préparation à l'oubli machine directement durant la phase d'entraînement des modèles afin de faciliter et d'accélérer les futures demandes de suppression de données.
Ce papier présente EgoDex, le plus grand ensemble de données à ce jour pour la manipulation dextre, constitué de 829 heures de vidéos egocentriques annotées avec des poses 3D des mains collectées via Apple Vision Pro, afin de pallier le manque de données à grande échelle et de faire progresser l'apprentissage par imitation en robotique.
Le papier présente FreeKV, un cadre d'optimisation conjointe algorithmique et système sans entraînement qui améliore l'efficacité de la récupération du cache KV pour l'inférence des grands modèles de langage, permettant des accélérations allant jusqu'à 13 fois par rapport aux méthodes de l'état de l'art tout en préservant une précision quasi parfaite.
Cet article propose la première approche théoriquement garantie pour l'apprentissage axé sur la décision en ligne dans des environnements dynamiques, en régularisant la fonction objectif et en utilisant des techniques de perturbation pour surmonter l'absence de gradients et la non-convexité, tout en établissant des bornes de regret et en validant l'efficacité de l'algorithme sur un problème de sac à dos.
Le papier présente Vid2World, une méthode générale qui transforme des modèles de diffusion vidéo pré-entraînés en modèles de monde interactifs en adaptant leur architecture pour la génération autoregressive et en intégrant un mécanisme de guidage causal pour améliorer le contrôle par les actions.
Le papier présente MAS-ZERO, un cadre d'inférence temps réel pionnier qui conçoit et affine automatiquement des systèmes multi-agents sans supervision ni ensemble de validation, en adaptant dynamiquement la décomposition des problèmes et la composition des agents pour surpasser les approches manuelles et automatiques existantes sur diverses tâches complexes.
Le papier présente HDLxGraph, un cadre innovant qui intègre les caractéristiques graphiques inhérentes aux langages de description matérielle (HDL) aux systèmes de génération augmentée par récupération (RAG) pour surmonter les limites des approches actuelles dans la recherche, le débogage et la complétion de projets HDL complexes, tout en introduisant le benchmark HDLSearch pour évaluer ces performances.
Ce papier présente WikiDBGraph, une nouvelle suite de benchmark à grande échelle construite à partir de 100 000 bases de données réelles interconnectées, conçue pour évaluer les limites des méthodes d'apprentissage collaboratif face aux défis réels de gestion des silos de données fragmentés et non alignés.
Ce papier présente AgarCL, une plateforme de recherche basée sur le jeu Agar.io conçue pour évaluer l'apprentissage par renforcement continu dans un environnement non épisodique et dynamique, tout en démontrant que les méthodes actuelles d'apprentissage continu peinent à surpasser les algorithmes standards face aux défis spécifiques de ce cadre.
Ce papier présente X-MethaneWet, le premier jeu de données de référence mondial multi-échelles pour les émissions de méthane des zones humides, qui combine des simulations physiques et des observations réelles pour entraîner des modèles d'apprentissage profond et explorer des techniques d'apprentissage par transfert afin d'améliorer la précision de la modélisation climatique.
Cet article propose un cadre théorique général pour le contrôle optimal de la densité de probabilité, établissant un principe du maximum et une équation de Hamilton-Jacobi-Bellman sur des espaces de distributions, puis introduisant un algorithme numérique évolutif basé sur les réseaux de neurones profonds pour résoudre des problèmes de contrôle multi-agents à grande échelle.
Ce papier présente VISTA, un cadre novateur et sans entraînement qui exploite les modèles vision-langage pour prédire les cours boursiers en combinant des représentations textuelles et visuelles des données historiques, surpassant ainsi significativement les méthodes traditionnelles et unimodales.
Cet article propose une nouvelle méthode de défense contre les injections de prompts dans les grands modèles de langage en injectant un signal de hiérarchie des instructions directement dans les représentations intermédiaires du réseau, ce qui réduit considérablement le taux de réussite des attaques par rapport aux approches existantes sans dégrader l'utilité du modèle.
Ce papier propose OCN, une nouvelle méthode de prédiction de liens qui surpasse les approches existantes en éliminant la redondance et le lissage excessif des voisins communs d'ordres supérieurs grâce à des techniques d'orthogonalisation et de normalisation.
Le papier présente ViTaPEs, une architecture transformer innovante qui améliore l'alignement cross-modal et la généralisation zéro-shot en intégrant un schéma d'encodage positionnel à deux étapes (local et global) pour fusionner efficacement les perceptions visuelle et tactile.
Le papier présente LoFT, une méthode d'adaptation à faible rang qui aligne la dynamique de l'optimiseur avec celle du fine-tuning complet en projetant les moments d'Adam dans le sous-espace de rang faible, permettant ainsi de combler l'écart de performance avec le fine-tuning complet sans coût d'inférence supplémentaire ni besoin de réglage d'hyperparamètres.
Cet article propose ProNC, un cadre novateur d'apprentissage continu qui résout l'oubli catastrophique en remplaçant l'ETF global fixe par une expansion progressive et flexible des prototypes de classe, surpassant ainsi les méthodes existantes en performance et en efficacité.
Cet article propose une méthode de correction adaptative et modulaire qui intègre un opérateur apprenable pour garantir strictement la conservation des lois physiques dans les opérateurs neuronaux, améliorant ainsi leur précision et leur stabilité par rapport aux techniques existantes.
Le papier présente ActivePusher, un cadre novateur combinant la modélisation par physique résiduelle et l'apprentissage actif basé sur l'incertitude pour améliorer l'efficacité des données et la réussite de la planification à long terme dans la manipulation non préhensile.