10313 articles
Cet article présente une méthode évolutive utilisant des autoencodeurs parcimonieux pour découvrir et piloter des concepts interprétables, tant familiers que nouveaux, au sein des générateurs de musique autoregressifs, offrant ainsi un outil empirique pour révéler des principes d'organisation échappant aux analyses traditionnelles.
Ce papier présente SuperMAN, un cadre interprétable par conception capable d'apprendre directement à partir de signaux temporels hétérogènes et épars en les modélisant comme des graphes implicites, atteignant ainsi des performances de pointe dans des tâches critiques comme la prédiction de maladies et la détection de fausses nouvelles tout en fournissant des insights explicables.
Ce papier présente Intuitor, une méthode d'apprentissage par renforcement sans récompense externe qui utilise la propre certitude d'un modèle de langage comme signal intrinsèque pour améliorer son raisonnement et sa généralisation, offrant ainsi une alternative évolutive aux approches supervisées.
Cet article propose de nouvelles fonctions noyaux probabilistes basées sur des projections déterministes et des angles de référence pour le test d'angles, permettant d'accélérer la recherche de voisins les plus proches (ANNS) avec un débit de requêtes 2,5 à 3 fois supérieur à celui de l'algorithme HNSW.
Ce papier présente PLANETALIGN, une bibliothèque Python complète qui facilite le développement et l'évaluation systématique des méthodes d'alignement de réseaux grâce à un ensemble intégré de jeux de données, d'algorithmes et de métriques standardisées.
L'article présente EquiReg, un cadre général de régularisation par équivalence qui améliore la résolution de problèmes inverses via des modèles de diffusion en guidant l'échantillonnage vers le manifold des données grâce à des fonctions d'équivalence, permettant ainsi des reconstructions de haute qualité même avec un nombre réduit d'étapes.
Le papier présente AReaL, un système d'apprentissage par renforcement entièrement asynchrone qui découple la génération de données de l'entraînement du modèle pour éliminer les goulots d'étranglement des systèmes synchrones, offrant ainsi une accélération d'entraînement allant jusqu'à 2,77 fois pour les grands modèles de langage tout en maintenant ou en améliorant les performances finales.
Ce papier présente Protap, un benchmark complet démontrant que pour des applications protéiques réalistes, les modèles supervisés entraînés sur de petits ensembles de données, l'intégration d'informations structurelles et l'utilisation de connaissances biologiques spécifiques au domaine surpassent souvent les grands encodeurs préentraînés.
Ce papier présente FAuNO, un cadre d'apprentissage par renforcement fédéré semi-asynchrone conçu pour optimiser la répartition des tâches dans les systèmes de bord en combinant des acteurs locaux adaptatifs et un critique fédéré pour améliorer la coopération et réduire la latence.
Ce papier propose PAMM, une technique de compression tensorielle qui réduit la consommation mémoire des projections QKV dans les modèles de langage de plusieurs centaines de fois sans altérer leurs performances, tout en restant compatible avec des méthodes d'attention efficaces comme FlashAttention.
Ce papier propose l'attention log-linéaire, un mécanisme qui surmonte la limitation des modèles linéaires en remplaçant l'état caché fixe par un ensemble logarithmiquement croissant d'états, permettant ainsi un compromis efficace entre la complexité computationnelle et l'expressivité du contexte.
Cet article propose un nouveau cadre d'apprentissage des préférences fondé sur la théorie du choix social, qui aligne les politiques sur la distribution réelle de la population des évaluateurs tout en satisfaisant des axiomes de proportionnalité et de robustesse stratégique, surpassant ainsi les méthodes conventionnelles comme RLHF et NLHF.
Cet article examine les compromis entre précision et efficacité dans les réseaux de neurones à impulsions en utilisant la complexité de Lempel-Ziv pour analyser comment différentes règles d'apprentissage, notamment les méthodes bio-inspirées, façonnent la structure temporelle des trains d'impulsions afin d'optimiser la reconnaissance de motifs selon les contraintes applicatives.
Cet article propose une méthode d'adaptation méta-learnée par distillation de prompts souples à partir de caractéristiques visuelles pertinentes, permettant aux modèles multimodaux de grande taille d'améliorer significativement leurs performances en question-réponse visuelle avec peu d'exemples en surmontant les limites de l'apprentissage par contexte.
Le papier présente ProteinZero, un cadre d'apprentissage par renforcement en ligne qui permet l'amélioration continue et automatisée des modèles de génération de protéines en optimisant simultanément la stabilité, la diversité et la conception sans données étiquetées, surpassant ainsi les méthodes actuelles avec une efficacité computationnelle remarquable.
Ce papier présente les modèles d'occupation par flux conditionnés par l'intention (InFOM), une méthode de pré-entraînement pour l'apprentissage par renforcement qui utilise le flux de correspondance et une variable latente d'intention pour prédire les états futurs et améliorer l'efficacité des échantillons ainsi que la robustesse sur divers benchmarks.
Cet article présente BranchSBM, un cadre novateur qui étend le pont de Schrödinger pour modéliser des trajectoires ramifiées et capturer des évolutions divergentes vers plusieurs modes, comblant ainsi les limites des méthodes existantes dans des domaines tels que la navigation de surface multi-chemins et la prédiction des bifurcations du destin cellulaire.
En étudiant la conception des récompenses dans l'apprentissage multi-agents, cette paper démontre que la diversité comportementale est avantageuse lorsque la courbure des opérateurs d'agrégation de la récompense satisfait des conditions de convexité spécifiques, une théorie validée par un algorithme d'optimisation appelé HetGPS.
Cet article présente la première étude établissant des bornes presque correspondantes sur le coût minimal nécessaire pour obtenir un classifieur monotone dont l'erreur dépasse l'optimum d'au plus un facteur relatif , surpassant ainsi les travaux antérieurs limités à des facteurs absolus.
VINCIE est une approche novatrice qui apprend l'édition d'images en contexte directement à partir de vidéos en utilisant un transformateur de diffusion à causalité bloc et un benchmark multi-tours, démontrant ainsi des performances de pointe sans dépendre de pipelines ou de modèles experts spécifiques.