11364 articles
Cette étude propose et évalue douze fonctions de score pour identifier les têtes d'attention inactives dans les grands modèles de langage, démontrant que plus de 12 % de ces têtes peuvent être supprimées sans perte significative de performance et que les méthodes basées uniquement sur les poids d'attention sous-estiment considérablement ce phénomène.
Cet article propose une fonction de standardisation générale qui transforme les coefficients de corrélation pondérés entre classements en une forme normalisée à espérance nulle sous l'hypothèse d'indépendance, en utilisant des estimations numériques basées sur l'échantillonnage Monte Carlo pour surmonter les difficultés de calcul liées aux grandes tailles d'échantillons.
Cet article propose une nouvelle méthode de mise à l'échelle des objectifs QUBO multi-objectifs basée sur le calcul exact de leur variance pour les normaliser à une variance unitaire, facilitant ainsi leur équilibrage et leur combinaison par pondération égale sans nécessiter de sélection manuelle fastidieuse des poids.
Cet article présente SafeSparse, un cadre de défense à double niveau qui résout le compromis entre robustesse et efficacité communicationnelle dans l'apprentissage fédéré en utilisant une calibration structurelle et un alignement sémantique directionnel pour contrer les attaques par empoisonnement lors de la sparsification des gradients.
Ce papier présente deux nouveaux jeux de données pré-entraînés, SwallowCode et SwallowMath, générés par une méthode de réécriture systématique de données publiques qui améliore significativement les performances des grands modèles de langage en programmation et en raisonnement mathématique.
Cet article propose une méthode d'IA explicable permettant d'attribuer efficacement et précisément les distances de Wasserstein à divers composants des données, tels que des sous-groupes ou des caractéristiques, afin de mieux comprendre les décalages de distribution et les phénomènes de transport.
Cette étude révèle que les modèles de recommandation basés sur la diffusion, malgré leur complexité, sont systématiquement surpassés par des approches plus simples en raison de problèmes méthodologiques persistants et d'un inadéquation conceptuelle avec la tâche de recommandation top-N, appelant ainsi à un changement radical dans la culture de recherche du domaine.
Cet article présente ARCANE, un cadre innovant utilisant le modèle ResUNet++ pour détecter précocement les éjections de masse coronale interplanétaires dans les flux de données solaires en temps réel, permettant une identification fiable des événements avant leur observation complète avec un léger compromis sur la précision par rapport aux données scientifiques haute résolution.
Cet article présente DRA-GRPO, une méthode plug-and-play qui améliore le raisonnement mathématique des LLMs en corrigeant l'inconsistance diversité-qualité du GRPO standard grâce à un ajustement de récompense basé sur la densité sémantique et l'information mutuelle sousmodulaire, permettant d'atteindre des performances supérieures avec peu de données et un coût réduit.
Ce papier propose la factorisation binaire double (DBF), une méthode innovante qui décompose les matrices de poids en produits de deux matrices binaires avec des vecteurs d'échelle pour compresser efficacement les grands modèles de langage tout en préservant leur précision et en offrant un contrôle fin des taux de compression.
Cet article démontre théoriquement que l'initialisation optimale pour l'apprentissage des réseaux de neurones profonds n'est pas neutre, mais repose systématiquement sur un biais initial envers une classe spécifique, reliant ainsi les théories de champ moyen aux préjugés de prédiction initiale.
Cet article présente la méthode de factorisation BISR (Banded Inverse Square Root), qui établit une borne optimale asymptotique pour l'erreur de factorisation matricielle dans l'apprentissage fédéré privé différentiellement sur plusieurs époques, tout en offrant une mise en œuvre plus simple et efficace que les méthodes existantes.
Ce papier présente SEAM, une méthode de défense innovante qui transforme les grands modèles de langage en systèmes « autodestructeurs » capables de maintenir leurs performances sur des tâches légitimes tout en s'effondrant de manière catastrophique lorsqu'ils sont soumis à un fine-tuning malveillant, rendant ainsi les attaques contre leur alignement inefficaces.
Ce papier présente mCLM, un modèle de langage chimique modulaire qui génère des molécules fonctionnelles et synthétisables en les tokenisant sous forme de blocs de construction plutôt qu'atomes, surpassant ainsi les méthodes existantes en matière d'accessibilité synthétique et de propriétés chimiques.
Cette étude présente une analyse théorique démontrant que les transformateurs pré-entraînés de manière adversariale peuvent agir comme des modèles fondateurs universellement robustes, capables de s'adapter de manière résiliente à diverses tâches en aval via l'apprentissage contextuel sans nécessiter de réentraînement adversarial supplémentaire.
Le papier présente GradPCA, une méthode de détection hors distribution qui exploite la structure de rang faible des gradients induite par l'alignement du NTK via l'ACP, offrant des performances supérieures et un cadre théorique pour guider la conception de détecteurs spectraux.
Cette étude propose de nouvelles métriques pour évaluer la cohérence du routage local dans les modèles de type Mixture-of-Experts, révélant des compromis cruciaux entre l'équilibre de charge et l'efficacité du déchargement d'experts afin d'optimiser leur déploiement sur des dispositifs à mémoire limitée.
Ce papier présente ICYM2I, un cadre d'évaluation qui corrige les biais induits par les schémas de données manquantes pour estimer correctement le gain d'information des modèles multimodaux lors du passage d'un environnement source à un environnement cible.
Ce papier propose la méthode NFT, une approche d'apprentissage supervisé qui exploite les réponses erronées pour permettre aux modèles de langage de s'améliorer de manière autonome en mathématiques, comblant ainsi le fossé théorique et pratique entre l'apprentissage supervisé et l'apprentissage par renforcement.
Cet article présente une méthode évolutive utilisant des autoencodeurs parcimonieux pour découvrir et piloter des concepts interprétables, tant familiers que nouveaux, au sein des générateurs de musique autoregressifs, offrant ainsi un outil empirique pour révéler des principes d'organisation échappant aux analyses traditionnelles.