2325 articles
Le papier présente EsoLang-Bench, un nouveau benchmark utilisant des langages de programmation ésotériques pour révéler que les grands modèles de langage, bien que performants sur les tâches de codage standards, échouent à démontrer un raisonnement véritable en raison d'une dépendance excessive à la mémorisation des données d'entraînement.
Cette étude démontre que la conception de l'espace de mise à jour dans les méthodes de fine-tuning paramétriquement efficaces basées sur la décomposition de rang faible est déterminante pour atténuer l'oubli catastrophique lors de l'apprentissage séquentiel, en comparant l'efficacité des approches tensorielles et structurellement alignées par rapport aux sous-espaces matriciels partagés.
Le papier présente ActiveUltraFeedback, un pipeline d'apprentissage actif modulaire qui optimise la génération de données de préférence pour l'alignement des modèles de langage en sélectionnant dynamiquement les réponses les plus informatives, permettant d'obtenir des performances supérieures avec jusqu'à six fois moins de données annotées que les méthodes statiques.
Cet article présente PF-PINO, un opérateur neuronal informé par la physique qui intègre les résidus des équations de champ de phase dans la fonction de perte pour surmonter les limitations de généralisation et de stabilité à long terme des méthodes d'apprentissage automatique conventionnelles, offrant ainsi un outil robuste et efficace pour la modélisation prédictive de l'évolution microstructurale des matériaux.
Le papier présente Mousse, un nouvel optimiseur qui améliore l'algorithme Muon en intégrant une estimation de la courbure via Shampoo pour adapter les mises à jour spectrales aux paysages d'optimisation anisotropes des réseaux de neurones, réduisant ainsi le nombre d'étapes d'entraînement d'environ 12 % avec un surcoût computationnel négligeable.
Cet article propose une approche de distillation de connaissances fédérée guidée par des prototypes multiples (MP-FedKD) pour les systèmes MEC activés par l'IA-RAN, qui surmonte les défis des données non-IID et la perte d'information des prototypes uniques grâce à un clustering hiérarchique agglomératif conditionnel et une nouvelle fonction de perte, surpassant ainsi les méthodes de l'état de l'art en termes de précision et d'erreurs.
Cette étude établit des bornes de généralisation PAC pour les oscillateurs neuronaux basés sur des équations différentielles d'ordre deux, démontrant que leurs erreurs d'estimation croissent polynomialement avec la taille du réseau et la durée temporelle, tout en validant que la régularisation des constantes de Lipschitz améliore leur performance sur des systèmes non linéaires complexes.
Cet article établit des théorèmes d'approximation universelle globale pour les fonctionnelles linéaires des signatures de chemins linéaires par morceaux, démontrant leur densité dans des espaces et leur applicabilité à l'approximation de fonctionnelles dépendantes du chemin ainsi que d'équations différentielles stochastiques pilotées par le mouvement brownien.
Cet article met en évidence l'omission fréquente des concepts absents dans les méthodes d'IA explicable (XAI) et propose des extensions simples aux techniques d'attribution et de visualisation pour révéler ces absences codées, améliorant ainsi l'interprétabilité et le débiaisage des modèles.
Cet article propose un cadre hybride quantique-classique combinant un réseau LSTM et une machine de naissance de circuit quantique (QCBM) pour améliorer la prévision de la volatilité financière, démontrant des performances supérieures aux modèles purement classiques sur des données réelles du marché chinois.
Ce papier propose un schéma d'apprentissage fractionné adaptatif (ACP-SL) qui réduit la surcharge de communication en élaguant dynamiquement les canaux peu importants grâce à un score d'importance basé sur les étiquettes, tout en améliorant la précision et en accélérant la convergence.
Cet article présente -GaBO, une nouvelle famille d'algorithmes d'optimisation bayésienne conçus pour le simplexe de probabilité en s'appuyant sur la géométrie de l'information afin de construire des noyaux et des optimiseurs adaptés à cette géométrie, surpassant ainsi les approches euclidiennes contraintes sur divers problèmes réels.
Ce papier propose l'In-Context RLVR, une méthode qui améliore l'apprentissage par renforcement des modèles de langage en pondérant implicitement les récompenses selon la qualité du raisonnement (mesurée par le « Gain de Preuve »), évitant ainsi de renforcer des traces de raisonnement défectueuses qui aboutiraient par hasard à la bonne réponse.
Ce papier présente le « pseudo-projecteur », une modification légère inspirée du paradigme multigrille qui corrige les représentations cachées des modèles basés sur les transformateurs pour réduire leur sensibilité au bruit et améliorer la dynamique d'entraînement, sans altérer leur architecture de base.
Cet article propose un cadre unifié hiérarchique multi-tâches et multi-fidélité basé sur les processus gaussiens pour surmonter les limites de la modélisation de substitution dans la fabrication en exploitant simultanément les similarités inter-tâches et les caractéristiques des données hétérogènes, améliorant ainsi la précision des prédictions jusqu'à 23 % par rapport aux méthodes existantes.
Ce papier présente HR-GAT, un modèle de réseau d'attention graphique hiérarchique qui améliore la prédiction de la demande en spectre radioélectrique de 21 % par rapport aux modèles existants en exploitant des données géospatiales pour gérer efficacement les motifs spatiaux complexes.
Le papier présente GAST, une méthode innovante de réglage fin parcimonieux qui optimise simultanément la sélection des données et des couches pour adapter efficacement les grands modèles de langage en alignant les gradients et en surmontant les limites des approches unidimensionnelles existantes.
Le papier présente CarbonBench, le premier benchmark mondial conçu pour évaluer rigoureusement les méthodes d'apprentissage zéro-shot dans la mise à l'échelle des flux de carbone terrestres, en s'appuyant sur plus de 1,3 million d'observations provenant de 567 sites de tour à flux pour tester la généralisation des modèles à des écosystèmes et climats non vus.
Le papier propose MSSR, un cadre de réentraînement adaptatif qui estime la force de mémoire des échantillons et planifie des révisions à intervalles variables pour atténuer l'oubli catastrophique lors du fine-tuning continu des grands modèles de langage, tout en maintenant une adaptation rapide et en surpassant les méthodes existantes.
Ce papier présente OptEMA, un nouvel algorithme d'optimisation stochastique basé sur une moyenne mobile exponentielle adaptative qui, sans nécessiter de connaissance préalable des constantes de Lipschitz, atteint une convergence quasi optimale dans le régime sans bruit tout en s'adaptant automatiquement au niveau de bruit.