2883 articles
Le papier présente le « Safe Transformer », une approche modulaire qui améliore la sécurité et l'interprétabilité des modèles de langage en insérant un bit de sécurité explicite et contrôlable entre les couches du transformateur, permettant ainsi de séparer clairement les décisions de refus des contenus générés tout en maintenant des performances élevées face aux attaques.
Le papier présente Orion, le premier système open source permettant l'entraînement et l'inférence de grands modèles de langage directement sur le Neural Engine d'Apple en contournant CoreML, en caractérisant ses contraintes matérielles et en optimisant le temps de compilation pour accélérer l'entraînement de 3,8 fois.
Ce papier propose une approche d'apprentissage par renforcement pour la navigation en foule dense qui généralise à des densités non vues lors de l'entraînement grâce à un codage d'observation invariant à la densité et à un entraînement randomisé, permettant ainsi d'éviter les collisions et les blocages tout en surpassant les méthodes existantes.
Le papier présente PolyBlocks, une infrastructure de compilation modulaire basée sur MLIR pour les frameworks d'IA et les puces spécialisées, qui génère automatiquement du code haute performance grâce à des pipelines de transformations et des modèles de coût analytiques, démontrant des résultats compétitifs avec les solutions existantes comme Torch Inductor et XLA sur les GPU NVIDIA.
Ce papier présente le cadre Calibrated Credit Intelligence (CCI), une approche de notation du risque de crédit qui combine des réseaux de neurones bayésiens, un gradient boosting contraint par l'équité et une fusion adaptative aux changements de distribution pour garantir des prédictions précises, bien calibrées et équitables dans des environnements de déploiement réels.
Ce papier propose le Rank-factorized Implicit Neural Bias (RIB), une méthode qui remplace le biais de position relatif pour permettre l'utilisation de FlashAttention dans les Transformers de super-résolution, permettant ainsi d'augmenter considérablement la taille des fenêtres d'attention et d'améliorer les performances tout en réduisant les temps d'entraînement et d'inférence.
Ce papier présente un cadre de diffusion décentralisé hétérogène efficace qui permet d'entraîner des experts avec des objectifs variés (DDPM et Flow Matching) sur des ressources réduites, tout en assurant une convergence rapide et une qualité supérieure grâce à une conversion déterministe à l'inférence et à une architecture optimisée.
Cet article propose un cadre de génération contrainte qui affine un modèle génératif préentraîné pour produire des échantillons réalistes directement au sein de régions faisables complexes, telles que les cartes routières, en trouvant un compromis optimal entre le respect des contraintes et la qualité de l'échantillonnage.
Ce papier propose StableDRL, une reformulation de l'optimisation par politique relative de groupe (GRPO) intégrant un recadrage inconditionnel et une auto-normalisation pour stabiliser l'apprentissage par renforcement dans les modèles de langage de diffusion et éviter l'effondrement des récompenses causé par le bruit des estimations de vraisemblance.
Le papier présente DIRECTER, une méthode de guidage d'activation dynamique qui améliore le suivi des instructions des grands modèles de langage en ajustant adaptativement la force de guidage via un mécanisme de rejet basé sur la plausibilité, permettant ainsi d'éviter le sur-guidage sans compromettre la qualité du texte généré.
Ce papier présente ProtAlign, un cadre d'alignement de préférences multi-objectifs qui affine les modèles de repliement inverse pré-entraînés pour optimiser simultanément la fidélité structurelle et diverses propriétés de développabilité des protéines sans nécessiter de réentraînement ciblé.
Cet article propose le LAE-EnKF, une méthode d'assimilation de données qui améliore la précision et la stabilité des systèmes dynamiques non linéaires en reformulant le problème dans un espace latent appris où les évolutions sont linéaires et stables, tout en maintenant un coût computationnel comparable à celui du filtre de Kalman par ensemble standard.
Cette étude propose des autoencodeurs et autoencodeurs variationnels hybrides classiques-quantiques basés sur une représentation neurale implicite quantique (QINR) qui, en transformant l'espace latent en caractéristiques riches et périodiques, surpassent les modèles génératifs quantiques existants en termes de stabilité, de diversité et de qualité de reconstruction sur des jeux de données d'images.
Cet article propose ICD3, une approche novatrice pour détecter les dérives de concepts dans des données en flux déséquilibrées en identifiant les concepts minoritaires via une recherche multi-granulaire et en surveillant chaque concept indépendamment grâce à des classifieurs à un seul cluster, surmontant ainsi l'effet de masquage des grands clusters.
Cet article propose un cadre d'explicabilité multi-niveaux validant la robustesse et la cohérence des explications SHAP à travers différentes architectures de modèles et stades de la maladie d'Alzheimer, démontrant que les marqueurs cognitifs et fonctionnels dominent de manière stable les prédictions de diagnostic et de pronostic.
Cet article propose une méthode de sélection de points de collocation pour les réseaux de neurones informés par la physique (PINN) qui reformule le problème comme la construction d'un coreset via une optimisation QUBO parcimonieuse et hybride, permettant de réduire les coûts de calcul tout en améliorant la précision et la diversité des points sélectionnés pour des équations aux dérivées partielles complexes.
Cette étude démontre que l'opérateur neuronal de Fourier (FNO), intégré dans un cadre d'apprentissage automatique, surpasse les architectures AE et U-Net ainsi que les méthodes CFD traditionnelles pour prédire efficacement et rapidement l'écoulement en régime permanent dans les milieux poreux, offrant ainsi une solution évolutive pour l'optimisation topologique des plaques froides.
Cette étude propose une architecture combinant des réseaux de neurones à convolution graphique et l'apprentissage par méta-apprentissage pour permettre une adaptation rapide et précise des modèles de trafic à des réseaux routiers et des matrices OD inédits, notamment lors de perturbations majeures, atteignant un coefficient de détermination de 0,85 sur des scénarios non vus.
Cette étude démontre que l'apprentissage machine symbolique, appliqué à des données simulées d'oxydation de l'éthylène, surpasse les méthodes baselines tout en offrant des modèles prédictifs interprétables pour la détection de défaillances dans les procédés chimiques.
Cet article démontre que les représentations neuronales possèdent une liberté de jauge sous l'action du groupe linéaire général, ce qui rend des métriques courantes comme la similarité cosinus dépendantes du système de coordonnées et instables, suggérant ainsi que l'analyse des représentations doit se concentrer sur des quantités invariantes ou des coordonnées canoniques.