8198 articles
Ce papier propose un cadre variationnel interprétant les couches des transformers comme des itérations d'algorithmes d'optimisation, permettant de concevoir une architecture accélérée par Nesterov qui surpasse les modèles de base sur des tâches de génération de texte.
Ce papier propose MiTA, une nouvelle méthode d'attention efficace qui unifie les approches existantes et améliore l'évolutivité des séquences longues en compressant les poids rapides via une stratégie de routage et de sélection des k meilleures activations.
Le papier présente VIP, une stratégie d'allocation de rollouts adaptative qui optimise l'efficacité de l'apprentissage par renforcement en ligne en attribuant dynamiquement le budget de calcul aux prompts les plus informatifs pour minimiser la variance du gradient, surpassant ainsi les méthodes d'allocation uniforme.
Cet article propose une nouvelle approche de la prévision des séries temporelles, appelée « prévision agentielle », qui dépasse le paradigme traditionnel centré sur le modèle en la reformulant comme un processus dynamique intégrant perception, planification, action, réflexion et mémoire pour permettre une adaptation continue et une interaction avec des outils.
Cet article démontre que les vecteurs de pilotage dans les grands modèles de langage sont fondamentalement non identifiables, car des perturbations orthogonales peuvent produire des effets comportementaux équivalents, révélant ainsi des limites inhérentes à l'interprétabilité de ces interventions.
LatentChem introduit une interface de raisonnement latent qui découple le calcul chimique de la génération textuelle, permettant aux modèles d'effectuer des inférences complexes dans un espace continu pour obtenir des performances supérieures et une accélération significative par rapport aux méthodes traditionnelles basées sur la chaîne de pensée explicite.
Ce papier démontre que l'apprentissage de la magnitude des embeddings, plutôt que de la simple similarité cosinus, améliore significativement les performances en recherche d'information et en RAG en exploitant des rôles distincts pour les magnitudes des requêtes et des documents, au détriment des tâches où les entrées sont interchangeables.
Cet article propose le TAPINN, une architecture de réseaux de neurones informés par la physique qui utilise une régularisation métrique supervisée et une optimisation alternée pour surmonter les biais spectraux et les effondrements de modes lors de la modélisation de systèmes dynamiques à transitions de régime abruptes, comme le démontrent des résultats supérieurs sur l'oscillateur de Duffing.
Cette étude empirique démontre que, malgré des performances compétitives sur certains résidus polynomiaux, les réseaux KAN intégrés dans des architectures HRPINN souffrent d'une fragilité hyperparamétrique et d'une instabilité qui les rendent généralement moins efficaces que les MLP pour la découverte de termes multiplicatifs et de couplages d'états dans les systèmes oscillatoires.
Ce papier propose ProSeCo, un cadre d'apprentissage pour les modèles de diffusion masqués qui intègre des étapes de correction itératives afin de réviser les tokens déjà générés, réduisant ainsi l'accumulation d'erreurs et améliorant la qualité des échantillons tout en accélérant l'inférence.
Ce papier présente QTabGAN, un cadre hybride quantique-classique conçu pour générer des données tabulaires réalistes dans des contextes de données rares ou privées, démontrant une amélioration significative des performances par rapport aux modèles existants.
Ce papier présente WeightCaster, un cadre innovant qui reformule la généralisation hors-distribution comme une tâche de modélisation de séquence dans l'espace des poids pour produire des prédictions fiables et incertaines sans biais inductif explicite, surpassant les méthodes actuelles sur des données synthétiques et réelles.
Cette étude démontre qu'un cadre d'inférence basé sur les simulations utilisant des réseaux de neurones permet d'estimer efficacement les paramètres d'un modèle agent-based du marché du travail, surpassant les méthodes bayésiennes traditionnelles en précision et en rapidité.
Cet article propose des algorithmes de prédiction conforme en ligne, adaptés à la détection de dérive, qui atteignent un regret cumulatif conditionnel à l'entraînement optimal pour des flux de données non stationnaires, que les scores de non-conformité soient préentraînés ou mis à jour en ligne.
SubQuad est une pipeline intégrée qui surmonte les goulots d'étranglement computationnels et les déséquilibres de données dans l'analyse des répertoires immunitaires à grande échelle en combinant une récupération quasi sous-quadratique, des noyaux d'affinité accélérés par GPU et des objectifs de clustering équitables pour améliorer l'efficacité et l'équité dans la découverte de biomarqueurs.
Cette étude propose un cadre d'apprentissage par curriculum en trois étapes, combinant un masquage structurel et l'optimisation par politique de groupe relative (GRPO), pour distiller efficacement le raisonnement par chaîne de pensée dans des modèles compacts, permettant ainsi d'améliorer la précision tout en réduisant la longueur des réponses.
CityGuard est un cadre novateur utilisant des transformateurs sensibles à la topologie et des mécanismes de confidentialité différentielle pour permettre une recherche d'identité résiliente aux biais et conforme à la protection des données à travers des réseaux de caméras urbaines distribuées.
Cet article présente RA-QA, un nouveau système d'évaluation standardisé qui harmonise des données publiques pour créer un ensemble de 9 millions de paires question-réponse multimodales, permettant de mesurer les performances et les limites des modèles d'IA dans le contexte hétérogène du monde réel du diagnostic respiratoire.
Ce papier propose cc-Shapley, une méthode modifiant les valeurs de Shapley conventionnelles en intégrant la structure causale des données pour éliminer les associations fallacieuses (comme le biais de collier) et fournir une interprétation correcte de l'importance des caractéristiques multivariées.
Cet article propose une extension de l'estimation de densité par noyaux (KDE) et une intégration du rétrécissement hiérarchique (HS) aux arbres de Hoeffding pour la régression déséquilibrée en flux, démontrant par des évaluations empiriques que la KDE améliore systématiquement les performances en début de flux tandis que le HS offre des gains limités.