8160 articles
Le papier présente SphereAR, une méthode qui améliore la génération d'images par modèles autoregressifs à tokens continus en contraignant les latents sur une hypersphère pour stabiliser la variance et atteindre des performances record surpassant les modèles de diffusion et de génération masquée.
Cet article établit des bornes explicites sur la distance de Wasserstein quadratique entre les réseaux de neurones monocouches entraînés par descente de gradient et leurs processus gaussiens associés, démontrant une convergence quantitative avec une décroissance polynomiale en fonction de la largeur du réseau.
Cette étude présente une méthode novatrice permettant l'entraînement stable et précis de grands modèles de langage en format NVFP4 à l'aide de transformations de Hadamard aléatoires et d'autres techniques, démontrant que cette approche atteint des performances comparables à la précision FP8 tout en réduisant considérablement les coûts de calcul.
Le papier présente OPPO, un cadre léger et agnostique qui accélère l'entraînement RLHF basé sur PPO en chevauchant l'exécution du pipeline grâce à des techniques de recouvrement intra-étape et inter-étape, permettant d'augmenter l'efficacité et l'utilisation du GPU sans compromettre la convergence.
VidGuard-R1 est un détecteur de vidéos générées par IA innovant qui utilise l'optimisation de politique relative de groupe (GRPO) pour surmonter les limites des méthodes supervisées traditionnelles en identifiant des incohérences physiques complexes et en fournissant des explications forensiques interprétables avec des performances de pointe en zéro-shot.
Cet article établit des bornes non asymptotiques sur l'efficacité de la régression conformalisée quantile et médiane entraînée par SGD, en caractérisant la dépendance conjointe de la longueur des ensembles de prédiction par rapport à la taille des jeux d'entraînement et de calibration ainsi qu'au niveau de non-couverture, et en identifiant des transitions de phase dans les taux de convergence.
Cette étude démontre empiriquement que l'élargissement des modèles, couplé à un étalonnage approprié de la température softmax, suffit à garantir la connectivité linéaire des modes sans nécessiter de permutations de paramètres, un phénomène expliqué par une connectivité exponentielle pondérée par couche qui rend le modèle fusionné équivalent à un ensemble des modèles originaux.
Cet article présente XFactor, le premier modèle auto-supervisé sans géométrie capable de synthèse de nouvelles vues véritablement transférable, démontrant que l'on peut dissocier la pose de la caméra du contenu de la scène et prédire des trajectoires cohérentes sur différents environnements sans recourir à des biais inductifs 3D explicites.
Ce papier présente CBF-RL, un cadre d'apprentissage par renforcement qui intègre des fonctions de barrière de contrôle directement durant l'entraînement pour internaliser les contraintes de sécurité dans la politique apprise, permettant ainsi un déploiement robuste et sûr sur des robots réels sans filtre de sécurité en ligne.
Cet article présente B-ODIL, une extension bayésienne de la méthode d'optimisation d'une perte discrète (ODIL) qui intègre des modèles d'équations aux dérivées partielles (EDP) pour résoudre des problèmes inverses avec une quantification rigoureuse des incertitudes, comme démontré par des benchmarks synthétiques et une application clinique à l'estimation de la concentration tumorale dans le cerveau.
Cet article présente Schrödinger Bridge Mamba (SBM), un modèle novateur qui combine la théorie du pont de Schrödinger et l'architecture Mamba pour réaliser une amélioration de la parole en une seule étape, surpassant les méthodes existantes tout en garantissant une efficacité temps réel.
Cet article expose les limites des défenses actuelles contre le détournement de flux de contrôle dans les systèmes multi-agents, en démontrant que leurs objectifs de sécurité et de fonctionnalité sont fondamentalement incompatibles, et propose ControlValve, une nouvelle défense inspirée de l'intégrité du flux de contrôle et du principe du moindre privilège pour garantir une exécution sécurisée.
Cet article théorique démontre que la géométrie des données dicte l'induction implicite des réseaux de neurones ReLU entraînés sous la limite de stabilité, favorisant la généralisation lorsque les données sont difficiles à « briser » par les seuils d'activation et la mémorisation lorsqu'elles sont facilement séparables.
Cet article propose un cadre statistique rigoureux pour tester la significativité des sous-ensembles de données les plus influents dans les modèles de moindres carrés linéaires, en dérivant des formules exactes et des distributions de valeurs extrêmes permettant de distinguer l'influence excessive du bruit naturel.
LLEMA est un cadre unifié qui combine les connaissances des grands modèles de langage, des règles évolutives informées par la chimie et un raffinement basé sur la mémoire pour accélérer la découverte de matériaux multi-objectifs plausibles et stables.
Cet article propose une méthode d'échantillonnage adaptatif pour les réseaux de neurones informés par la physique (PINNs), permettant d'ajuster dynamiquement l'entraînement selon des heuristiques spécifiques au problème afin de mieux résoudre les transitions de phase dans les équations d'Allen-Cahn sans rééchantillonnage postérieur.
Ce papier présente FMint-SDE, un modèle fondation multimodal basé sur un transformer qui améliore l'efficacité et la précision des simulations d'équations différentielles stochastiques en apprenant un schéma universel de correction d'erreur à partir de solutions grossières, surpassant ainsi les intégrateurs numériques traditionnels.
MotionStream est une méthode de génération vidéo en temps réel qui, grâce à une distillation de connaissances et une attention causale à fenêtre glissante, permet de produire des vidéos de qualité supérieure avec un contrôle interactif des mouvements et une latence sub-secondaire, rendant possible le streaming infini sur une seule carte graphique.
Le modèle fondamental CytoNet, entraîné sur un million de patches d'images histologiques provenant de dix cerveaux humains, permet une analyse évolutive de l'architecture cellulaire du cortex cérébral et établit un lien direct entre les caractéristiques microarchitecturales et l'organisation fonctionnelle du cerveau.
Le papier propose CoRPO, une modification simple de l'optimisation de politique relative aux groupes (GRPO) qui introduit un biais de correction en plafonnant la ligne de base, permettant ainsi aux modèles d'apprendre des schémas de raisonnement plus robustes et de mieux généraliser à des tâches hors domaine.