11204 articles
Cet article établit une théorie géométrique démontrant que l'oubli catastrophique dans l'adaptation à faible rang (LoRA) est régi par les angles entre les sous-espaces des gradients, révélant une invariance approximative vis-à-vis du rang lorsque ces sous-espaces sont suffisamment orthogonaux.
Cette étude démontre la faisabilité et l'efficacité d'une approche de modélisation des récompenses entièrement non supervisée, utilisant des préférences apprises à partir de corpus web massifs pour améliorer les performances en mathématiques et la sécurité des modèles, surpassant ou égalant les méthodes supervisées traditionnelles sans nécessiter d'annotations humaines coûteuses.
Ce papier présente les suRNNs, une architecture de réseaux de neurones récurrents non linéaires qui utilise des commutateurs binaires au niveau des neurones pour mettre à jour sélectivement la mémoire uniquement lors d'événements informatifs, permettant ainsi de modéliser efficacement des séquences à long terme avec une performance comparable aux Transformers tout en conservant une efficacité computationnelle supérieure.
Ce papier démontre que l'apprentissage de portes d'attention parcimonieuses est inefficace car les projections Q/K/V s'adaptent au masquage imposé, un phénomène de « routage absorbé » qui rend les portes aléatoires aussi performantes que les portes apprises et favorise ainsi les approches post-hoc.
Cet article présente Neural Paging, une architecture hiérarchique qui résout le goulot d'étranglement de la fenêtre de contexte des agents LLM en découplant le raisonnement symbolique de la gestion des ressources via un contrôleur de pages apprenant à approximer l'optimalité de Belady, réduisant ainsi la complexité asymptotique du raisonnement à long terme de à .
Cette étude révèle que, contrairement aux attentes, l'entraînement à la sécurité persiste lors d'un optimisation ultérieure de l'utilité chez les agents LLM, et que toutes les configurations d'entraînement convergent vers une frontière de Pareto linéaire sans parvenir à une stratégie optimale combinant les deux objectifs.
Cet article présente le modèle SCDD, une approche de diffusion discrète généralisée qui reformule l'auto-correction préentraînée via des transitions d'état explicites en temps discret, permettant un décodage parallèle plus efficace tout en préservant la qualité de génération.
Cet article présente une architecture de réseaux de neurones intégrant physiquement (PE-PINN) qui, en incorporant des principes physiques directement dans la structure du modèle via une nouvelle couche de transformation d'enveloppe, surpasse les méthodes traditionnelles et les PINNs standards en offrant une reconstruction de champs d'ondes à grande échelle avec une convergence dix fois plus rapide et une réduction de plusieurs ordres de grandeur de l'utilisation mémoire.
Cet article propose un cadre théorique fondé sur la régression ordinale pour le modelage de récompenses, permettant d'exploiter efficacement les préférences humaines graduelles (échelle de Likert) en apprenant des paramètres de seuil directement à partir des données, surpassant ainsi les méthodes heuristiques actuelles basées sur des modèles binaires.
Cet article propose une nouvelle approche d'apprentissage fédéré personnalisé qui détermine automatiquement les poids de collaboration entre agents en estimant des noyaux de moyennes, garantissant ainsi des performances statistiques optimales sans connaissance préalable de l'hétérogénéité des données.
Ce papier présente un cadre novateur qui permet de générer automatiquement des spécifications formelles à partir de descriptions en langage naturel, élargissant ainsi considérablement l'applicabilité des outils de vérification de réseaux de neurones à des exigences sémantiques de haut niveau.
Cet article présente CUDABench, un benchmark complet évaluant la capacité des modèles de langage à générer du code CUDA à partir de texte, en utilisant une nouvelle métrique de performance basée sur le roofline et une pipeline de vérification pour révéler les écarts entre la compilation réussie et la correction fonctionnelle.
Ce papier propose CHaRS, une méthode de pilotage des représentations qui améliore le contrôle des grands modèles de langage en modélisant l'hétérogénéité conceptuelle via le transport optimal et en générant des vecteurs de pilotage dynamiques adaptés à chaque entrée, surpassant ainsi les approches globales traditionnelles.
Cet article résout le problème de la calculabilité des bornes de généralisation en longueur pour les transformateurs en démontrant l'inexistence de telles bornes calculables pour la classe CRASP (déjà à deux couches), tout en établissant une borne calculable optimale exponentielle pour son fragment positif équivalent aux transformateurs à précision fixe.
Ce papier propose OnDA, une méthode innovante couplant l'adaptation des poids et l'élagage structuré en ligne des canaux pour réaliser une reconnaissance de mots-clés personnalisée et efficace sur appareil, permettant jusqu'à 9,63 fois de compression du modèle et des améliorations significatives de latence et de consommation énergétique.
Le papier présente HELIOS, un modèle innovant qui améliore la récupération table-texte en harmonisant la fusion précoce et tardive avec le raisonnement des LLM pour surmonter les limites des approches existantes et atteindre des performances record sur le benchmark OTT-QA.
En analysant la géométrie des représentations du modèle de traduction NLLB-200, cette étude démontre que celui-ci a appris à la fois la structure généalogique des langues et des associations conceptuelles universelles, révélant ainsi une organisation sémantique neutre par rapport à la langue qui rappelle les hubs neuronaux du cerveau humain.
Ce papier présente l'Alignement Flywheel, une architecture hybride multi-agents centrée sur la gouvernance qui découple la génération de décisions de la supervision de la sécurité pour permettre des mises à jour de sécurité localisées et auditable sans nécessiter le retrait ou le réentraînement des composants décisionnels autonomes sous-jacents.
Cet article propose un réseau hybride quantique-attentif (Quantum AS-DeepOnet) capable de résoudre des équations d'évolution 2D avec une précision comparable aux méthodes classiques tout en réduisant le nombre de paramètres entraînables de 40 %.
Cette étude propose une nouvelle attaque par empoisonnement furtif ciblant le processus de raisonnement des modèles de langage médicaux lors du fine-tuning supervisé, démontrant que l'injection de rationales erronées dans des données few-shot dégrade efficacement la précision sur des sujets spécifiques sans déclencher d'oubli catastrophique ni être facilement détectable.