2385 articles
Cet article présente HTMuon, une méthode d'optimisation qui améliore l'algorithme Muon en introduisant une correction spectrale à queues lourdes pour générer des mises à jour plus robustes et réduire la perplexité lors de l'entraînement de modèles de langage, tout en offrant une garantie théorique de convergence.
L'article présente ADVERSA, un cadre de test automatisé qui évalue la dégradation progressive des garde-fous des grands modèles de langage lors d'interactions adversariales multi-tours, révélant que les jailbreaks réussis se concentrent principalement dans les premiers tours de conversation.
Cette étude présente la première application d'autoencodeurs clairsemés au modèle Chronos-T5, révélant une hiérarchie causale où les couches intermédiaires, et non la dernière, sont essentielles à la détection des changements abrupts pour des prévisions temporelles fiables.
Cette étude analyse les échecs des modèles de langage dans la génération de correctifs de sécurité pour 64 vulnérabilités Java, révélant que bien que ces modèles préservent souvent la fonctionnalité, ils échouent majoritairement à résoudre les problèmes de sécurité en raison d'incompréhensions sémantiques, ce qui justifie la nécessité d'une validation rigoureuse avant déploiement.
Cette étude révèle que les réseaux de neurones apprennent d'abord une distribution marginale, stabilisée par le bruit du gradient et caractérisée par un plateau de perte d'entropie conditionnelle, avant de subir une transition collective abrupte vers l'apprentissage complet de la conditionnalité une fois qu'une tête de routage sélective s'est assemblée.
Le papier propose TASER, un cadre de défense décentralisé innovant pour les essaims de drones utilisant l'apprentissage fédéré, qui supprime les attaques par porte dérobée en exploitant la concentration spectrale des gradients pour préserver les coefficients de fréquence pertinents pour la tâche principale tout en éliminant les composantes malveillantes.
L'article présente Amnesia, une attaque légère par déviation d'activation dans l'espace des représentations qui permet de contourner les mécanismes de sécurité des grands modèles de langage à poids ouverts pour générer du contenu nuisible sans nécessiter de réentraînement.
Cet article présente Multi-Level Concept Splitting (MLCS) et Deep-HiCEMs, deux approches capables de découvrir et de modéliser des hiérarchies de concepts multi-niveaux à partir d'une supervision de haut niveau, permettant ainsi des interventions interprétables à plusieurs niveaux d'abstraction tout en maintenant de hautes performances.
Le papier présente KernelSkill, un cadre multi-agents qui améliore l'optimisation des noyaux GPU en remplaçant les heuristiques implicites des modèles de langage par des compétences d'experts explicites et une architecture de mémoire double niveau, atteignant des accélérations significatives par rapport aux méthodes existantes.
Le papier présente ES-dLLM, un cadre d'accélération d'inférence sans entraînement pour les modèles de diffusion de langage (dLLM) qui améliore considérablement le débit en sautant dynamiquement les calculs dans les premières couches basés sur l'importance estimée des tokens, tout en préservant la qualité de génération.
Cet article propose une attaque par perturbation multi-flux qui exploite les vulnérabilités du mode de réflexion des grands modèles de langage en intercalant plusieurs tâches pour contourner leurs mécanismes de sécurité et provoquer l'effondrement de leur processus de raisonnement.
Cet article propose le standard d'exécution SAE (Survivability-Aware Execution), une couche middleware qui sécurise les agents de trading crypto de type OpenClaw en imposant des invariants non contournables et en mesurant l'écart de délégation, réduisant ainsi drastiquement les pertes maximales et les risques d'attaques lors de l'exécution de stratégies.
Le papier présente l'EAD, un modèle de diffusion équivariant et asynchrone doté d'un mécanisme de planification dynamique qui surpasse les méthodes existantes en générant des conformations moléculaires 3D en combinant les avantages des approches auto-régressives et synchrones.
Cet article présente CSRO, un cadre novateur qui remplace les oracles d'apprentissage par renforcement par des modèles de langage pour générer des politiques multi-agents interprétables sous forme de code, tout en maintenant des performances compétitives.
Cet article propose une méthode d'épissage « doux » basée sur un proxy de bit de poids fort intégré à une instruction RISC-V personnalisée, qui permet de réduire considérablement le nombre d'opérations MAC et la consommation énergétique des CNNs sur des dispositifs embarqués sans perte de précision, surpassant ainsi les techniques d'épissage traditionnelles.
Le papier CLIPO propose d'intégrer un mécanisme d'apprentissage contrastif à l'optimisation de politique pour généraliser l'apprentissage par renforcement avec récompenses vérifiables (RLVR), permettant ainsi de corriger les incohérences de raisonnement et les hallucinations en se concentrant sur la structure invariante des étapes intermédiaires correctes plutôt que sur le seul résultat final.
Cette paper démontre que le phénomène « Lost in the Middle », caractérisé par une courbe de performance en U, est une propriété géométrique inhérente aux transformateurs décodeurs causaux dès l'initialisation, résultant de la divergence logarithmique de l'influence au début du contexte et d'un ancrage résiduel à la fin, laissant une zone morte factorielle au milieu qui persiste même après l'entraînement standard.
Ce papier propose AR-VLA, un expert d'action autonome et autorégressif qui maintient une mémoire à long terme pour générer des trajectoires d'action spatio-temporellement cohérentes et fluides, surpassant ainsi les modèles VLA réactifs actuels tout en assurant un taux de réussite élevé dans des tâches de manipulation robotique.
Ce papier propose un système automatisé utilisant des agents IA spécialisés dans une boucle d'optimisation continue pour améliorer les produits de données en générant des actifs d'appui et en surveillant la qualité, tout en intégrant un contrôle humain pour garantir la fiabilité.
Cet article propose une synthèse unifiée de l'asymétrie fondamentale entre génération et reconnaissance en théorie des langages formels en identifiant six dimensions distinctes, dont deux nouvelles (directionnalité et temporalité), pour démontrer que cette divergence opérationnelle persiste malgré l'unification architecturale des modèles de langage modernes.