3134 articles
Ce papier propose CGL, un cadre d'apprentissage continu pour les agents d'interface graphique qui combine l'ajustement fin supervisé et l'apprentissage par renforcement via un mécanisme d'ajustement dynamique et une chirurgie des gradients pour surmonter l'oubli catastrophique lors de l'adaptation aux mises à jour fréquentes des applications.
Cet article démontre théoriquement que la normalisation du second moment dans Adam permet une convergence à haute probabilité avec une dépendance en , surpassant ainsi la dépendance minimale de requise pour la méthode SGD.
Cette étude introduit la décomposition de sonde compositionnelle (CPD) pour démontrer que l'alignement de la tâche d'entraînement, plutôt que l'architecture du modèle, détermine la séparation linéaire des informations géométriques et compositionnelles dans les modèles de fondation atomistiques, tout en révélant un routage de l'information par symétrie au sein des représentations MACE.
Ce papier présente XInsight, un cadre multi-agents inspiré par le counseling qui structure le soutien psychologique selon le paradigme « Exploration-Insight-Action » pour améliorer l'interprétabilité, la continuité et l'efficacité des applications de bien-être numérique, validé par une nouvelle plateforme d'évaluation appelée XInsight-Bench.
Le papier présente vLLM Hook, un plug-in open-source permettant de programmer les états internes des modèles vLLM via des modes passif et actif pour faciliter des applications telles que la détection d'injections de prompts, l'amélioration du RAG et le pilotage d'activations.
Ce papier présente l'Isotonic Layer, un cadre différentiable universel qui intègre un ajustement linéaire par morceaux dans les architectures neuronales pour garantir une cohérence monotone, corriger les biais contextuels et améliorer la calibration des systèmes de recommandation à grande échelle.
Cette étude révèle que les « attention sinks » sur le premier token émergent précocement lors de l'entraînement grâce à un mécanisme spécifique appelé « P0 Sink Circuit », qui permet d'identifier la position zéro sans information sémantique et pourrait servir d'indicateur de convergence du pré-entraînement.
En utilisant des grammaires contextuelles probabilistes pour générer des corpus synthétiques, cette étude démontre que les structures hiérarchiques inhérentes au processus de génération des données constituent le facteur unificateur expliquant l'émergence de phénomènes mécanistes apparemment distincts dans les modèles de langage.
Le papier présente HEF (Hierarchical Embedding Fusion), une approche en deux étapes qui compresse les dépôts de code en une hiérarchie de vecteurs denses pour remplacer les longs contextes de récupération par des pseudo-jetons, permettant ainsi une génération de code assistée par récupération à faible latence avec une précision comparable aux méthodes existantes.
L'article propose FuzzingRL, une méthode combinant le fuzzing et l'affinement par renforcement pour générer automatiquement des requêtes adverses qui révèlent et exploitent les vulnérabilités des modèles de vision-langage en dégradant significativement leur précision.
Ce papier présente SWAN (Switchable Activation Networks), un cadre innovant qui équipe chaque unité neuronale d'une porte binaire déterministe dépendante de l'entrée, permettant une allocation adaptative du calcul pour réduire la redondance et améliorer l'efficacité des modèles tout en préservant leur précision.
Cet article propose une nouvelle approche de clustering, dite « Khatri-Rao », qui améliore la concision des résumés de données sans sacrifier leur précision en modélisant les centroïdes comme des interactions de protocentroïdes, et démontre son efficacité supérieure sur les algorithmes k-Means et le clustering profond.
Cette étude démontre que la duplication des données dans les corpus d'entraînement est dépendante de l'échelle, car les modèles de plus grande capacité deviennent progressivement sensibles aux duplications sémantiques plutôt qu'aux simples correspondances de surface, ce qui entraîne une dégradation rapide des performances et nécessite de nouvelles lois d'échelle pour prédire correctement l'apprentissage à grande échelle.
Cette étude propose un score de confiance normalisé pour détecter les erreurs des grands modèles de langage, révèle que l'apprentissage par renforcement induit une surconfiance contrairement au fine-tuning supervisé, et démontre l'efficacité d'une post-optimisation par distillation pour restaurer la fiabilité de ces modèles dans des tâches critiques.
Ce papier présente STAR, un transformateur d'ensemble amélioré par des biais d'attention temporels et de compatibilité variable pour traiter efficacement les séries temporelles cliniques asynchrones, surpassant les méthodes existantes sur des tâches de prédiction en soins intensifs tout en offrant des interprétabilités sur les interactions temporelles et entre variables.
Le papier propose LegoNet, une technique de compression sans réentraînement qui regroupe les poids des réseaux de neurones en blocs pour réduire l'empreinte mémoire de plus de 64 fois sans perte de précision, ou jusqu'à 128 fois avec une perte inférieure à 3 %.
Cet article propose un cadre de benchmarking systématique pour l'allocation de ressources radio dans les réseaux C-V2X en utilisant l'apprentissage par renforcement profond multi-agents, où des jeux d'interférence progressifs et des données SUMO permettent d'isoler les défis clés et révèlent que la robustesse et la généralisation des politiques face à des topologies variées constituent l'obstacle principal, surpassant ainsi les approches basées sur la valeur.
Cet article présente la suite de cartes Two-Bridge, un benchmark open-source et léger conçu pour combler le fossé entre les mini-jeux et le jeu complet de StarCraft II, en isolant les compétences tactiques essentielles pour permettre une recherche en apprentissage par renforcement accessible sans coûts de calcul excessifs.
Cet article propose une méthode pratique combinant le test de randomisation conditionnelle (CRT) et le modèle fondamental TabPFN pour obtenir des valeurs p valides à échantillon fini afin d'évaluer l'importance des caractéristiques dans des modèles tabulaires, sans nécessiter de réentraînement ni d'hypothèses paramétriques.
Ce papier présente CapTrack, un cadre d'évaluation axé sur les capacités qui redéfinit l'oubli dans le post-entraînement des LLM comme une dérive comportementale systémique et révèle, via une étude à grande échelle, que ce phénomène affecte profondément la robustesse et les comportements par défaut, avec des impacts variables selon les algorithmes et les familles de modèles.