4047 articles
Ce papier présente Attn-QAT, la première étude systématique de l'entraînement sensible à la quantification (QAT) pour l'attention en 4 bits, qui surmonte les instabilités d'entraînement en corrigeant les hypothèses de précision implicites et en permettant une accélération jusqu'à 1,5x sur les GPU RTX 5090 sans heuristiques de mitigation des valeurs aberrantes.
Cet article établit que des partitions de volumes inégaux permettent de générer des ensembles de points par échantillonnage stratifié dont la discrépance étoile attendue est inférieure à celle de l'échantillonnage jittered classique, tout en fournissant de nouvelles bornes supérieures explicites qui renforcent la base théorique de l'intégration numérique en haute dimension.
Cet article présente un cadre reproductible pour évaluer le raisonnement des modèles multimodaux sur les signaux ECG en décomposant l'analyse en perception (vérification par code des structures temporelles) et déduction (alignement logique avec des critères cliniques structurés), permettant ainsi une évaluation scalable de la validité des traces de raisonnement.
Cet article propose un cadre hybride combinant un modèle de Markov caché et un réseau de neurones profond pour inférer les états cachés des rivaux et optimiser la stratégie énergétique en Formule 1 2026, permettant ainsi de détecter des tactiques de contre-récolte dans un environnement partiellement observable.
Ce rapport présente le système TCG CREST pour le défi DISPLACE-M, qui a atteint la sixième place en obtenant un taux d'erreur de diarisation de 9,21 % sur l'ensemble d'évaluation grâce à l'utilisation du système hybride Diarizen basé sur WavLM couplé à un algorithme de clustering hiérarchique agglomératif optimisé.
Cette étude propose une pipeline de détection gating innovante qui améliore la robustesse et la généralisation de l'extraction de la forme d'onde de la surface glottique à partir de vidéolaryngoscopies haute vitesse, permettant ainsi une évaluation clinique fiable des biomarqueurs vocaux sur des plateformes diverses.
Cet article propose un cadre robuste combinant l'architecture hybride CoAtNet et la technique de « model soups » pour améliorer la classification des images du patrimoine culturel immatériel du delta du Mékong, atteignant des performances de pointe en réduisant la variance grâce à un ensemencement intelligent de checkpoints géométriquement diversifiés.
Cet article propose une méthode d'apprentissage TD par renforcement multi-agent personnalisée et à récompense moyenne, qui exploite une représentation linéaire partagée pour filtrer les signaux conflictuels et atteindre une accélération linéaire malgré l'hétérogénéité des environnements et l'échantillonnage de Markov.
Ce papier propose d'intégrer un modèle de régression vectorielle autorégressive interprétable et régularisé en au sein d'un autoencodeur convolutif pour extraire la dynamique temporelle sparse des données d'imagerie calcique, tout en séparant les informations spatiales statiques et en permettant la visualisation des régions spatiales contributives.
Cet article présente une méthode sans calcul de gradient, utilisant GramCol et un algorithme de sélection de caractéristiques pour générer des cartes d'attention motrices interprétables (IMAP) qui localisent spatio-temporellement les concepts de mouvement dans les Transformers de diffusion vidéo.
Ce papier propose CGL, un cadre d'apprentissage continu pour les agents d'interface graphique qui combine l'ajustement fin supervisé et l'apprentissage par renforcement via un mécanisme d'ajustement dynamique et une chirurgie des gradients pour surmonter l'oubli catastrophique lors de l'adaptation aux mises à jour fréquentes des applications.
Cet article démontre théoriquement que la normalisation du second moment dans Adam permet une convergence à haute probabilité avec une dépendance en , surpassant ainsi la dépendance minimale de requise pour la méthode SGD.
Cette étude introduit la décomposition de sonde compositionnelle (CPD) pour démontrer que l'alignement de la tâche d'entraînement, plutôt que l'architecture du modèle, détermine la séparation linéaire des informations géométriques et compositionnelles dans les modèles de fondation atomistiques, tout en révélant un routage de l'information par symétrie au sein des représentations MACE.
Ce papier présente XInsight, un cadre multi-agents inspiré par le counseling qui structure le soutien psychologique selon le paradigme « Exploration-Insight-Action » pour améliorer l'interprétabilité, la continuité et l'efficacité des applications de bien-être numérique, validé par une nouvelle plateforme d'évaluation appelée XInsight-Bench.
Le papier présente vLLM Hook, un plug-in open-source permettant de programmer les états internes des modèles vLLM via des modes passif et actif pour faciliter des applications telles que la détection d'injections de prompts, l'amélioration du RAG et le pilotage d'activations.
Ce papier présente l'Isotonic Layer, un cadre différentiable universel qui intègre un ajustement linéaire par morceaux dans les architectures neuronales pour garantir une cohérence monotone, corriger les biais contextuels et améliorer la calibration des systèmes de recommandation à grande échelle.
Cette étude révèle que les « attention sinks » sur le premier token émergent précocement lors de l'entraînement grâce à un mécanisme spécifique appelé « P0 Sink Circuit », qui permet d'identifier la position zéro sans information sémantique et pourrait servir d'indicateur de convergence du pré-entraînement.
En utilisant des grammaires contextuelles probabilistes pour générer des corpus synthétiques, cette étude démontre que les structures hiérarchiques inhérentes au processus de génération des données constituent le facteur unificateur expliquant l'émergence de phénomènes mécanistes apparemment distincts dans les modèles de langage.
Le papier présente HEF (Hierarchical Embedding Fusion), une approche en deux étapes qui compresse les dépôts de code en une hiérarchie de vecteurs denses pour remplacer les longs contextes de récupération par des pseudo-jetons, permettant ainsi une génération de code assistée par récupération à faible latence avec une précision comparable aux méthodes existantes.
L'article propose FuzzingRL, une méthode combinant le fuzzing et l'affinement par renforcement pour générer automatiquement des requêtes adverses qui révèlent et exploitent les vulnérabilités des modèles de vision-langage en dégradant significativement leur précision.