6787 articles
Cette étude propose une méthode de fine-tuning équitable et économe en paramètres pour les modèles vision-langage appliqués au diagnostic du glaucome, utilisant une nouvelle fonction de perte différentiable et des techniques d'adaptation de bas rang pour réduire significativement les disparités diagnostiques entre groupes démographiques tout en maintenant une précision globale élevée.
Le papier présente la Guided Flow Policy (GFP), une méthode d'apprentissage par renforcement hors ligne qui couple un acteur distillé et une politique de flot pour se concentrer sur l'imitation des actions à haute valeur, surpassant ainsi les approches existantes sur de nombreux benchmarks.
Cette étude démontre que l'ajout d'une récompense incitant à suivre un ordre d'action canonique lors du post-entraînement par apprentissage par renforcement améliore les performances des modèles sur des énigmes logiques, même lorsque les données d'entraînement sont désordonnées.
Le papier présente NeuralRemaster, une méthode de diffusion qui préserve la phase des signaux d'entrée tout en randomisant leur magnitude, permettant ainsi une génération alignée sur la structure sans coût d'inférence supplémentaire et en améliorant significativement le transfert sim-to-real pour les planificateurs de conduite.
Cette étude présente une méthode de post-entraînement qui rend l'attention des transformeurs extrêmement clairsemée sans compromettre les performances, révélant ainsi des circuits de calcul plus simples et interprétables tout en démontrant que la majeure partie du calcul des modèles actuels est redondante.
Cet article propose SACP, une nouvelle méthode d'agrégation symétrique des scores de non-conformité de plusieurs modèles prédictifs pour générer des ensembles de prédiction conformes plus efficaces et fiables.
Cet article propose TAP, un cadre novateur utilisant les grands modèles de langage et une stratégie d'optimisation préférentielle directe pour découvrir automatiquement et sans entraînement des proxies supérieurs afin d'optimiser la quantification de précision mixte des réseaux de neurones profonds.
Le papier présente ReFusion, un modèle de diffusion masqué innovant qui combine le réordonnancement de séquences et le cadre d'attention causale pour permettre un décodage parallèle efficace avec mise en cache KV, surmontant ainsi les limitations de vitesse et de cohérence des modèles de diffusion existants tout en rivalisant avec les modèles autoregressifs.
Cet article propose des bornes supérieures non asymptotiques et sans hypothèse de distribution pour l'erreur d'étalonnage des classificateurs binaires, ainsi qu'une méthode pratique pour les modifier afin d'assurer un étalonnage efficace sans compromettre leurs performances.
En s'inspirant de la théorie de la charge cognitive, le papier présente RePo, une nouvelle méthode qui améliore l'apprentissage en contexte des grands modèles de langage en réaffectant dynamiquement les positions des tokens pour réduire la charge cognitive extrinsèque et optimiser l'attention sur les informations pertinentes, même dans des contextes bruyants ou longs.
Ce papier propose AMPEND-LS, un cadre multi-personas agentic intégrant la synergie entre LLM et SLM pour détecter les fausses nouvelles multimodales de manière précise, robuste et explicable grâce à une analyse de preuves enrichie.
Ce papier propose le cadre général de prédiction de tokens parallèles (PTP), qui accélère le décodage des modèles de langage en rendant les futurs tokens déterministes via des variables d'entrée aléatoires, permettant ainsi de générer plusieurs tokens en une seule passe et d'obtenir un gain de vitesse de 2,4 fois.
Cet article présente un cadre d'apprentissage automatique basé sur les réseaux de Kolmogorov-Arnold avec processus gaussiens variationnels épars (SVGP-KAN) pour reconstruire avec précision et quantifier les incertitudes des champs d'écoulement à partir de mesures de vélocimetry temporellement éparses, surpassant les méthodes classiques en offrant des estimations d'incertitude bien calibrées.
Cette étude démontre que l'intégration des signatures d'impédance électrique cellulaire avec des algorithmes d'apprentissage automatique, en particulier la forêt aléatoire, permet de prédire la malignité cellulaire avec une précision d'environ 90 %, ouvrant la voie à de nouveaux outils de diagnostic.
Ce papier présente le Spectral Sphere Optimizer (SSO), un nouvel algorithme d'optimisation intégré à Megatron qui impose des contraintes spectrales strictes pour aligner pleinement l'entraînement avec la paramétrisation P, surpassant ainsi AdamW et Muon en termes de convergence et de stabilité sur diverses architectures de grands modèles.
Cet article présente le cadre Behavioral Profiling Ensemble (BPE), une approche d'intégration centrée sur le modèle qui, en construisant des profils comportementaux intrinsèques pour chaque apprenant, surpasse les méthodes d'ensemble dynamiques existantes en améliorant la précision prédictive tout en réduisant les coûts computationnels et de stockage.
Le papier présente EmboTeam, un cadre de planification pour des équipes de robots hétérogènes qui combine les capacités de raisonnement des grands modèles de langage avec la rigueur des planificateurs classiques et des arbres de comportement pour exécuter des tâches complexes, validé par une amélioration significative des taux de réussite sur le nouveau benchmark MACE-THOR.
ButterflyMoE est une méthode qui permet de stocker de multiples experts sur des appareils à ressources limitées en remplaçant le stockage linéaire de matrices de poids indépendantes par une représentation géométrique sub-linéaire basée sur des rotations appliquées à un prototype ternaire partagé, réduisant ainsi la consommation mémoire de 150 fois sans perte significative de précision.
Ce papier présente Yuan3.0 Ultra, un modèle de langage open-source de type MoE orienté entreprise qui utilise l'algorithme de pruning d'experts adaptatif par couche (LAEP) pour améliorer l'efficacité du pré-entraînement et obtenir des performances de pointe sur des tâches spécialisées tout en réduisant la taille totale du modèle.
Ce travail présente EGAgent, un cadre agentique innovant basé sur des graphes de scènes d'entités qui permet une compréhension vidéo longitudinale avancée et un raisonnement multi-modal sur des flux vidéo continus de plusieurs jours, surpassant les méthodes existantes sur des tâches complexes d'assistance personnelle.