3248 articles
Le papier propose ELSA, un cadre novateur combinant l'apprentissage fractionné et l'apprentissage fédéré hiérarchique pour optimiser le fine-tuning de modèles de langage à grande échelle sur le réseau de périphérie tout en garantissant la confidentialité des données et en surmontant les contraintes de ressources et d'hétérogénéité.
Cet article propose une architecture d'inférence CNN continue et adaptée au débit de données pour FPGA, qui résout le problème de sous-utilisation des unités matérielles causé par la réduction du flux de données dans les couches de convolution et de pooling, permettant ainsi d'atteindre une utilisation matérielle proche de 100 % et d'exécuter des réseaux complexes comme MobileNet sur une seule puce avec un haut débit.
Le papier présente MeanCache, un cadre d'accélération sans entraînement pour l'inférence Flow Matching qui remplace le cache de vitesse instantanée par une approche de vitesse moyenne utilisant des produits Jacobien-vecteur, permettant d'obtenir des accélérations allant jusqu'à 4,56 fois sur des modèles de pointe comme FLUX.1 tout en préservant la qualité de génération.
Le framework PASS propose une méthode évolutive pour le clustering k-moyennes avec contraintes pairwise, qui optimise un sous-ensemble réduit tout en garantissant la faisabilité des contraintes de type « cannot-link » via un certificat de réparation vérifiable, permettant ainsi des solutions efficaces sur des instances complexes où les méthodes de référence échouent.
Cette étude présente une comparaison systématique montrant que les modèles neuronaux sans modèle, en particulier les réseaux d'état d'espace, atteignent des performances d'estimation d'état comparables aux filtres de Kalnon linéaires forts et surpassent les méthodes classiques plus faibles, tout en offrant un débit d'inférence nettement supérieur.
Le papier présente TimeSliver, un cadre d'apprentissage profond novateur qui combine données temporelles brutes et abstraction symbolique pour fournir une classification de séries temporelles à la fois performante et hautement explicable en attribuant des scores d'importance précis à chaque segment temporel.
Ce papier propose TGCC, une nouvelle méthode de condensation de graphes fondée sur l'invariance causale qui extrait des caractéristiques invariantes au domaine et les injecte via un apprentissage contrastif spectral pour améliorer significativement les performances dans des scénarios de transfert inter-domaines et inter-tâches.
Le papier présente FlowSymm, une architecture innovante qui combine des actions de groupe sur des flux sans divergence, un encodeur d'attention graphique et un raffinement Tikhonov pour compléter les flux réseau manquants tout en respectant strictement les lois de conservation locales et en surpassant les méthodes de l'état de l'art sur divers benchmarks réels.
Le papier présente Mem-T, un agent de mémoire autonome entraîné via le cadre RL MoT-GRPO pour densifier les récompenses et optimiser conjointement la construction et la récupération de mémoires sur des horizons longs, surpassant ainsi les méthodes existantes en performance et en efficacité.
Cet article propose l'application de l'analyse de fusion combinatoire (CFA) pour améliorer la prédiction des prix du Bitcoin en agrégeant divers modèles d'apprentissage automatique, obtenant ainsi une performance supérieure avec une erreur moyenne absolue en pourcentage (MAPE) de 0,19 %.
Cet article propose l'« Adam-Aware In-Run Data Shapley », une méthode novatrice qui surpasse les approches existantes basées sur SGD en fournissant des attributions de données précises et évolutives pour l'optimiseur Adam grâce à une approximation linéarisée des gradients et une réévaluation de l'utilité sous hypothèse d'état fixe.
Cette étude démontre que, pour la détection de valeurs humaines au niveau des phrases, la structure hiérarchique des valeurs de Schwartz est plus efficace en tant que biais inductif que comme règle de routage rigide, les meilleurs résultats étant obtenus grâce à l'ajustement des seuils et à l'ensemblage plutôt qu'aux architectures hiérarchiques strictes ou aux modèles de langage compacts.
Le papier présente LatentMem, un cadre de mémoire multi-agent apprenable qui surmonte l'homogénéisation et la surcharge d'informations grâce à une composition de mémoires latentes spécifiques aux agents et à une optimisation par politique (LMPO), permettant d'obtenir des performances supérieures sans modifier les systèmes existants.
Le papier présente T2T, un cadre de récompense dynamique inspiré de l'apprentissage humain qui améliore le raisonnement des grands modèles de langage en favorisant l'exploration via des trajectoires plus longues lors des erreurs et en encourageant l'efficacité par des pénalités de longueur une fois la solution correcte trouvée.
Cette étude révèle une nouvelle vulnérabilité de la chaîne d'approvisionnement des LLM où des attaquants peuvent植入 des portes dérobées au moment de l'inférence en modifiant les modèles de chat Jinja2, permettant d'altérer le comportement du modèle sans toucher aux poids ni aux données d'entraînement.
Cet article présente l'Arbre de Régression à Charnière (HRT), une méthode qui reformule la recherche de divisions obliques comme un problème d'optimisation non linéaire résolu par une méthode de Newton amortie, garantissant une convergence rapide, des propriétés d'approximation universelle et des performances supérieures sur divers benchmarks.
Cet article présente les Radial Müntz-Szász Networks (RMN), une architecture neuronale innovante utilisant des puissances radiales apprissables et un terme logarithmique pour modéliser avec une grande précision et une efficacité paramétrique inégalée les champs singuliers radiaux que les réseaux de neurones classiques peinent à représenter.
Le papier présente SDFed, un cadre d'apprentissage fédéré hétérogène pour les modèles vision-langage qui résout les disparités locales-globales en permettant des prompts locaux de longueur variable tout en maintenant un prompt global fixe, grâce à une raffinement de sous-espace et un contrôle de divergence pour améliorer la performance et la robustesse.
Cette étude révèle que les pipelines RAG hybrides combinant recherche vectorielle et graphes de connaissances introduisent un risque de fuite de données par « pivot » entre locataires, qu'il est possible d'éliminer efficacement en réappliquant les contrôles d'autorisation spécifiquement à la frontière d'expansion du graphe.
Cet article propose un cadre de préentraînement unifié basé sur la diffusion pour les modèles de fondation du cerveau, qui améliore l'apprentissage de représentations transférables en guidant des stratégies de masquage et de lecture respectueuses de la structure et de la topologie des graphes cérébraux, surpassant ainsi les méthodes existantes sur de vastes ensembles de données neuroimagerie.