2315 articles
Le papier présente TrainDeeploy, un cadre accéléré par le matériel permettant le premier fine-tuning complet et efficace en termes de paramètres de modèles CNN et Transformer directement sur des SoCs ultra-basse consommation de type RISC-V, tout en préservant la confidentialité des données et en réduisant significativement l'utilisation mémoire.
Cette étude révèle que les modèles de langage peuvent acquérir subrepticement les préférences d'un modèle générateur lors de l'entraînement sur des paraphrases fidèles, même lorsque le contenu sémantique est sans rapport ou contredit explicitement ces préférences, ce qui compromet l'efficacité des filtres basés sur le contenu dans les pipelines d'auto-apprentissage.
Ce papier présente EDA, un cadre efficace et économe en paramètres et en données qui restaure les performances du décodage spéculatif sur des modèles cibles adaptés à des domaines spécifiques en utilisant une architecture découplée, une régénération de données et une sélection d'échantillons, évitant ainsi le coût d'un réentraînement complet.
Ce papier propose BRACE, un algorithme d'apprentissage par renforcement qui gère la non-conformité en distinguant les objectifs de bien-être des recommandations et des traitements, en fournissant des garanties de validité et d'abstention certifiées pour l'inférence structurelle et la prise de décision opérationnelle.
Ce papier présente une implémentation de Mamba-2 entièrement compilée via XLA, éliminant la dépendance aux noyaux CUDA personnalisés pour permettre un cache autorégressif portable en et des performances élevées sur CPU, GPU NVIDIA et TPU à partir d'une seule source JAX.
Cet article étudie l'apprentissage de la structure des réseaux de Markov et bayésiens en présence d'un oracle d'indépendance conditionnelle peu fiable, démontrant que l'identifiabilité unique est possible pour les réseaux de Markov malgré un nombre exponentiel d'erreurs sous certaines conditions, mais impossible pour les réseaux bayésiens même avec des paramètres graphiques bornés, tout en proposant des algorithmes pour les cas identifiables.
Cet article présente l'algorithme a-TMFG, une méthode évolutive qui surmonte les limitations de mémoire et de temps du TMFG traditionnel en utilisant des graphes de plus proches voisins approxims et une gestion dynamique des corrélations pour construire des graphes à partir de jeux de données massifs.
Cet article propose une approche de contrôle optimal rigoureuse pour l'entraînement des Transformers, modélisant l'architecture comme un système de particules contrôlé dont la dynamique est transformée en un processus de décision markovien complet, permettant ainsi d'établir l'existence de politiques globalement optimales et de concevoir une procédure d'entraînement quantifiée robuste sans recourir à la descente de gradient.
Ce papier présente SCDP, une approche utilisant des politiques de diffusion conditionnées aux capteurs et un entraînement par distillation d'observations mixtes pour permettre une locomotion humanoïde robuste sur un robot réel sans estimation d'état explicite ni capteurs externes.
Le papier présente « Routing without Forgetting » (RwF), une architecture de transformateur qui résout l'apprentissage continu en ligne en remplaçant l'adaptation par des paramètres fixes par une récupération associative dynamique basée sur l'énergie, permettant ainsi un routage instantané des représentations sans oublier les tâches précédentes.
Cette étude démontre que l'algorithme Adam converge automatiquement et linéairement sur une classe de polynômes hautement dégénérés grâce à un mécanisme de découplage qui amplifie le taux d'apprentissage, surpassant ainsi la convergence sous-linéaire du Gradient Descent et du Momentum sans nécessiter de planificateurs externes.
Cet article propose une stratégie de découpage de paramètres fondée théoriquement pour améliorer la confidentialité et l'utilité des modèles de langage préservant la vie privée basés sur l'information bottleneck variationnel non paramétrique (NVIB) en minimisant la borne supérieure de la divergence de Rényi.
Cet article établit que la capacité de mémorisation des réseaux de neurones profonds à activation ReLU est caractérisée par un compromis optimal entre la largeur et la profondeur, où le produit doit être proportionnel à pour mémoriser points de données séparés par une distance .
Cet article propose un cadre unifié pour les factorisations de matrices non négatives (NMF) classique et convexe sous des hypothèses de bruit Tweedie et binomiales négatives, en dérivant des règles de mise à jour multiplicatives via des algorithmes MM et en démontrant leur efficacité supérieure sur des données réelles grâce à une implémentation logicielle disponible.
Ce papier propose BrainHO, une méthode novatrice qui apprend l'organisation hiérarchique intrinsèque des réseaux cérébraux à partir de données IRMf pour améliorer le diagnostic des troubles neurologiques et identifier des biomarqueurs interprétables, surpassant ainsi les approches traditionnelles basées sur des sous-réseaux prédéfinis.
Ce papier présente SparseLoom, un système d'inférence multi-DNN pour SoCs de bord qui utilise une technique de « model stitching » pour recombiner des sous-graphes de modèles épars sans réentraînement, réduisant ainsi les violations d'objectifs de niveau de service et améliorant le débit par rapport aux systèmes existants.
Cette revue analyse systématiquement les sources de bruit dans l'apprentissage automatique quantique photonique, examine leur impact sur les algorithmes clés, et présente des techniques de caractérisation et d'atténuation pour favoriser le développement de systèmes robustes et évolutifs.
Cet article présente un cadre de réseau antagoniste génératif conditionnel (cGAN) qui utilise des données de diagraphies de puits pour synthétiser des images pétrographiques réalistes et continues de formations carbonatées, comblant ainsi les lacunes de l'imagerie à l'échelle des pores entre les échantillons discrets.
Le papier présente FreqCycle, un cadre novateur de prévision de séries temporelles qui intègre l'analyse multi-échelle en combinant un module de prévision cyclique pour les basses fréquences et un module d'apprentissage de motifs fréquentiels segmentés pour les moyennes et hautes fréquences, tout en proposant une extension hiérarchique (MFreqCycle) pour résoudre les défis des périodicités couplées et des longues fenêtres d'observation.
Cette étude analyse empiriquement l'impact distinct des biais d'étiquetage et de sélection sur l'évaluation et la performance des modèles de classification, démontrant qu'une représentation équitable dans les données de test révèle l'absence de compromis entre équité et précision tout en soulignant la nécessité d'adapter les méthodes d'atténuation au type de biais présent.