2316 articles
Cet article propose une méthode rapide utilisant des réseaux de neurones à graphes pour estimer efficacement le nombre de conditionnement de matrices creuses, offrant un gain de vitesse significatif par rapport aux méthodes Hager-Higham et Lanczos.
Cet article démontre que l'ajustement supervisé (SFT) pondéré par une récompense exponentielle surpasse les méthodes RLHF pour l'alignement des systèmes de recommandation génératifs, car cette approche entièrement hors ligne est immunisée contre la triche des récompenses, ne nécessite pas de scores de propension et offre un compromis robuste entre performance et régularisation contrôlé par un seul paramètre de température.
Cet article propose un cadre ADMM plug-and-play convergent intégrant un nouveau débruiteur AC-DC pour résoudre le problème de décalage de variété entre les données d'entraînement et les itérations d'optimisation, garantissant ainsi la convergence et améliorant la qualité des solutions sur divers problèmes inverses.
Ce papier propose une nouvelle méthode de comparaison de datasets ancrée dans la géométrie, utilisant la décomposition en valeurs singulières généralisée (GSVD) pour définir un score d'angle interprétable par échantillon qui quantifie la contribution relative de chaque jeu de données à l'explication d'une observation.
L'article présente Copula-ResLogit, un cadre d'apprentissage profond hybride combinant des réseaux de neurones résiduels et des modèles de copule pour détecter et atténuer les effets de confusion non observés dans l'analyse de la demande de déplacement.
Ce papier propose MultiwayPAM, une nouvelle méthode de clustering tensoriel appliquée aux scores d'évaluation « LLM-as-a-Judge » pour surmonter les défis du coût computationnel et des biais inhérents en identifiant simultanément les membres et les médoides de chaque mode (questions, répondants, évaluateurs).
Cette étude démontre que l'intrication quantique confère un avantage compétitif significatif dans l'apprentissage par renforcement adversarial, permettant à des agents hybrides quantiques-classiques de surpasser leurs équivalents séparables et certains réseaux de neurones classiques sur le jeu de Pong.
Le papier propose HyMEM, une mémoire structurée hybride et auto-évolutive inspirée du cerveau humain qui améliore significativement les performances des agents GUI en couplant des nœuds symboliques discrets et des embeddings continus pour une récupération multi-sauts et une mise à jour dynamique.
Le papier présente GaLoRA, un cadre efficace en paramètres qui intègre les informations structurelles dans les grands modèles de langage pour atteindre des performances compétitives en classification de nœuds sur des graphes attribués par texte, avec seulement 0,24 % des paramètres requis par un réglage fin complet.
Cet article propose un cadre d'apprentissage en contexte sensible aux régimes de marché qui utilise des modèles de langage préentraînés pour prévoir la volatilité financière sans ajustement des paramètres, en sélectionnant dynamiquement des démonstrations adaptées aux conditions actuelles pour surpasser les méthodes classiques, notamment lors des périodes de forte volatilité.
En factorisant la forme du programme d'apprentissage de son taux de base et en menant une recherche systématique sur divers modèles, cette étude démontre que les programmes couramment utilisés ne sont pas optimaux et révèle que l'échauffement, la décroissance et le poids de la régularisation sont des éléments déterminants pour définir des programmes d'apprentissage quasi-optimaux.
Cette étude propose une méthode d'échantillonnage flexible et efficace par recherche faisceau stochastique pour optimiser les modèles de langage masqués dans l'ingénierie des protéines, démontrant par des évaluations in silico et in vitro sur des anticorps thérapeutiques que le choix de la méthode d'échantillonnage est aussi déterminant que le modèle lui-même.
Ce papier présente un cadre d'apprentissage d'opérateurs non locaux basé sur des noyaux d'intégration pilotés par les données qui séparent l'agrégation d'informations non locales de la prédiction non linéaire locale, permettant ainsi d'obtenir des modèles interprétables et parcimonieux pour la prévision des précipitations de la mousson asiatique.
Le papier présente NasoVoce, une interface discrète montée sur le pont nasal qui fusionne des signaux acoustiques et vibratoires pour permettre une interaction vocale avec l'IA en tout temps, même dans des environnements bruyants ou lors de chuchotements.
Cet article présente FairFAL, un cadre d'apprentissage actif fédéré adaptatif qui surpasse les méthodes existantes dans des scénarios non-IID extrêmes et déséquilibrés en sélectionnant dynamiquement entre les modèles globaux et locaux et en intégrant des stratégies d'échantillonnage équitables pour les classes minoritaires.
Cet article résout le problème d'identification du meilleur bras dans des bandits linéaires non stationnaires en établissant une borne inférieure dépendante de l'ensemble des bras et en proposant l'algorithme , basé sur une conception optimale adjacente, qui atteint cette borne et affine ainsi la complexité de l'apprentissage au-delà des résultats minimax pessimistes.
Ce papier présente HEAL, un cadre d'apprentissage sans renforcement qui surpasse les méthodes de distillation traditionnelles en surmontant la « limite de l'enseignant » grâce à une intervention active guidée par l'entropie, un filtrage rigoureux et une évolution progressive du curriculum inspirée de la zone de développement prochain.
Cet article propose les Graphes de Concepts Causaux (CCG), une méthode combinant des autoencodeurs épars et un apprentissage de structure différentiable pour cartographier les dépendances causales entre concepts dans l'espace latent des LLM, démontrant ainsi une supériorité significative sur les approches existantes pour le raisonnement étape par étape.
Cet article propose une nouvelle loi d'échelle généralisant la loi Chinchilla pour les modèles Mixture-of-Experts, en établissant une formule précise pour déterminer l'allocation optimale de calcul entre les couches d'attention et d'experts en fonction du budget de calcul et de la parcimonie.
Cet article propose une stratégie de pondération adaptative tenant compte de la variance pour équilibrer l'entraînement des modèles de diffusion à travers les différents niveaux de bruit, améliorant ainsi la stabilité et les performances de génération sur CIFAR-10 et CIFAR-100.