12775 articles
Cet article propose le cadre général \texttt{IMPRINT} pour l'apprentissage par transfert sans optimisation de paramètres, qui, en s'inspirant du phénomène d'effondrement neuronal pour regrouper les données via des proxys, améliore les performances de 4 % par rapport aux méthodes existantes.
Ce papier présente « Landscape of Thoughts », un outil de visualisation qui projette les trajectoires de raisonnement des grands modèles de langage en deux dimensions pour analyser leurs performances, identifier des schémas indésirables et entraîner un vérificateur léger améliorant la précision du raisonnement.
Ce papier présente Param, une méthode novatrice permettant de transférer les capacités d'un modèle post-entraîné vers une nouvelle version de base sans aucun coût de calcul supplémentaire, en exploitant simplement la différence de poids entre les modèles.
Cet article propose le cadre ASL, qui utilise l'algorithme AMPO pour permettre aux agents linguistiques d'adapter dynamiquement la profondeur de leur raisonnement dans les interactions sociales, améliorant ainsi les performances de la tâche tout en réduisant significativement l'utilisation des jetons par rapport aux méthodes existantes.
Le papier présente LiteLMGuard, un mécanisme de filtrage léger et agnostique au modèle conçu pour protéger les petits modèles de langage quantifiés déployés sur les appareils mobiles contre les risques de sécurité et les attaques par injection de prompts, en assurant une défense en temps réel avec une faible latence et une haute précision.
Cet article propose des bornes déterministes et un estimateur aléatoire non biaisé, basé sur la méthode de Hutchinson, pour le calcul efficace et évolutif du tenseur métrique défini par l'information de Fisher sur les variétés neuronales.
Le papier présente PC Agent-E, un cadre d'entraînement efficace qui, en combinant un nombre limité de démonstrations humaines avec une synthèse de données par l'IA, permet d'obtenir des agents informatiques surpassant à la fois les modèles entraînés uniquement sur des données humaines et le modèle Claude 3.7 Sonnet lui-même.
Cet article propose de nouvelles méthodes de classification sélective fondées sur le lemme de Neyman-Pearson et les rapports de vraisemblance pour améliorer la fiabilité des modèles, en particulier dans des scénarios réalistes de dérive de covariables où les distributions d'entraînement et de test diffèrent.
Cet article propose une nouvelle méthode de pipeline hybride pour la sélection automatique d'états et l'optimisation structurelle des équations différentielles neuronales hybrides, combinant modifications de graphes guidées par le domaine et régularisation pilotée par les données afin de réduire la complexité du modèle et d'améliorer ses performances prédictives et sa stabilité dans les applications de santé.
Le papier propose NatADiff, une méthode exploitant le guidage par frontière adversaire et la diffusion débruiteuse pour générer des échantillons adversariaux naturels qui, en ciblant l'intersection des classes, améliorent significativement la transférabilité des attaques tout en reproduisant fidèlement les erreurs de test réelles.
Cet article propose un cadre novateur d'optimisation des augmentations de données via la sélection de modèles bayésienne, qui traite les paramètres d'augmentation comme des hyperparamètres à optimiser conjointement avec les paramètres du modèle en maximisant une borne inférieure variationnelle (ELBO) de la vraisemblance marginale, améliorant ainsi la robustesse et la calibration des modèles d'apprentissage automatique.
Le papier présente WARP, un modèle innovant qui unifie l'apprentissage dans l'espace des poids et la récurrence linéaire pour permettre une adaptation sans gradient et un apprentissage contextuel, surpassant ainsi les méthodes de pointe sur diverses tâches de séquences et de systèmes dynamiques.
Cet article présente les réseaux de Hopfield à variétés dynamiques (DMHN), un modèle qui permet une réorganisation contextuelle de la géométrie des attracteurs pour améliorer considérablement la capacité et la robustesse de la mémoire associative par rapport aux réseaux classiques.
Cet article présente , une méthode novatrice combinant le schéma JKO et l'optimisation inverse pour apprendre la dynamique des populations via un entraînement adversaire end-to-end, éliminant ainsi le besoin de contraintes architecturales restrictives tout en offrant des garanties théoriques et des performances supérieures.
Cet article propose l'Interaction Field Matching (IFM), une généralisation du champ électrostatique qui surmonte ses limitations en utilisant un champ d'interaction inspiré des interactions fortes entre quarks pour améliorer la génération et le transfert de données.
DiaBlo est une méthode de fine-tuning efficace en paramètres qui met à jour uniquement les blocs diagonaux des matrices de poids, offrant une convergence stable et des performances compétitives sans nécessiter de produits matriciels de faible rang ni de stratégies d'initialisation auxiliaires.
Ce travail présente Search Arena, un jeu de données à grande échelle et crowdsourcé de plus de 24 000 interactions multi-tours avec des modèles de langage augmentés par la recherche, qui révèle les biais des utilisateurs envers les citations et les sources, tout en démontrant que l'intégration de la recherche web améliore les performances sans les dégrader dans des contextes non dédiés.
Ce papier présente le Radon-Nikodym Estimator (RNE), une méthode modale-agnostique et plug-and-play qui unifie l'estimation de densité, le contrôle à l'inférence et l'entraînement basé sur l'énergie pour les modèles de diffusion continus et discrets en exploitant le rapport de densité entre les distributions de trajectoires.
Le papier présente Perception-R1, une méthode qui améliore les capacités de raisonnement multimodal des grands modèles de langage en introduisant une récompense de perception visuelle basée sur la cohérence avec des annotations textuelles, comblant ainsi une lacune des approches RLVR existantes.
Cette étude propose une approche hybride combinant des bandits contextuels et des modèles de langage pour personnaliser des messages de motivation physique, démontrant que cette méthode améliore l'acceptation et l'équité de la distribution des interventions tout en réduisant les coûts computationnels par rapport aux solutions purement génératives ou aléatoires.