7114 articles
Cet article propose un schéma de filigrane léger et guidé par le sujet pour les grands modèles de langage, qui partitionne le vocabulaire en sous-ensembles sémantiques pour intégrer des marques robustes tout en préservant la qualité du texte et en évitant des intégrations complexes.
Cet article propose une méthode flexible pour estimer les incertitudes de prédiction en ajustant un modèle unique sur les données d'erreur d'un ensemble, permettant ainsi d'obtenir des barres d'erreur comparables à celles des ensembles tout en réduisant considérablement le coût computationnel lors de l'inférence.
En adoptant une approche de groupe de renormalisation, cet article démontre que l'abstraction absolue dans les réseaux de neurones dépend non seulement de la profondeur, mais aussi de l'étendue des données d'entraînement, convergeant vers un modèle de fonctionnalité hiérarchique lorsque ces deux facteurs augmentent.
Le papier présente GIOROM, un cadre de réduction d'ordre basé sur l'échantillonnage qui apprend la dynamique des interactions lagrangiennes directement dans l'espace physique via des opérateurs neuronaux et un noyau paramétrable, permettant ainsi de simuler efficacement des systèmes complexes comme les fluides et les milieux granulaires avec une réduction significative de la dimensionnalité tout en conservant une haute fidélité.
Cet article démontre que la stricte propreté d'une fonction de perte est à la fois nécessaire et suffisante pour obtenir une borne non triviale sur le regret, et résout une question ouverte en établissant que la convergence en norme ne peut dépasser un ordre de $1/2$ par rapport au regret de substitution pour une large classe de fonctions de perte.
Cet article présente BA-LoRA, une méthode d'adaptation à faible rang qui atténue l'héritage catastrophique des biais dans les grands modèles de langage en intégrant des régularisateurs de cohérence, de diversité et de décomposition SVD pour améliorer la robustesse et l'équité.
Cet article propose un cadre unifié basé sur des mesures informationnelles de la surprise moyenne et de la surprise conditionnelle moyenne pour quantifier la cohérence des utilisateurs, démontrant ainsi que la performance des systèmes de recommandation dépend fortement de cette cohérence et permettant une évaluation stratifiée ainsi qu'une conception ciblée de modèles plus efficaces.
Cet article comble une lacune dans la littérature en établissant des bornes supérieures et inférieures serrées pour les nombres de couverture des réseaux de neurones ReLU profonds, permettant ainsi de mieux comprendre l'impact de l'élagage et de la quantification, d'éliminer un facteur logarithmique superflu dans la complexité d'échantillonnage pour la régression non paramétrique, et d'unifier les résultats sur l'approximation fonctionnelle et l'estimation statistique.
Cet article présente le FP-HMsNet, une architecture de réseau neuronal hiérarchique combinant des opérateurs de Fourier et des réseaux multi-échelles pour prédire avec une grande précision et une efficacité computationnelle supérieure les écoulements de fluides dans des milieux poreux hétérogènes à fort contraste.
Cette étude propose un cadre novateur d'extraction de modèle en peu d'exemples contre les systèmes de recommandation séquentiels, combinant une stratégie d'augmentation générative autorégressive et un processus de distillation assisté par une perte de réparation bidirectionnelle pour construire des modèles substituts performants à partir de données limitées.
Cet article présente le cadre des Bandits Combinatoires Croissants (CRB) pour modéliser les récompenses croissantes interdépendantes, ainsi que l'algorithme CRUCB qui offre des garanties théoriques de regret serré et des performances empiriques solides dans divers environnements réalistes.
Le papier présente RealOSR, un cadre de super-résolution d'images omnidirectionnelles basé sur la diffusion qui utilise un module de guidage latent appelé LaGAR pour surmonter les limitations des dégradations réelles et offrir une accélération d'inférence de plus de 200 fois par rapport aux méthodes existantes.
Cet article propose une approche semi-supervisée pour l'inférence bayésienne amortie qui, en exploitant des pertes de cohérence bayésienne sur des données non étiquetées, améliore considérablement la robustesse des estimateurs de postérieur face à des observations hors du domaine de simulation.
Cette étude démontre que l'utilisation de modèles d'apprentissage automatique interprétables sur des biomarqueurs linguistiques permet un dépistage automatisé et une stratification des risques de troubles neurocognitifs, offrant ainsi une solution évolutive et non invasive pour le suivi de la santé cognitive à domicile.
Cette étude révèle que les classifieurs opérant dans l'espace des poids des Représentations Neuronales Implicites (INR) présentent une robustesse accrue aux attaques adverses standard grâce à l'obfuscation des gradients, tout en mettant en lumière les limites de cette sécurité face à des attaques spécifiques développées pour contourner ce phénomène.
Ce papier présente \texttt{SEM-CTRL}, une approche unifiée qui garantit la validité syntaxique et sémantique des sorties de tout grand modèle de langage sans fine-tuning en intégrant une recherche arborescente Monte Carlo guidée par des contraintes exprimées via des grammaires de réponses logiques.
Cet article propose le cadre général \texttt{IMPRINT} pour l'apprentissage par transfert sans optimisation de paramètres, qui, en s'inspirant du phénomène d'effondrement neuronal pour regrouper les données via des proxys, améliore les performances de 4 % par rapport aux méthodes existantes.
Ce papier présente « Landscape of Thoughts », un outil de visualisation qui projette les trajectoires de raisonnement des grands modèles de langage en deux dimensions pour analyser leurs performances, identifier des schémas indésirables et entraîner un vérificateur léger améliorant la précision du raisonnement.
Ce papier présente Param, une méthode novatrice permettant de transférer les capacités d'un modèle post-entraîné vers une nouvelle version de base sans aucun coût de calcul supplémentaire, en exploitant simplement la différence de poids entre les modèles.
Cet article propose le cadre ASL, qui utilise l'algorithme AMPO pour permettre aux agents linguistiques d'adapter dynamiquement la profondeur de leur raisonnement dans les interactions sociales, améliorant ainsi les performances de la tâche tout en réduisant significativement l'utilisation des jetons par rapport aux méthodes existantes.