12775 articles
Le système ScaleDoc accélère l'analyse sémantique de vastes collections de documents en découplant l'exécution des prédicats en une phase de représentation hors ligne et une phase de filtrage en ligne optimisée, utilisant un modèle proxy léger et un mécanisme de cascade adaptatif pour réduire considérablement les coûts d'inférence des LLM tout en garantissant la précision.
Cet article présente AIGB-Pearl, une méthode novatrice qui améliore les enchères automatiques génératives en intégrant une évaluation de trajectoires et une optimisation de politique contrainte pour permettre une exploration sûre au-delà des données statiques, surpassant ainsi les performances des approches existantes.
Cet article propose une méthode d'estimation rapide des distances de Wasserstein pour de multiples paires de distributions en apprenant un modèle de régression linéaire sur les distances de Wasserstein tranchées (standard et relevées), surpassant les approches existantes comme Wasserstein Wormhole tout en accélérant son entraînement.
Cet article propose une méthodologie d'évaluation rigoureuse et exempte de fuites de données pour le diagnostic de défauts de roulements, en mettant l'accent sur une partition des données par roulement et une formulation multi-étiquettes afin d'améliorer la généralisation et la fiabilité des modèles d'apprentissage automatique dans des applications industrielles réalistes.
Cet article propose un cadre théorique reliant la complexité de Kolmogorov aux Transformers en démontrant l'existence d'objectifs de longueur de description asymptotiquement optimes, tout en illustrant via une approche variationnelle à base de mélanges gaussiens que l'optimisation de ces objectifs pour améliorer la généralisation reste un défi majeur.
Cette étude théorique démontre que, bien que l'apprentissage par renforcement améliore la planification des modèles de langage en évitant les solutions erronées du fine-tuning supervisé grâce à l'exploration, les méthodes de gradient de politique souffrent d'un effondrement de la diversité, contrairement à l'apprentissage Q qui préserve cette diversité mais nécessite une conception rigoureuse des récompenses pour éviter les biais.
Cet article présente MR-GPTQ, une méthode de quantisation post-entraînement spécialisée pour les formats FP4 micro-échelles (MXFP4 et NVFP4) qui, en combinant des transformations de Hadamard par blocs et des noyaux GPU optimisés, comble l'écart entre les promesses théoriques et les performances réelles pour offrir des gains de vitesse significatifs tout en maintenant une précision compétitive.
Ce papier présente CREPE, une méthode d'inférence pour contrôler les modèles de diffusion via l'échange de répliques, offrant une alternative flexible aux approches SMC existantes en générant des échantillons séquentiels, en préservant leur diversité et en permettant un raffinement en ligne.
Cet article présente le premier benchmark pour l'évaluation rigoureuse des ponts de Schrödinger sur des espaces discrets, en proposant des solutions analytiques de référence et en introduisant de nouveaux algorithmes comme DLightSB pour permettre une comparaison fiable des méthodes de transport optimal entropique.
Ce papier propose un cadre de fine-tuning pour les modèles de diffusion qui, en façonnant les distributions intermédiaires via P-GRAFT et en corrigeant le bruit inverse, améliore la génération d'images et d'autres contenus tout en offrant une meilleure efficacité théorique et empirique que les méthodes existantes.
Cette étude propose un réseau de neurones léger et interprétable pour la classification des signaux EEG, construit par déroulement d'un algorithme de débruitage spectral sur un graphe signé équilibré, permettant d'atteindre des performances comparables aux modèles profonds avec beaucoup moins de paramètres.
Le papier présente AdaBet, une méthode sans gradient qui sélectionne automatiquement les couches les plus importantes pour l'adaptation efficace de réseaux de neurones pré-entraînés sur des appareils contraints en analysant les caractéristiques topologiques de leurs activations, permettant ainsi d'obtenir une meilleure précision tout en réduisant considérablement la consommation mémoire sans nécessiter d'étiquettes ni de rétropropagation.
Cet article propose Cache-to-Cache (C2C), une nouvelle méthode de communication sémantique directe entre grands modèles de langage via la fusion de leurs caches KV, qui surpasse la communication textuelle traditionnelle en offrant une meilleure précision et une latence réduite.
Ce papier présente LaDiR, un cadre de raisonnement novateur qui améliore les modèles de langage en unifiant la représentation latente et les capacités de raffinement itératif des modèles de diffusion pour permettre une génération parallèle et holistique de trajectoires de raisonnement.
Cet article présente les Modèles Stochastiques de Concepts Bottleneck Post-hoc (PSCBMs), une méthode légère qui améliore les modèles CBM pré-entraînés en y ajoutant une distribution multivariée pour capturer les dépendances entre les concepts, permettant ainsi d'augmenter la précision et la robustesse aux interventions sans nécessiter de réentraînement du modèle de base.
Cet article caractérise l'apprenabilité des fonctions de perte 0-1 « indulgentes » dans le cadre multiclasse en introduisant une nouvelle dimension combinatoire, la dimension de Natarajan généralisée, qui est finie si et seulement si la classe d'hypothèses est apprenable, couvrant ainsi divers scénarios d'apprentissage avec des retours sous forme d'ensembles et un apprentissage de listes modifié.
Cet article présente l'Energy Landscape Steering (ELS), un cadre novateur et sans réentraînement qui atténue le sur-rejet dans les grands modèles de langage alignés en guidant dynamiquement leurs activations internes vers des états désirables via un modèle externe basé sur l'énergie, améliorant ainsi la conformité aux requêtes bénignes tout en préservant la sécurité.
Ce papier présente une méthode de modélisation des interactions biomoléculaires intégrant une projection de Gauss-Seidel différentiable pour garantir la validité physique des structures, permettant d'obtenir une précision équivalente aux modèles de diffusion actuels en seulement deux étapes et avec une vitesse dix fois supérieure.
Ce papier présente WASI, une méthode d'optimisation de sous-espace qui permet l'entraînement efficace de modèles Transformer sur des appareils mobiles en réduisant considérablement l'utilisation de la mémoire et les coûts computationnels tout en préservant la précision.
Cet article présente GNQ, une métrique efficace et fondée sur la théorie de l'information pour auditer les risques de divulgation d'informations dans les grands modèles de langage, en surmontant les limitations computationnelles grâce à l'algorithme BS-Ghost GNQ qui permet d'évaluer la prédictibilité des séquences lors de l'entraînement.