335 articles
Cet article présente un cadre novateur permettant d'entraîner directement des modèles de langage dans le domaine booléen grâce à des paramètres multi-noyaux, éliminant ainsi le besoin de poids latents en précision complète et surpassant les techniques de quantification et de binarisation existantes.
Cet article propose une méthode utilisant les variétés actives neuronales pour réduire la dimensionnalité d'un modèle coûteux et permettre un échantillonnage stratifié efficace en haute dimension, en alignant les partitions de l'espace d'entrée sur les ensembles de niveau de la réponse du modèle afin de réduire la variance des estimateurs.
Cet article présente BWFlow, un cadre de matching de flux pour la génération de graphes qui, en modélisant l'évolution conjointe des nœuds et des arêtes via des champs aléatoires de Markov et le transport optimal de Bures-Wasserstein, résout les problèmes de convergence et de régularité inhérents aux méthodes d'interpolation linéaire disjointe.
Cette étude propose une méthode rapide pour évaluer la sensibilité des classements de grands modèles de langage aux suppressions minimales de données de préférence, révélant que les classements du Chatbot Arena sont extrêmement fragiles au point qu'un retrait infime (0,003 %) peut inverser le modèle en tête, contrairement à ceux du MT-bench qui sont plus robustes grâce à une annotation experte.
Cet article établit des bornes explicites sur la distance de Wasserstein quadratique entre les réseaux de neurones monocouches entraînés par descente de gradient et leurs processus gaussiens associés, démontrant une convergence quantitative avec une décroissance polynomiale en fonction de la largeur du réseau.
Cet article établit des bornes non asymptotiques sur l'efficacité de la régression conformalisée quantile et médiane entraînée par SGD, en caractérisant la dépendance conjointe de la longueur des ensembles de prédiction par rapport à la taille des jeux d'entraînement et de calibration ainsi qu'au niveau de non-couverture, et en identifiant des transitions de phase dans les taux de convergence.
Cet article théorique démontre que la géométrie des données dicte l'induction implicite des réseaux de neurones ReLU entraînés sous la limite de stabilité, favorisant la généralisation lorsque les données sont difficiles à « briser » par les seuils d'activation et la mémorisation lorsqu'elles sont facilement séparables.
Cet article propose un cadre statistique rigoureux pour tester la significativité des sous-ensembles de données les plus influents dans les modèles de moindres carrés linéaires, en dérivant des formules exactes et des distributions de valeurs extrêmes permettant de distinguer l'influence excessive du bruit naturel.
Cet article propose SACP, une nouvelle méthode d'agrégation symétrique des scores de non-conformité de plusieurs modèles prédictifs pour générer des ensembles de prédiction conformes plus efficaces et fiables.
Cet article propose une approche bayésienne non paramétrique pour l'apprentissage de mélanges finis à composantes non paramétriques, en établissant des conditions d'identifiabilité, en démontrant des taux de contraction postérieure quasi-polynomiaux pour les densités des composantes latentes, et en développant un algorithme MCMC efficace pour l'inférence.
Cet article établit des bornes minimax précises pour l'apprentissage d'opérateurs entre espaces de Hilbert, démontrant que la complexité d'échantillonnage subit une malédiction fondamentale qui empêche toute décroissance algébrique du risque, même pour des opérateurs de régularité supérieure.
L'article présente Latent-IMH, une méthode d'échantillonnage bayésien efficace pour les problèmes inverses linéaires avec des opérateurs coûteux, qui génère des variables latentes via une approximation rapide avant de les affiner avec l'opérateur exact, surpassant ainsi des méthodes de l'état de l'art comme NUTS en termes d'efficacité computationnelle.
Ce papier propose un cadre variationnel interprétant les couches des transformers comme des itérations d'algorithmes d'optimisation, permettant de concevoir une architecture accélérée par Nesterov qui surpasse les modèles de base sur des tâches de génération de texte.
Cet article propose des algorithmes de prédiction conforme en ligne, adaptés à la détection de dérive, qui atteignent un regret cumulatif conditionnel à l'entraînement optimal pour des flux de données non stationnaires, que les scores de non-conformité soient préentraînés ou mis à jour en ligne.
Cet article propose une méthode d'apprentissage par renforcement à partir de préférences humaines en ligne régularisée, fondée sur un modèle de préférences bilinéaires généralisées, qui établit pour la première fois des garanties d'efficacité statistique en haute dimension avec des bornes de regret indépendantes de la dimension ou de la force de régularisation.
Cet article propose un cadre de prédiction conforme pour les sorties graphiques, garantissant une couverture distributionnelle sans hypothèse grâce à l'utilisation de la distance Z-Gromov-Wasserstein et d'une extension de la régression quantile pour générer des ensembles de prédiction adaptatifs.
Les auteurs proposent FreST Loss, une nouvelle fonction de perte basée sur la transformée de Fourier conjointe qui améliore la prévision spatio-temporelle en alignant les prédictions sur le spectre spatio-temporel global pour mieux capturer les dépendances complexes et réduire les biais d'estimation.
Cette étude propose une nouvelle approche basée sur les réseaux de neurones profonds, nommée EINNs, qui inverse le processus traditionnel en utilisant les états d'équilibre pour inférer les paramètres du système, permettant ainsi de détecter efficacement les seuils critiques et les bifurcations dans les systèmes dynamiques complexes.
Cet article propose un cadre novateur de « Dictionary Based Pattern Entropy » (DPE) qui, en combinant la théorie de l'information algorithmique et de Shannon, infère avec succès la direction de causalité et les sous-motifs déterminants dans les séquences symboliques temporelles en minimisant l'incertitude liée aux motifs, surpassant ainsi les méthodes existantes sur divers systèmes synthétiques et réels.
Cet article propose une modélisation bayésienne des temps d'arrêt de la conjecture de Collatz en comparant une régression hiérarchique binomiale négative et une approximation générative basée sur la décomposition en blocs impairs, démontrant que la structure modulaire de bas ordre (notamment ) est un facteur clé de l'hétérogénéité observée.