7103 articles
Cet article propose une perspective unifiée sur l'inférence fédérée en la définissant comme un paradigme collaboratif distinct de l'apprentissage fédéré, qui permet à des modèles privés de coopérer lors de l'inférence tout en préservant la confidentialité des données et des paramètres, tout en identifiant les défis techniques et incitatifs nécessaires à sa mise en œuvre pratique.
Cet article démontre qu'il existe un écart exponentiel entre l'élagage structuré et non structuré en prouvant que l'approximation d'un neurone ReLU cible nécessite un nombre de neurones cachés proportionnel à la dimension pour l'élagage de neurones, contre une complexité logarithmique pour l'élagage de poids.
Cet article propose une étude unifiée examinant systématiquement les interactions entre le paramètre de température et divers éléments d'entraînement dans la distillation de connaissances, afin d'identifier des situations clés guidant son choix optimal pour les praticiens.
Cet article propose un nouveau paradigme pour l'apprentissage causal qui, en intégrant le crowdsourcing, l'expertise humaine et les modèles de langage, vise à reconstruire des structures causales globales à partir des connaissances fragmentées et imparfaites d'agents distribués.
Ce travail propose Probe-Select, un module plug-in qui évalue la qualité des images dès les premières étapes de la génération par diffusion ou matching de flux en exploitant les activations intermédiaires, permettant ainsi d'arrêter précocement les échantillons peu prometteurs et de réduire les coûts de calcul de plus de 60 % tout en améliorant la qualité finale.
Cet article propose une méthode d'apprentissage par renforcement exploitant la structure des processus de décision markoviens à dynamiques exogènes pour obtenir des garanties de regret optimales et une efficacité d'échantillonnage nettement supérieure aux approches standard.
AriadneMem est un système de mémoire structuré pour les agents LLM qui améliore la précision des réponses multi-sauts et la gestion des mises à jour d'état tout en réduisant considérablement le temps d'exécution et l'utilisation du contexte, grâce à une approche en deux phases combinant filtrage, coalescence conflictuelle et découverte algorithmique de liens dans un graphe.
Cette étude présente une architecture hybride de modèles de langage, combinant un fine-tuning supervisé sur des faits agricoles vérifiés et une couche d'adaptation culturelle, qui améliore la fiabilité, la sécurité et le rapport coût-efficacité des systèmes d'avis agricoles pour les petits exploitants, tout en introduisant un cadre d'évaluation rigoureux et une bibliothèque de prompts open source.
Ce papier présente TTSR, un cadre d'entraînement auto-évolutif au moment du test qui améliore continuellement le raisonnement des grands modèles de langage en faisant alterner un même modèle pré-entraîné entre les rôles d'élève résolvant des problèmes et de professeur analysant les échecs pour générer des questions ciblées.
Cet article explore les défis et les solutions du cache sémantique pour les embeddings de grands modèles de langage, en démontrant la complexité NP-difficile des politiques optimales hors ligne et en proposant des heuristiques efficaces qui améliorent la précision par rapport aux méthodes basées sur la fréquence.
Cet article propose une architecture dual-stream qui entraîne conjointement des données textuelles et structurées en séparant les représentations linguistiques et les connaissances via un dépôt de clés-valeurs accessible par un mécanisme d'attention conditionné par le transport de rôles basé sur des parcours, unifiant ainsi la navigation dans les graphes de connaissances et les hypergraphes.
Le papier propose la méthode DCCD, un processus d'inférence sans entraînement qui améliore la génération structurée en découplant la planification sémantique de l'application de contraintes syntaxiques, permettant ainsi d'obtenir une précision nettement supérieure et une efficacité accrue par rapport aux méthodes de décodage contraint standard.
Cet article propose un nouveau paradigme d'inférence appelé « inférence entropique-temps », qui remplace la progression linéaire par tokens par un processus thermodynamique auto-organisé où le décodage est piloté par le flux d'incertitude pour optimiser l'allocation des ressources computationnelles.
Cet article propose CoIPO, une méthode d'optimisation des préférences inverses basée sur l'apprentissage contrastif qui améliore la robustesse intrinsèque des grands modèles de langage face aux variations de prompts en minimisant l'écart entre les logits générés par des prompts propres et bruyants, validée par de nouveaux benchmarks et jeux de données.
Ce papier présente M-QUEST, un cadre sémantique et un benchmark de 609 paires question-réponse conçus pour évaluer la capacité des modèles de langage à interpréter la toxicité des mèmes en intégrant dix dimensions clés, révélant que les modèles avec instruction tuning surpassent les autres tout en restant limités sur les inférences pragmatiques.
L'article présente IntPro, un agent proxy qui améliore la compréhension contextuelle des intentions utilisateur en apprenant à adapter ses inférences à des modèles historiques individuels via un mécanisme de récupération et un entraînement par optimisation de politique.
Cette étude évalue la robustesse de 13 grands modèles de langage face à cinq types de perturbations dans le raisonnement par chaîne de pensée, révélant des vulnérabilités hétérogènes où l'augmentation de la taille du modèle atténue certaines erreurs mathématiques mais offre une protection limitée contre les problèmes de conversion d'unités.
Cet article propose un cadre statistique pour générer des classements de modèles de langage robustes et dépendants du contexte, en quantifiant l'incertitude via des intervalles de confiance simultanés afin d'éviter les décisions erronées basées sur des différences de performance non significatives.
Le papier présente NEURONA, un cadre neuro-symbolique qui améliore le décodage de l'activité cérébrale à partir de l'IRMf et la généralisation à de nouvelles requêtes en intégrant des raisonnements structurels sur les concepts visuels.
Le papier présente GreenPhase, une approche d'apprentissage vert et interprétable qui améliore la détection et le choix des phases sismiques avec une précision exceptionnelle tout en réduisant considérablement les coûts de calcul par rapport aux modèles d'apprentissage profond traditionnels.