1080 articles
Cette étude démontre que les modèles de langage peuvent être entraînés à détecter avec une grande précision l'injection de vecteurs de guidage, remettant ainsi en cause la fiabilité des évaluations de sécurité basées sur cette technique tout en révélant que cette capacité de détection n'améliore pas la robustesse comportementale des modèles.
Le papier propose FlyThinker, un cadre efficace de « réflexion pendant la génération » qui utilise un modèle de raisonnement parallèle pour guider dynamiquement la génération de réponses longues et personnalisées, surmontant ainsi les limites des méthodes statiques tout en préservant l'efficacité de l'entraînement et de l'inférence.
Le papier présente ReFusion, un modèle de diffusion masqué innovant qui combine le réordonnancement de séquences et le cadre d'attention causale pour permettre un décodage parallèle efficace avec mise en cache KV, surmontant ainsi les limitations de vitesse et de cohérence des modèles de diffusion existants tout en rivalisant avec les modèles autoregressifs.
En s'inspirant de la théorie de la charge cognitive, le papier présente RePo, une nouvelle méthode qui améliore l'apprentissage en contexte des grands modèles de langage en réaffectant dynamiquement les positions des tokens pour réduire la charge cognitive extrinsèque et optimiser l'attention sur les informations pertinentes, même dans des contextes bruyants ou longs.
Ce papier présente MCP-SafetyBench, un benchmark exhaustif basé sur des serveurs MCP réels qui évalue la vulnérabilité des modèles de langage face à de nouvelles attaques dans des scénarios multi-étapes et révèle le compromis sécurité-utilité inhérent à ces systèmes agentic.
Cette étude propose un cadre d'évaluation à trois niveaux pour déterminer dans quelles conditions les grands modèles de langage peuvent servir de modèles du monde textuels fiables, démontrant qu'ils améliorent l'apprentissage des agents par la génération de trajectoires et la vérification d'actions, tout en soulignant que ces bénéfices dépendent crucialement de la couverture comportementale et de la complexité de l'environnement.
Ce papier propose le cadre général de prédiction de tokens parallèles (PTP), qui accélère le décodage des modèles de langage en rendant les futurs tokens déterministes via des variables d'entrée aléatoires, permettant ainsi de générer plusieurs tokens en une seule passe et d'obtenir un gain de vitesse de 2,4 fois.
Cette étude démontre que l'ajout de planification et d'outils externes aux grands modèles de langage améliore significativement la précision sur des tâches de raisonnement complexe comme la réponse aux questions événementielles, mais au prix d'une latence accrue et sans bénéfice systématique pour des tâches comme la persuasion, soulignant ainsi la nécessité de choix stratégiques adaptés au coût et à la nature de la tâche.
Le papier présente NeuronLLM, un cadre novateur qui identifie les « bons » et « mauvais » neurones des grands modèles de langage en adoptant le principe biologique d'antagonisme fonctionnel et en utilisant l'apprentissage contrastif pour améliorer la contrôlabilité des tâches.
Ce papier présente F-Actor, le premier modèle de parole conversationnelle en duplex intégral open-source et suivant des instructions, capable d'adapter dynamiquement son comportement (comme les interruptions ou les encouragements) et sa voix grâce à un entraînement efficace sur 2 000 heures de données sans préentraînement à grande échelle.
Ce papier démontre que la capacité des grands modèles de langage à extraire du sens de textes dénués de sens repose sur l'efficacité remarquable du repérage de motifs structurels, prouvant que cette compétence est un ingrédient fondamental de l'intelligence plutôt qu'une simple imitation.
Ce papier présente Yuan3.0 Ultra, un modèle de langage open-source de type MoE orienté entreprise qui utilise l'algorithme de pruning d'experts adaptatif par couche (LAEP) pour améliorer l'efficacité du pré-entraînement et obtenir des performances de pointe sur des tâches spécialisées tout en réduisant la taille totale du modèle.
Cette étude révèle que les modèles fondationnels actuels peinent à identifier les moments clés dans des vidéos de football, car ils dépendent trop d'une seule modalité et échouent à synthétiser efficacement les informations croisées, soulignant ainsi le besoin d'architectures modulaires et de procédures d'entraînement complémentaires.
Ce papier présente le Self-Distilled Reasoner, un cadre d'auto-distillation sur politique où un seul modèle joue à la fois le rôle d'enseignant (conditionné sur des traces de raisonnement privilégiées) et d'élève (ne voyant que la question), permettant d'améliorer les capacités de raisonnement mathématique avec une efficacité tokenique bien supérieure aux méthodes d'apprentissage par renforcement.
Le papier présente VIP, une stratégie d'allocation de rollouts adaptative qui optimise l'efficacité de l'apprentissage par renforcement en ligne en attribuant dynamiquement le budget de calcul aux prompts les plus informatifs pour minimiser la variance du gradient, surpassant ainsi les méthodes d'allocation uniforme.
LatentChem introduit une interface de raisonnement latent qui découple le calcul chimique de la génération textuelle, permettant aux modèles d'effectuer des inférences complexes dans un espace continu pour obtenir des performances supérieures et une accélération significative par rapport aux méthodes traditionnelles basées sur la chaîne de pensée explicite.
Cet article établit la convergence fondamentale entre les systèmes de dialogue guidés par schéma (SGD) et le protocole de contexte de modèle (MCP) pour définir un paradigme unifié d'interaction LLM-agent, en proposant cinq principes de conception de schémas qui comblent les lacunes actuelles et offrent un mécanisme évolutif de gouvernance pour les systèmes d'IA.
Cette étude présente un cadre d'évaluation par « red teaming » clinique automatisé qui, grâce à des simulations de thérapie avec des agents patients dynamiques, révèle des risques iatrogènes critiques dans l'utilisation des modèles de langage pour le soutien en santé mentale et valide un outil de visualisation pour auditer ces systèmes auprès de diverses parties prenantes.
Le papier présente JAILBREAK FOUNDRY, un système multi-agents qui automatise la traduction des articles de recherche sur les jailbreaks en modules exécutables pour permettre une évaluation reproductible et standardisée des vulnérabilités des grands modèles de langage.
Ce papier présente ReGFT, une méthode de fine-tuning guidé par des références qui synthétise des trajectoires de raisonnement positives à partir de solutions humaines partielles pour surmonter la rareté des récompenses et améliorer l'apprentissage par renforcement en mathématiques.