2384 articles
Le papier présente GTR-Turbo, une méthode efficace qui fusionne les checkpoints d'un modèle pendant son entraînement par renforcement pour créer un « enseignant gratuit », éliminant ainsi la dépendance aux modèles propriétaires coûteux tout en améliorant significativement les performances et en réduisant les coûts de calcul pour les agents VLM.
Cet article présente le PBT (Pretrained Battery Transformer), un modèle fondamental pré-entraîné sur des données hétérogènes qui surpasse les méthodes existantes de 21,8 % en moyenne pour prédire universellement la durée de vie des batteries à travers diverses chimies et conditions de vieillissement.
Cette étude présente un cadre intégrant YOLOv8 et Finer-CAM pour classifier les espèces d'arbres à partir de nuages de points TLS, démontrant une précision de 96 % et révélant que les modèles s'appuient principalement sur les cimes, bien que les troncs soient déterminants pour certaines espèces, améliorant ainsi l'interprétabilité des décisions du modèle.
En construisant des « tunnels de vent bayésiens » où la vraisemblance est connue, cette étude démontre que les transformateurs réalisent un inférence bayésienne rigoureuse grâce à un mécanisme géométrique précis impliquant des flux résiduels et une attention hiérarchique, une capacité que les architectures plates ne peuvent reproduire.
Ce papier établit que l'entraînement par entropie croisée sculpte la géométrie interne des transformateurs via une boucle de rétroaction couplée entre le routage et le contenu, agissant comme une procédure EM à deux échelles de temps qui transforme l'optimisation en raisonnement probabiliste bayésien.
Cette étude démontre que les grands modèles de langage modernes conservent un substrat géométrique favorisant l'inférence bayésienne, où les représentations de la dernière couche s'organisent selon un axe dominant corrélé à l'entropie prédictive, bien que cette géométrie constitue davantage une lecture privilégiée de l'incertitude qu'un goulot d'étranglement computationnel unique.
Cette étude examine le phénomène de « sur-recherche » dans les modèles de langage augmentés par la recherche, propose une nouvelle métrique d'évaluation nommée Tokens Per Correctness (TPC) pour quantifier ce problème, et présente des stratégies d'atténuation ainsi qu'un nouveau jeu de données, OverSearchQA, pour améliorer l'efficacité de ces systèmes.
Cette étude propose une architecture multi-locataire sécurisée combinée à un mécanisme « Burn-After-Use » pour prévenir les fuites de données dans les environnements d'LLM d'entreprise en assurant l'isolation stricte des instances et la destruction automatique des contextes éphémères après utilisation.
Cet article présente une attaque de déni de service économique furtive et multi-tours contre les agents LLM, exploitant le protocole MCP pour déclencher des chaînes d'appels d'outils excessivement longues via des modifications textuelles optimisées par recherche arborescente, augmentant ainsi considérablement les coûts et la consommation de ressources tout en contournant les filtres de sécurité traditionnels.
Cet article présente une approche d'apprentissage par renforcement dans Dark Souls III qui utilise un graphe de compétences dirigé et un curriculum hiérarchique pour décomposer le contrôle en cinq compétences réutilisables, permettant ainsi un apprentissage continu et une adaptation sélective efficace lors des changements de phase de jeu sans réentraînement complet.
Le papier présente MemOCR, un agent de mémoire multimodal qui améliore le raisonnement à long terme sous contraintes de contexte en convertissant l'historique des interactions en une image structurée qui priorise visuellement les informations cruciales tout en compressant les détails superflus.
Ce papier présente MHDash, une plateforme open-source conçue pour évaluer et auditer les assistants IA en santé mentale, révélant que les métriques d'agrégation masquent des défaillances critiques sur les cas à haut risque et les interactions multi-tours, ce qui rend nécessaire une analyse plus fine pour garantir la sécurité.
Ce papier démontre que les hallucinations des grands modèles de langage sont une conséquence inévitable de l'optimisation de l'espace mémoire, car la compression d'informations dans un univers de faits clairsemés force théoriquement le modèle à attribuer une haute confiance à certains non-facts pour minimiser la perte d'information.
Ce papier présente EverMemBench, le premier benchmark conçu pour évaluer la mémoire à long terme des LLM dans des dialogues collaboratifs multi-parties réalistes, révélant ainsi les limites fondamentales des systèmes actuels en matière de raisonnement multi-hop, de gestion temporelle et de conscience contextuelle.
Ce papier présente DEFT, une méthode de génération de trajectoires basée sur des politiques de diffusion qui permet aux robots de continuer à accomplir leurs tâches de manière sûre et efficace même en cas de défaillances d'actionnement, surpassant les méthodes classiques tant en simulation que dans des scénarios réels.
Ce papier présente DMS2F-HAD, un réseau de fusion spatiale-spectrale basé sur une architecture Mamba à double branche qui surpasse les méthodes existantes en matière de précision et d'efficacité pour la détection d'anomalies dans les images hyperspectrales.
Ce papier propose FGO, un algorithme d'apprentissage par renforcement qui améliore l'efficacité de l'utilisation des données et prévient l'effondrement de l'entropie pour compresser les chaînes de pensée des grands modèles de langage sans dégrader leurs performances.
Le papier présente UniWeTok, un tokeniseur binaire unifié doté d'un codebook massif de taille $2^{128}$ et d'une architecture hybride innovante, qui atteint des performances de pointe en génération et en compréhension multimodale tout en réduisant considérablement les coûts de calcul par rapport aux modèles existants.
Le papier présente TikArt, un agent multimodal entraîné par apprentissage par renforcement qui améliore le raisonnement visuel fin en intercalant la réflexion linguistique avec des actions de zoom et de segmentation pour acquérir séquentiellement des preuves locales, stabilisées par une récompense de réduction d'incertitude relative.
Le papier présente GOT-JEPA, un cadre de pré-entraînement par prédiction de modèles qui améliore la généralisation et la gestion des occlusions dans le suivi d'objets génériques, complété par OccuSolver pour affiner l'estimation de la visibilité et la capture des motifs d'occlusion.