2384 articles
Le papier présente « Routing without Forgetting » (RwF), une architecture de transformateur qui résout l'apprentissage continu en ligne en remplaçant l'adaptation par des paramètres fixes par une récupération associative dynamique basée sur l'énergie, permettant ainsi un routage instantané des représentations sans oublier les tâches précédentes.
Cet article propose un formalisme général biologiquement plausible qui approxime la rétropropagation dans le temps en unifiant et en étendant le modèle d'équilibre latent généralisé (GLE) pour offrir un cadre rigoureux d'apprentissage spatiotemporel dans le cortex et des pistes pour des circuits physiques réalisant ces calculs.
Cet article propose une nouvelle discipline, l'ingénierie du contexte, qui, complétée par l'ingénierie de l'intention et de la spécification, forme un modèle de maturité pyramidal essentiel pour passer du simple prompt engineering à des architectures multi-agents autonomes et évolutives au sein des entreprises.
Cet article propose un cadre fondé sur la vision et le langage pour générer et évaluer des données synthétiques interprétables en télédétection, introduisant le jeu de données ARAS400k qui démontre que l'entraînement combiné à des données réelles et synthétiques surpasse systématiquement les modèles basés uniquement sur des données réelles pour les tâches de segmentation sémantique et de légendage d'images.
Le papier présente PRECEPT, un cadre unifié d'adaptation au moment du test qui améliore la fiabilité des agents LLM en combinant une récupération de règles déterministe, une mémoire conflictuelle et une évolution de prompts guidée par le Pareto, permettant ainsi de surmonter les dégradations de récupération, d'assurer une généralisation compositionnelle robuste et de récupérer efficacement face aux connaissances obsolètes ou adverses.
Le papier propose le benchmark MM-tau-p, doté de 12 métriques novatrices, pour évaluer de manière holistique la robustesse et l'adaptation aux personnalités des agents multimodaux dans des environnements à double contrôle, comblant ainsi le vide laissé par les cadres d'évaluation actuels axés sur le chat textuel.
Ce papier présente MiniAppBench, le premier benchmark complet évaluant la capacité des LLMs à générer des mini-applications interactives en HTML, ainsi que MiniAppEval, un cadre d'évaluation agentic qui utilise l'automatisation du navigateur pour mesurer la qualité de ces applications selon des dimensions intentionnelles, statiques et dynamiques.
Le papier présente KV-Lock, un cadre sans entraînement pour les modèles de diffusion vidéo basés sur DiT, qui améliore la qualité du premier plan tout en préservant la cohérence de l'arrière-plan en ajustant dynamiquement le verrouillage des clés-valeurs et l'échelle de guidage en fonction de la détection d'hallucinations.
Cet article présente un cadre open-source pour la détection d'anomalies dans les séries temporelles utilisant des réseaux de neurones graphiques (GNN), qui démontre non seulement des performances supérieures et une meilleure interprétabilité, mais propose également une évaluation critique des pratiques méthodologiques actuelles.
Ce rapport technique présente le cadre Omni Parsing, qui intègre détection holistique, reconnaissance fine et interprétation multi-niveaux pour transformer des données multimodales non structurées en connaissances structurées et traçables, tout en introduisant le modèle Logics-Parsing-Omni et l'ensemble de données de référence OmniParsingBench pour évaluer ces capacités.
Le papier présente EsoLang-Bench, un nouveau benchmark utilisant des langages de programmation ésotériques pour révéler que les grands modèles de langage, bien que performants sur les tâches de codage standards, échouent à démontrer un raisonnement véritable en raison d'une dépendance excessive à la mémorisation des données d'entraînement.
Cette étude propose un cadre de classification automatisé pour la gestion des risques cardiaques chez les personnes âgées, démontrant qu'une architecture Transformer personnalisée surpassant les modèles classiques et les grands modèles de langage génériques permet d'exploiter efficacement les dossiers médicaux électroniques non structurés pour une stratification clinique précise.
Ce papier présente AutoViVQA, un grand ensemble de données construit automatiquement pour le Questionnement Visuel en vietnamien, et explore l'utilisation d'architectures basées sur les transformers ainsi que l'évaluation de différentes métriques automatiques pour améliorer l'alignement avec le jugement humain dans ce contexte multilingue.
Ce papier présente ESAinsTOD, un cadre unifié d'ajustement d'instructions de bout en bout et conscient du schéma qui améliore significativement les performances, la généralisation et la robustesse des modèles de dialogue orientés tâche par rapport aux méthodes existantes.
Le papier présente ActiveUltraFeedback, un pipeline d'apprentissage actif modulaire qui optimise la génération de données de préférence pour l'alignement des modèles de langage en sélectionnant dynamiquement les réponses les plus informatives, permettant d'obtenir des performances supérieures avec jusqu'à six fois moins de données annotées que les méthodes statiques.
Le papier présente Mousse, un nouvel optimiseur qui améliore l'algorithme Muon en intégrant une estimation de la courbure via Shampoo pour adapter les mises à jour spectrales aux paysages d'optimisation anisotropes des réseaux de neurones, réduisant ainsi le nombre d'étapes d'entraînement d'environ 12 % avec un surcoût computationnel négligeable.
Ce papier présente OOD-MMSafe, un nouveau benchmark évaluant la sécurité des modèles multimodaux face aux conséquences cachées plutôt qu'aux intentions malveillantes, et propose le cadre CASPO pour réduire drastiquement les échecs de détection des risques latents.
Le papier présente MUGEN, une nouvelle référence évaluant la compréhension multi-audio des grands modèles audio-langage, révélant leurs limites face à l'augmentation du nombre d'entrées et démontrant que des stratégies d'inférence comme la cohérence auto-permutative et le raisonnement en chaîne améliorent significativement leurs performances.
Ce papier présente CVS, une méthode de sélection de données sans entraînement qui identifie les échantillons nécessitant un raisonnement conjoint vision-langage en mesurant l'impact de la question sur la validité d'une réponse, permettant ainsi d'améliorer les performances des modèles tout en réduisant les coûts computationnels.
Le papier présente AutoAgent, un cadre multi-agents auto-évoluant qui intègre une cognition évolutive, une prise de décision contextuelle en temps réel et une orchestration de mémoire élastique pour surmonter les limites des agents autonomes statiques et améliorer leur adaptabilité dans des environnements dynamiques.