5756 articles
Ce papier propose l'EDIS, une métrique diagnostique basée sur l'évolution temporelle de l'entropie des tokens, qui permet d'identifier les schémas d'instabilité caractéristiques des erreurs de raisonnement dans les grands modèles de langage pour améliorer leur précision.
Cet article propose la Décodage d'Exploration Latente (LED), une stratégie de décodage sans entraînement qui exploite l'asymétrie d'entropie entre les couches intermédiaires et finales des modèles de raisonnement pour restaurer l'exploration et améliorer les performances de raisonnement.
Cette étude présente un pipeline de red-team automatique qui démontre, pour la première fois, que les méthodes d'audit d'alignement actuelles, tant en boîte noire qu'en boîte blanche, peuvent être trompées par des stratégies de déception au niveau des invites, révélant ainsi leur manque de robustesse face à des modèles mal alignés et stratégiquement conscients.
L'article propose LaPha, une méthode entraînant des agents LLM de type AlphaZero dans un espace latent de Poincaré pour exploiter sa capacité exponentielle et guider la recherche par des récompenses basées sur la géodésique hyperbolique, permettant ainsi d'atteindre des performances exceptionnelles sur des benchmarks mathématiques comme MATH-500 et AIME.
Cet article propose un protocole de validation par perturbation pour s'assurer que les cartes de saillance utilisées dans la prédiction de l'efficacité des siRNA sont fidèles avant leur application thérapeutique, révélant ainsi des modes d'échec critiques et introduisant un régularisateur biologique (BioPrior) pour améliorer leur fiabilité.
Ce travail présente Aletheia, un agent de recherche mathématique autonome capable de générer, vérifier et réviser des solutions de bout en bout, démontrant ainsi des avancées significatives allant de la résolution de problèmes olympiques à la production de résultats de recherche doctorale et à la collaboration humain-IA.
Cet article analyse le biais de « noyau diagonal » dans les mécanismes d'attention temporelle des modèles spatio-temporels, propose des bornes de sensibilité théoriques pour expliquer ce phénomène et démontre expérimentalement l'efficacité de méthodes de régularisation pour y remédier.
Le papier présente SWE-MiniSandbox, une méthode légère sans conteneurs qui utilise des mécanismes au niveau du noyau et une mise en cache prédictive pour permettre un entraînement évolutif d'agents d'ingénierie logicielle par apprentissage par renforcement, réduisant ainsi considérablement l'utilisation du disque et le temps de préparation de l'environnement par rapport aux pipelines traditionnels basés sur des conteneurs.
Ce papier présente MiDAS, un système open-source et agnostique de plateforme permettant l'acquisition multimodale non invasive et synchronisée de données pour la chirurgie robotique mini-invasive, validé sur des robots Raven-II et da Vinci Xi avec des jeux de données annotés incluant des tâches de suture de hernie.
Cette étude propose AHSIV, un cadre de sélection de modèles adaptatif qui intègre la dégradation des métriques selon l'horizon de prévision et la classification de la demande intermittente pour optimiser la prise de décision opérationnelle dans des environnements commerciaux hétérogènes.
Le papier présente GaiaFlow, un cadre innovant qui optimise l'équilibre entre la précision de la recherche et la durabilité environnementale en utilisant un réglage de diffusion guidé sémantiquement et des protocoles d'arrêt adaptatif pour réduire l'empreinte carbone des systèmes de recherche neuronaux.
Le papier présente MolCrystalFlow, un modèle génératif basé sur l'appariement de flux qui prédit les structures de cristaux moléculaires en traitant les molécules comme des corps rigides et en apprenant conjointement les paramètres du réseau cristallin, les orientations et les positions des centres de masse sur leurs variétés riemanniennes respectives.
Cette étude révèle que, malgré des performances prometteuses dans des flux de travail agentiques, les modèles de langage actuels échouent à raisonner efficacement sur de longs contextes pour la correction de bugs, car leur succès repose davantage sur la décomposition des tâches en étapes à court contexte que sur une véritable capacité de raisonnement étendu.
Le papier propose FLoRG, un cadre d'apprentissage fédéré qui améliore l'efficacité du fine-tuning des grands modèles de langage en agrégeant une matrice de Gram à faible rang unique et en utilisant une alignement de Procruste pour éliminer les erreurs d'agrégation et la dérive de décomposition, réduisant ainsi considérablement la surcharge de communication tout en augmentant la précision des tâches.
Le papier présente CoSiNE, un modèle d'évolution neuronale conditionnellement indépendant du site qui combine la puissance des réseaux de neurones avec les dynamiques évolutives pour prédire les effets des variants d'anticorps et optimiser leur affinité de liaison, surpassant ainsi les modèles de langage actuels.
Cette étude démontre, grâce à une validation autonome de 141 hypothèses, que les modèles de fondation biologiques apprennent une structure géométrique et topologique réelle et partagée, bien que localisée principalement dans les tissus immunitaires, qui dépasse la simple métrique euclidienne pour capturer des relations biologiques significatives.
Ce papier présente EMPO², un cadre d'apprentissage par renforcement hybride intégrant une mémoire pour l'exploration et combinant des mises à jour on- et off-policy, qui améliore significativement les performances et l'adaptabilité des agents LLM sur des tâches complexes et hors distribution.
Cet article démontre que l'effondrement de modalité dans les LLM multimodaux résulte d'un décodage inadapté où la perte d'information est limitée par la divergence distributionnelle et la sensibilité du modèle, prouvant que l'objectif d'entraînement, et non l'architecture, détermine quelles informations non textuelles deviennent accessibles.
Cet article propose un pipeline Web-Knowledge-Web itératif qui combine l'extraction de connaissances par LLM et l'estimation de couverture écologique pour découvrir de manière efficace et précise les PME du secteur de l'équipement semi-conducteur, en réduisant significativement le nombre de pages nécessaires par rapport aux méthodes de base.
Ce papier propose un cadre théorique établissant l'équivalence entre les mises à jour de poids et les décalages d'activation, permettant de concevoir une méthode de « post-block steering » qui atteint des performances proches du réglage fin complet avec une fraction infime de paramètres, tout en surpassant les méthodes d'adaptation existantes grâce à une approche d'adaptation conjointe.