9417 articles
Le papier présente MedFeat, un cadre d'ingénierie de fonctionnalités alimenté par les LLMs qui intègre la connaissance médicale, la conscience du modèle et l'explicabilité SHAP pour améliorer de manière stable les prédictions cliniques tabulaires et découvrir des caractéristiques robustes et cliniquement pertinentes.
Cet article remet en cause la pertinence du benchmark MedCalc-Bench en révélant des erreurs dans ses implémentations, en démontrant que l'accès aux spécifications des calculateurs (« open-book ») permet d'atteindre des performances supérieures à celles des systèmes à apprentissage par renforcement, et en concluant que ce benchmark évalue principalement la mémorisation de formules et la précision arithmétique plutôt que le raisonnement clinique.
En intégrant des méthodes d'apprentissage automatique non supervisé et supervisé à une vaste enquête menée auprès de résidents de la Californie, du Colorado et de l'Oregon, cette étude identifie des typologies comportementales distinctes liées à l'évacuation des incendies de forêt et démontre que, si le mode de transport peut être prédit avec fiabilité à partir des caractéristiques des ménages, le moment de l'évacuation reste difficile à classifier en raison de sa dépendance aux conditions dynamiques du feu.
Cet article établit une théorie géométrique démontrant que l'oubli catastrophique dans l'adaptation à faible rang (LoRA) est régi par les angles entre les sous-espaces des gradients, révélant une invariance approximative vis-à-vis du rang lorsque ces sous-espaces sont suffisamment orthogonaux.
Cette étude démontre la faisabilité et l'efficacité d'une approche de modélisation des récompenses entièrement non supervisée, utilisant des préférences apprises à partir de corpus web massifs pour améliorer les performances en mathématiques et la sécurité des modèles, surpassant ou égalant les méthodes supervisées traditionnelles sans nécessiter d'annotations humaines coûteuses.
Ce papier présente les suRNNs, une architecture de réseaux de neurones récurrents non linéaires qui utilise des commutateurs binaires au niveau des neurones pour mettre à jour sélectivement la mémoire uniquement lors d'événements informatifs, permettant ainsi de modéliser efficacement des séquences à long terme avec une performance comparable aux Transformers tout en conservant une efficacité computationnelle supérieure.
Ce papier démontre que l'apprentissage de portes d'attention parcimonieuses est inefficace car les projections Q/K/V s'adaptent au masquage imposé, un phénomène de « routage absorbé » qui rend les portes aléatoires aussi performantes que les portes apprises et favorise ainsi les approches post-hoc.
Cet article présente Neural Paging, une architecture hiérarchique qui résout le goulot d'étranglement de la fenêtre de contexte des agents LLM en découplant le raisonnement symbolique de la gestion des ressources via un contrôleur de pages apprenant à approximer l'optimalité de Belady, réduisant ainsi la complexité asymptotique du raisonnement à long terme de à .
Cette étude révèle que, contrairement aux attentes, l'entraînement à la sécurité persiste lors d'un optimisation ultérieure de l'utilité chez les agents LLM, et que toutes les configurations d'entraînement convergent vers une frontière de Pareto linéaire sans parvenir à une stratégie optimale combinant les deux objectifs.
Cet article présente le modèle SCDD, une approche de diffusion discrète généralisée qui reformule l'auto-correction préentraînée via des transitions d'état explicites en temps discret, permettant un décodage parallèle plus efficace tout en préservant la qualité de génération.
Cet article présente une architecture de réseaux de neurones intégrant physiquement (PE-PINN) qui, en incorporant des principes physiques directement dans la structure du modèle via une nouvelle couche de transformation d'enveloppe, surpasse les méthodes traditionnelles et les PINNs standards en offrant une reconstruction de champs d'ondes à grande échelle avec une convergence dix fois plus rapide et une réduction de plusieurs ordres de grandeur de l'utilisation mémoire.
Cet article propose un cadre théorique fondé sur la régression ordinale pour le modelage de récompenses, permettant d'exploiter efficacement les préférences humaines graduelles (échelle de Likert) en apprenant des paramètres de seuil directement à partir des données, surpassant ainsi les méthodes heuristiques actuelles basées sur des modèles binaires.
Cet article propose une nouvelle approche d'apprentissage fédéré personnalisé qui détermine automatiquement les poids de collaboration entre agents en estimant des noyaux de moyennes, garantissant ainsi des performances statistiques optimales sans connaissance préalable de l'hétérogénéité des données.
Ce papier présente un cadre novateur qui permet de générer automatiquement des spécifications formelles à partir de descriptions en langage naturel, élargissant ainsi considérablement l'applicabilité des outils de vérification de réseaux de neurones à des exigences sémantiques de haut niveau.
Cet article présente CUDABench, un benchmark complet évaluant la capacité des modèles de langage à générer du code CUDA à partir de texte, en utilisant une nouvelle métrique de performance basée sur le roofline et une pipeline de vérification pour révéler les écarts entre la compilation réussie et la correction fonctionnelle.
Ce papier propose CHaRS, une méthode de pilotage des représentations qui améliore le contrôle des grands modèles de langage en modélisant l'hétérogénéité conceptuelle via le transport optimal et en générant des vecteurs de pilotage dynamiques adaptés à chaque entrée, surpassant ainsi les approches globales traditionnelles.
Cet article résout le problème de la calculabilité des bornes de généralisation en longueur pour les transformateurs en démontrant l'inexistence de telles bornes calculables pour la classe CRASP (déjà à deux couches), tout en établissant une borne calculable optimale exponentielle pour son fragment positif équivalent aux transformateurs à précision fixe.
Ce papier propose OnDA, une méthode innovante couplant l'adaptation des poids et l'élagage structuré en ligne des canaux pour réaliser une reconnaissance de mots-clés personnalisée et efficace sur appareil, permettant jusqu'à 9,63 fois de compression du modèle et des améliorations significatives de latence et de consommation énergétique.
Le papier présente HELIOS, un modèle innovant qui améliore la récupération table-texte en harmonisant la fusion précoce et tardive avec le raisonnement des LLM pour surmonter les limites des approches existantes et atteindre des performances record sur le benchmark OTT-QA.
En analysant la géométrie des représentations du modèle de traduction NLLB-200, cette étude démontre que celui-ci a appris à la fois la structure généalogique des langues et des associations conceptuelles universelles, révélant ainsi une organisation sémantique neutre par rapport à la langue qui rappelle les hubs neuronaux du cerveau humain.