9043 articles
Cet article propose l'amplification de la différence de logit (LDA) comme mécanisme de contrôle à l'inférence pour atténuer la génération de protéines toxiques dans les modèles de langage protéique sans compromettre leur plausibilité biologique ni leur qualité structurelle.
Ce papier propose un cadre novateur pour l'optimisation sémidéfinie et l'apprentissage automatique quantique en interprétant les opérateurs de mesure comme des modes fermioniques, ce qui permet de résoudre des problèmes d'hypothèses quantiques et d'optimisation via des mesures thermiques de Fermi-Dirac paramétrables plutôt que par la préparation d'états thermiques.
Le papier propose FedCova, un cadre d'apprentissage fédéré robuste aux labels bruités qui, en se basant sur les covariances de caractéristiques et l'information mutuelle, permet d'encoder des données résilientes, de construire un classifieur et de corriger les labels sans dépendre de données externes propres.
Cet article propose l'attaque légère MELT, qui démontre qu'il est possible de réaliser des attaques par porte dérobée efficaces sur le modèle multi-encodeur Stable Diffusion 3 en ajustant moins de 0,2 % des paramètres des encodeurs de texte.
Cet article analyse la sensibilité accrue aux hyperparamètres des machines d'Ising à rétroaction par mesure par rapport aux modèles continus et propose une méthode expérimentale pour réduire cette sensibilité, améliorant ainsi leur opération pratique.
Cet article propose une méthode d'optimisation adaptative appelée SGD-ER qui améliore la convergence et la précision des réseaux de neurones en déclenchant des redémarrages avec un taux d'apprentissage croissant dès que la stagnation est détectée.
Le papier présente FastWave, un modèle de diffusion optimisé et léger pour la super-résolution audio jusqu'à 48 kHz, qui surpasse NU-Wave 2 tout en réduisant considérablement les coûts computationnels et les temps d'entraînement par rapport aux solutions existantes.
L'étude BeamPERL démontre que l'apprentissage par renforcement avec des récompenses vérifiables améliore les performances d'un modèle de langage compact sur la mécanique des poutres, mais révèle que cette compétence repose sur l'adoption de modèles de résolution procéduraux plutôt que sur une véritable internalisation des principes physiques, limitant ainsi la généralisation face à des changements topologiques.
Le papier présente DARKFormer, un modèle de transformateur qui améliore l'efficacité et la stabilité de l'attention à noyau aléatoire en apprenant une géométrie de noyau alignée sur les données pour permettre un échantillonnage par importance à variance minimale, réduisant ainsi l'écart de performance avec l'attention softmax exacte, notamment lors du réglage fin de modèles préentraînés.
Cet article propose une méthode de prévision photovoltaïque en deux étapes qui sépare la prédiction météorologique des caractéristiques de la centrale, démontrant que l'erreur de prévision augmente significativement lors de l'utilisation de modèles météorologiques plutôt que d'observations satellites, tout en identifiant des distributions statistiques adaptées pour modéliser ces erreurs.
Cet article propose un algorithme de sous-gradient épars qui exploite la structure algébrique des réseaux de neurones Max-Plus pour optimiser efficacement la perte du pire échantillon, surmontant ainsi les limitations de la rétropropagation standard dans ce contexte non lisse.
Ce papier présente InstMeter, une méthode au niveau des instructions exploitant les cycles d'horloge des microcontrôleurs pour prédire avec une grande précision et une faible dépendance aux données les coûts énergétiques et de latence des modèles d'apprentissage profond, surpassant ainsi les approches existantes et optimisant la recherche d'architectures neuronales.
Ce papier présente DPPO, un cadre d'optimisation qui accélère l'apprentissage des grands modèles de langage en élaguant dynamiquement les échantillons de GRPO tout en préservant l'estimation non biaisée du gradient grâce à un rééchantillonnage par importance, complété par une stratégie d'empaquetage dense des prompts pour maximiser l'efficacité matérielle.
Cette étude présente Vivaldi, un système multi-agents pour l'interprétation de séries temporelles physiologiques, révélant que l'orchestration d'agents améliore la justesse des explications pour les modèles non-déductifs mais dégrade leur pertinence pour les modèles de réflexion, soulignant ainsi que la valeur de l'IA agentique en milieu critique réside dans l'externalisation sélective du calcul plutôt que dans la complexité maximale du raisonnement.
Cette étude présente un cadre d'apprentissage basé sur la simulation neuromusculosquelettique qui permet de développer et de déployer une politique de contrôle pour un exosquelette de hanche sans données de capture de mouvement, démontrant ainsi une réduction de l'activation musculaire en simulation et une transfert efficace vers le matériel réel sans réglage supplémentaire.
Le papier présente CodeTaste, une nouvelle norme d'évaluation révélant que, bien que les agents LLM puissent exécuter des refactorisations lorsqu'elles sont spécifiées en détail, ils peinent à identifier spontanément les choix humains, une lacune que l'approche « proposer puis implémenter » permet de combler.
Cette étude démontre que l'entraînement thermodynamique induit chez les modèles d'espace d'état (SSM) une « proprioception architecturale » permettant une détection anticipée de l'arrêt via un couplage entre l'entropie de l'état et la confiance, un phénomène absent chez les Transformers qui révèle une forme de méta-cognition computationnelle native.
Le projet REDNET-ML développe un pipeline d'apprentissage automatique reproductible qui fusionne des données multi-capteurs satellitaires et des modèles de détection d'objets pour évaluer les risques de blooms algaux nuisibles le long des côtes omanaises.
Cet article propose une approche modulaire intégrant un filtrage par seuillage de la norme du gradient pour améliorer la sélection des clients dans l'apprentissage fédéré éco-responsable, permettant ainsi de filtrer les données bruyantes et d'optimiser l'efficacité carbone tout en garantissant la convergence du modèle.
En introduisant une régularisation L2 des poids dans les autoencodeurs parcimonieux, cette étude démontre une amélioration significative de la stabilité des caractéristiques apprises et de l'efficacité du pilotage (steering) des modèles de langage, tout en renforçant la corrélation entre les explications sémantiques et le contrôle fonctionnel.