4195 articles
Cet article propose HyWIA, une méthode innovante de pruning structuré pour les grands modèles de langage qui fusionne de manière adaptative des évaluations d'importance des poids à granularité fine et grossière pour améliorer la rétention des performances lors de la compression.
Cet article soutient que les grands modèles de langage constituent des modèles scientifiques valables des langues publiques en tant qu'entités sociales, défendant cette position contre les critiques et proposant une interprétation de modèle fondée sur les travaux récents en linguistique computationnelle.
Cette étude applique des techniques d'apprentissage automatique interprétables à un jeu de données de 28 ans dans le golfe de Trieste pour prédire la toxicité des moules liée aux efflorescences algales nuisibles, identifiant l'algorithme Random Forest comme le plus performant et mettant en évidence l'importance des espèces *Dinophysis* et de facteurs environnementaux tels que la salinité et les précipitations pour améliorer les systèmes d'alerte précoce.
Cet article propose une méthode novatrice utilisant des modèles de langage pour générer et faire évoluer des politiques de contrôle interprétables sous forme de programmes Python, offrant une alternative transparente et modifiable aux approches par réseaux de neurones pour des tâches dynamiques complexes comme le balancement d'un pendule ou la gestion d'une balle dans une coupe.
Ce papier présente EoRA, une méthode sans fine-tuning qui restaure la précision des grands modèles de langage compressés en ajoutant des matrices de faible rang via une approximation de sous-espace propre, tout en offrant une flexibilité accrue et une accélération matérielle grâce à un noyau CUDA optimisé.
Cet article propose une méthode générique de nettoyage de tokens pour le fine-tuning supervisé des grands modèles de langage, qui filtre les tokens non informatifs tout en préservant les informations clés afin d'améliorer les performances des tâches en aval.
Cet article présente DIFU-Ada, un cadre d'adaptation à l'inférence sans entraînement qui permet aux solveurs d'optimisation combinatoire basés sur la diffusion de généraliser de manière zéro-shot à travers différentes échelles et problèmes, comme le PCTSP et l'OP, en partant d'un modèle entraîné uniquement sur le problème du voyageur de commerce.
Les auteurs proposent une méthodologie intégrant les diagrammes de tuyauterie et d'instrumentation (P&ID) modélisés sous forme de graphes de connaissances via le standard DEXPI aux grands modèles de langage (LLM) par l'intermédiaire de la génération augmentée par récupération graphique (graph-RAG), permettant ainsi d'interagir avec ces schémas en langage naturel tout en réduisant les hallucinations et en facilitant l'interprétation des données de processus.
Ce papier présente SCAM, la plus grande base de données d'attaques typographiques réelles, pour évaluer la vulnérabilité des modèles multimodaux face à ces manipulations et identifier les facteurs architecturaux et d'entraînement influençant leur robustesse.
Cet article propose une nouvelle approche pilotée par les données pour optimiser les politiques de tarification et de gestion des stocks en environnement hors ligne, en surmontant les défis posés par la demande censurée et dépendante grâce à l'approximation par des processus de décision markoviens d'ordre élevé et à l'estimation de politiques optimales via des algorithmes inspirés de l'apprentissage par renforcement hors ligne et de l'analyse de survie.
Le papier propose SwitchMT, une méthode novatrice utilisant des réseaux de neurones à impulsions avec une politique de commutation de tâches adaptative pour permettre un apprentissage multi-tâches évolutif et efficace aux agents autonomes, surmontant ainsi les interférences de tâches sans accroître la complexité du réseau.
Cet article de revue systématique établit le champ interdisciplinaire de la psychométrie des grands modèles de langage en synthétisant les méthodes d'évaluation, de validation et d'amélioration inspirées des sciences psychologiques pour aligner les systèmes d'IA sur les constructions humaines et favoriser le développement d'une intelligence artificielle centrée sur l'humain.
Ce papier présente REI-Bench, le premier benchmark pour l'évaluation de la planification de tâches robotiques face aux instructions vagues, et propose une méthode de cognition contextuelle orientée tâche qui améliore significativement les performances des agents incarnés en traduisant ces ambiguïtés en instructions claires.
Cette étude propose une méthode d'entraînement qui améliore la capacité des grands modèles de langage à suivre des instructions complexes en les fine-tunant avec des données enrichies de pseudo-code, obtenant ainsi des gains significatifs sur des benchmarks de suivi d'instructions tout en préservant ou en améliorant leurs performances en raisonnement mathématique et de bon sens.
Ce sondage de données-driven examine l'évolution rapide des recherches sur les limites des grands modèles de langage (LLLMs) de 2022 à 2025, révélant une croissance exponentielle des publications axées sur le raisonnement, les hallucinations et la sécurité, tout en offrant une méthodologie validée et un jeu de données annotées.
Cet article propose un cadre d'abduction basé sur la cohérence qui intègre les prédictions de multiples modèles pré-entraînés via des règles logiques pour atténuer les erreurs de perception dans des environnements nouveaux, surpassant ainsi les modèles individuels et les méthodes d'ensemble classiques en termes de précision et de rappel.
Cette étude démontre que, pour la prévision des ventes au détail caractérisée par une demande intermittente et des données manquantes, les méthodes d'ensemble basées sur des arbres de décision comme XGBoost surpassent les architectures d'apprentissage profond, suggérant que l'adéquation aux spécificités du problème prime sur la sophistication architecturale.
Ce papier présente SILVR, une méthode permettant aux modèles vidéo de planification robotique de s'améliorer continuellement en boucle fermée grâce à leurs propres trajectoires générées, sans nécessiter de récompenses humaines ni de démonstrations expertes.
Ce papier présente ReLIFT, une méthode d'entraînement qui alterne l'apprentissage par renforcement et le fine-tuning supervisé en ligne pour surmonter les limites du RL et permettre aux modèles de langage d'acquérir de nouvelles connaissances et capacités de raisonnement au-delà de leurs compétences initiales.
Cette étude de synthèse examine l'évolution et l'intégration de la confidentialité différentielle dans les modèles d'apprentissage automatique, depuis l'IA symbolique jusqu'aux grands modèles de langage, afin de garantir le développement de systèmes d'IA sécurisés et responsables.