2384 articles
Cet article présente les architectures neuronales séparables (SNA) comme un primitif unificateur pour l'intelligence prédictive et générative, exploitant une structure factorisable pour modéliser efficacement des systèmes complexes allant de la dynamique chaotique au langage naturel.
Cette étude démontre que, contrairement aux juges non raisonneurs sujets au piratage de récompenses, les juges LLM dotés de capacités de raisonnement permettent d'entraîner des politiques performantes selon un juge de référence, mais révèlent également que ces politiques apprennent à générer des sorties adverses capables de tromper d'autres juges sur des benchmarks populaires.
Ce papier présente SciMDR, un ensemble de données et une méthode d'évaluation pour le raisonnement multimodal sur des documents scientifiques, générés via un cadre « synthétiser-et-repositionner » qui surmonte les compromis entre l'échelle, la fidélité et le réalisme.
Cet article présente une méthode sans entraînement pour le modèle FLUX.1, permettant un contrôle précis des couleurs dans les images générées en exploitant une structure de sous-espace latent interprétable correspondant à la teinte, la saturation et la luminosité.
Cet article propose une vaste revue des recherches sur l'explicabilité et l'interprétabilité des méthodes de traitement du langage naturel et de recherche d'information, en examinant spécifiquement les approches appliquées aux plongements de mots, aux modèles de séquence, aux mécanismes d'attention, aux transformers, à BERT et au classement de documents, tout en suggérant des pistes pour les travaux futurs.
Cet article propose une nouvelle mesure de risque discriminatif pour évaluer simultanément l'équité individuelle et de groupe, et démontre théoriquement que la combinaison d'ensembles de modèles peut améliorer l'équité grâce à des bornes dépendantes de la marge, tout en introduisant des méthodes d'élagage pour obtenir des sous-ensembles à la fois précis et équitables.
Cette étude propose une évaluation actualisée de l'approche d'apprentissage par renforcement profond de Google Brain pour le placement de macros, en introduisant des benchmarks publics avancés, un algorithme de recuit simulé renforcé et une analyse rigoureuse de la reproductibilité et des limites de l'outil Circuit Training.
Cet article présente les Sociétés d'Esprits basées sur le Langage Naturel (NLSOM), des systèmes modulaires composés de multiples agents d'IA communicant en langage naturel pour résoudre des tâches complexes, tout en explorant les implications structurelles et économiques de ces sociétés d'intelligences hétérogènes.
Cette étude démontre que les grands modèles de langage (LLM) constituent une alternative flexible et économe en données pour la prédiction du comportement des voyageurs, grâce à des stratégies de promptage zéro-shot et à l'utilisation d'embeddings textuels qui rivalisent avec les modèles classiques.
Cet article propose une méthode d'agrégation de modèles de mélanges d'experts distribués basée sur le transport optimal, qui permet de reconstruire un estimateur global cohérent avec une seule étape de communication tout en garantissant des performances comparables à un entraînement centralisé.
Cette étude empirique démontre que personnaliser les explications des indices générés par l'IA dans un système de tutorat intelligent, en fonction des traits de personnalité des élèves (notamment leur besoin de cognition et leur conscienciosité), augmente leur interaction avec ces explications, améliore leur compréhension et favorise leur apprentissage.
Cet article propose HyWIA, une méthode innovante de pruning structuré pour les grands modèles de langage qui fusionne de manière adaptative des évaluations d'importance des poids à granularité fine et grossière pour améliorer la rétention des performances lors de la compression.
Cet article soutient que les grands modèles de langage constituent des modèles scientifiques valables des langues publiques en tant qu'entités sociales, défendant cette position contre les critiques et proposant une interprétation de modèle fondée sur les travaux récents en linguistique computationnelle.
Cette étude applique des techniques d'apprentissage automatique interprétables à un jeu de données de 28 ans dans le golfe de Trieste pour prédire la toxicité des moules liée aux efflorescences algales nuisibles, identifiant l'algorithme Random Forest comme le plus performant et mettant en évidence l'importance des espèces *Dinophysis* et de facteurs environnementaux tels que la salinité et les précipitations pour améliorer les systèmes d'alerte précoce.
Cet article propose une méthode novatrice utilisant des modèles de langage pour générer et faire évoluer des politiques de contrôle interprétables sous forme de programmes Python, offrant une alternative transparente et modifiable aux approches par réseaux de neurones pour des tâches dynamiques complexes comme le balancement d'un pendule ou la gestion d'une balle dans une coupe.
Ce papier présente EoRA, une méthode sans fine-tuning qui restaure la précision des grands modèles de langage compressés en ajoutant des matrices de faible rang via une approximation de sous-espace propre, tout en offrant une flexibilité accrue et une accélération matérielle grâce à un noyau CUDA optimisé.
Cet article propose une méthode générique de nettoyage de tokens pour le fine-tuning supervisé des grands modèles de langage, qui filtre les tokens non informatifs tout en préservant les informations clés afin d'améliorer les performances des tâches en aval.
Cet article présente DIFU-Ada, un cadre d'adaptation à l'inférence sans entraînement qui permet aux solveurs d'optimisation combinatoire basés sur la diffusion de généraliser de manière zéro-shot à travers différentes échelles et problèmes, comme le PCTSP et l'OP, en partant d'un modèle entraîné uniquement sur le problème du voyageur de commerce.
Les auteurs proposent une méthodologie intégrant les diagrammes de tuyauterie et d'instrumentation (P&ID) modélisés sous forme de graphes de connaissances via le standard DEXPI aux grands modèles de langage (LLM) par l'intermédiaire de la génération augmentée par récupération graphique (graph-RAG), permettant ainsi d'interagir avec ces schémas en langage naturel tout en réduisant les hallucinations et en facilitant l'interprétation des données de processus.
Ce papier présente SCAM, la plus grande base de données d'attaques typographiques réelles, pour évaluer la vulnérabilité des modèles multimodaux face à ces manipulations et identifier les facteurs architecturaux et d'entraînement influençant leur robustesse.