1062 articles
Ce papier présente DoWhatISay (DOWIS), un jeu de données multilingue de prompts vocaux et écrits conçu pour évaluer de manière réaliste les modèles de langage audio, révélant que les instructions textuelles surpassent généralement les instructions vocales, sauf pour les tâches dont la sortie est également audio.
Cette étude démontre que sept modèles de langage de pointe, en particulier Claude, surpassent les publicités politiques traditionnelles en matière de persuasion, tout en révélant que l'efficacité des stratégies de prompt dépend fortement du modèle spécifique utilisé.
Le papier propose MSSR, un cadre de réentraînement adaptatif qui estime la force de mémoire des échantillons et planifie des révisions à intervalles variables pour atténuer l'oubli catastrophique lors du fine-tuning continu des grands modèles de langage, tout en maintenant une adaptation rapide et en surpassant les méthodes existantes.
Cette étude démontre que l'activation du raisonnement améliore considérablement la récupération des connaissances paramétriques dans les LLMs, même pour des questions factuelles simples, grâce à un effet tampon computationnel et à une amorce factuelle, tout en soulignant le risque d'hallucinations si les faits intermédiaires générés sont incorrects.
Ce travail de recherche propose une revue complète du paradigme de fusion de modèles dans l'ère des grands modèles de langage, structurée selon la taxonomie FUSE (Fondations, Stratégies d'Unification, Scénarios et Écosystème) pour analyser les méthodes théoriques et algorithmiques, leurs applications pratiques et les défis futurs.
Contrairement aux humains qui deviennent moins honnêtes lorsqu'ils réfléchissent, cette étude démontre que le processus de raisonnement améliore systématiquement l'honnêteté des grands modèles de langage en les amenant à traverser un espace de représentation où les réponses honnêtes sont plus stables que les réponses trompeuses.
Ce papier présente CREATE, un nouveau benchmark conçu pour évaluer la capacité des modèles de langage à effectuer un raisonnement associatif créatif en générant des connexions spécifiques et diversifiées entre des concepts, révélant ainsi les limites actuelles des modèles les plus avancés et des techniques de prompting.
L'article présente Llama-Mob, un modèle de langage Llama-3-8B affiné par instruction qui surpasse les méthodes existantes pour la prédiction de la mobilité humaine à long terme à l'échelle d'une ville et démontre une forte capacité de généralisation zéro-shot.
Ce article de revue propose un modèle intégrateur expliquant comment l'identité de l'orateur module la compréhension du langage par l'interaction entre des processus perceptifs ascendants et des attentes descendantes, tout en distinguant les effets d'individualité de ceux liés aux groupes démographiques et en suggérant leur application aux agents d'intelligence artificielle.
Ce papier présente le Discrete Key-Value Bottleneck (DKVB), une méthode efficace pour l'apprentissage continu des petits modèles de langage qui atténue l'oubli catastrophique grâce à des mises à jour localisées et une initialisation innovante, tout en réduisant les coûts computationnels.
Ce papier présente HarmonicEval, une métrique d'évaluation automatique sans référence capable d'agréger des scores par critère pour évaluer plusieurs tâches multimodales, et introduit le benchmark MMHE basé sur 18 000 jugements humains pour valider la généralisabilité de cette approche.
Cette étude examine l'impact des priors d'embedding sur le prompt-tuning, révélant que les modèles peuvent fonctionner efficacement dans de nouvelles régions de l'espace d'activation et que la structure de ces espaces varie selon la proximité des tâches, offrant ainsi de nouvelles perspectives pour l'interprétabilité et le contrôle des modèles.
Cet article présente un cadre d'ensemble utilisant un seul modèle pour la traduction automatique neuronale, qui améliore la qualité des traductions, notamment pour les paires de langues à ressources limitées, en générant des candidats via une traduction pivot et en les fusionnant postérieurement pour capturer les nuances subtiles de la phrase source.
Cette étude présente GRADIEND, une méthode novatrice d'encodage-décodage utilisant les gradients des réseaux de neurones pour identifier et modifier spécifiquement les biais sociétaux (tels que le genre, la race ou la religion) tout en préservant les autres capacités des modèles.
Cette étude démontre que l'utilisation de l'adaptation à faible rang (LoRA) dans l'apprentissage fédéré pour les grands modèles de langage réduit considérablement la mémorisation des données d'entraînement, limitant ainsi les risques de fuite d'informations privées sans compromettre les performances du modèle.
L'article présente LaVCa, une méthode innovante utilisant des modèles de langage pour générer des légendes naturelles précises décrivant la sélectivité des voxels du cortex visuel, surpassant ainsi les approches précédentes en révélant des différenciations fonctionnelles fines et des représentations de concepts multiples.
Cet article propose le cadre COD (Clustering-On-Difficulty), qui améliore la prédiction des performances des grands modèles de langage sur des tâches en aval en regroupant les tâches selon leurs caractéristiques de difficulté pour établir des lois d'échelle stables et extrapoler avec précision les résultats globaux.
Ce papier propose HaLoRA, une méthode d'adaptation à faible rang consciente du matériel qui optimise le déploiement des modèles de langage sur une architecture hybride Compute-in-Memory en entraînant les branches LoRA pour être robustes au bruit des mémoires RRAM, permettant ainsi de réduire la consommation énergétique à 3 % de celle d'un GPU A100 tout en améliorant les performances de 22,7 %.
Cette étude révèle que, bien que les grands modèles de langage génèrent une surreprésentation des personnages féminins grâce au fine-tuning et au RLHF, ils perpétuent paradoxalement des stéréotypes de genre professionnels plus marqués que la réalité du marché du travail, soulignant ainsi la nécessité de mesures d'atténuation équilibrées.
Ce papier présente le modèle de récompense de processus EDU-PRM, une approche novatrice qui utilise l'incertitude par entropie pour segmenter automatiquement les étapes de raisonnement sans annotations manuelles, surpassant les modèles de référence sur ProcessBench tout en réduisant considérablement les besoins en données d'entraînement et en consommation de tokens.