1071 articles
Ce papier présente MITRA, un assistant IA basé sur la génération augmentée par récupération (RAG) et hébergé localement pour garantir la confidentialité, conçu afin d'aider les chercheurs des collaborations physiques à naviguer efficacement dans la vaste documentation interne en utilisant un pipeline automatisé d'extraction de texte et une architecture de base de données vectorielle à deux niveaux.
Ce papier présente One-Eval, un système agentic automatisé qui transforme les requêtes d'évaluation en langage naturel en flux de travail exécutables et traçables pour simplifier, standardiser et rendre reproductible l'évaluation des grands modèles de langage.
Cette étude propose d'optimiser le traitement des contextes longs dans les frameworks Chain-of-Agents en utilisant des arbres de Chow-Liu pour déterminer un ordre de traitement des chunks basé sur leurs dépendances, réduisant ainsi la perte d'information et surpassant les méthodes d'ordonnancement existantes.
Cette étude démontre que les modèles de langage dont les prédictions correspondent le mieux aux statistiques des n-grammes simples sont également ceux qui prédisent le plus précisément les temps de lecture, suggérant que ce phénomène est mieux expliqué par des modèles simples que par les statistiques complexes des transformateurs modernes.
Ce papier présente DoWhatISay (DOWIS), un jeu de données multilingue de prompts vocaux et écrits conçu pour évaluer de manière réaliste les modèles de langage audio, révélant que les instructions textuelles surpassent généralement les instructions vocales, sauf pour les tâches dont la sortie est également audio.
Cette étude démontre que sept modèles de langage de pointe, en particulier Claude, surpassent les publicités politiques traditionnelles en matière de persuasion, tout en révélant que l'efficacité des stratégies de prompt dépend fortement du modèle spécifique utilisé.
Le papier propose MSSR, un cadre de réentraînement adaptatif qui estime la force de mémoire des échantillons et planifie des révisions à intervalles variables pour atténuer l'oubli catastrophique lors du fine-tuning continu des grands modèles de langage, tout en maintenant une adaptation rapide et en surpassant les méthodes existantes.
Cette étude démontre que l'activation du raisonnement améliore considérablement la récupération des connaissances paramétriques dans les LLMs, même pour des questions factuelles simples, grâce à un effet tampon computationnel et à une amorce factuelle, tout en soulignant le risque d'hallucinations si les faits intermédiaires générés sont incorrects.
Ce travail de recherche propose une revue complète du paradigme de fusion de modèles dans l'ère des grands modèles de langage, structurée selon la taxonomie FUSE (Fondations, Stratégies d'Unification, Scénarios et Écosystème) pour analyser les méthodes théoriques et algorithmiques, leurs applications pratiques et les défis futurs.
Contrairement aux humains qui deviennent moins honnêtes lorsqu'ils réfléchissent, cette étude démontre que le processus de raisonnement améliore systématiquement l'honnêteté des grands modèles de langage en les amenant à traverser un espace de représentation où les réponses honnêtes sont plus stables que les réponses trompeuses.
Ce papier présente CREATE, un nouveau benchmark conçu pour évaluer la capacité des modèles de langage à effectuer un raisonnement associatif créatif en générant des connexions spécifiques et diversifiées entre des concepts, révélant ainsi les limites actuelles des modèles les plus avancés et des techniques de prompting.
Ce document de synthèse examine les récents progrès des grands modèles de langage (LLM), en se concentrant sur leurs quatre aspects majeurs que sont le pré-entraînement, le réglage par adaptation, l'utilisation et l'évaluation des capacités, tout en présentant les ressources disponibles et en discutant des défis futurs.
Cet article présente Agent-OM, un nouveau cadre générique exploitant des agents de modèles de langage pour l'appariement d'ontologies, qui démontre des performances compétitives sur des tâches simples et une amélioration significative sur des tâches complexes et en contexte de few-shot par rapport aux systèmes de l'état de l'art.
L'article présente Llama-Mob, un modèle de langage Llama-3-8B affiné par instruction qui surpasse les méthodes existantes pour la prédiction de la mobilité humaine à long terme à l'échelle d'une ville et démontre une forte capacité de généralisation zéro-shot.
Ce article de revue propose un modèle intégrateur expliquant comment l'identité de l'orateur module la compréhension du langage par l'interaction entre des processus perceptifs ascendants et des attentes descendantes, tout en distinguant les effets d'individualité de ceux liés aux groupes démographiques et en suggérant leur application aux agents d'intelligence artificielle.
Ce papier présente le Discrete Key-Value Bottleneck (DKVB), une méthode efficace pour l'apprentissage continu des petits modèles de langage qui atténue l'oubli catastrophique grâce à des mises à jour localisées et une initialisation innovante, tout en réduisant les coûts computationnels.
Ce papier présente HarmonicEval, une métrique d'évaluation automatique sans référence capable d'agréger des scores par critère pour évaluer plusieurs tâches multimodales, et introduit le benchmark MMHE basé sur 18 000 jugements humains pour valider la généralisabilité de cette approche.
Cette étude examine l'impact des priors d'embedding sur le prompt-tuning, révélant que les modèles peuvent fonctionner efficacement dans de nouvelles régions de l'espace d'activation et que la structure de ces espaces varie selon la proximité des tâches, offrant ainsi de nouvelles perspectives pour l'interprétabilité et le contrôle des modèles.
Cet article présente un cadre d'ensemble utilisant un seul modèle pour la traduction automatique neuronale, qui améliore la qualité des traductions, notamment pour les paires de langues à ressources limitées, en générant des candidats via une traduction pivot et en les fusionnant postérieurement pour capturer les nuances subtiles de la phrase source.
Cette étude présente GRADIEND, une méthode novatrice d'encodage-décodage utilisant les gradients des réseaux de neurones pour identifier et modifier spécifiquement les biais sociétaux (tels que le genre, la race ou la religion) tout en préservant les autres capacités des modèles.