1130 articles
Cet article présente la Direct Consistency Optimization (DCO), une méthode efficace inspirée de DPO qui améliore la cohérence des connaissances des grands modèles de langage multilingues en utilisant un apprentissage par renforcement sans modèle de récompense explicite.
Cet article propose un modèle de sélection de mots vides basé sur une fonction de Hill décroissante, démontrant que cette approche explique la distribution non-Zipfienne des mots vides (ajustée par une fonction de rang bêta) et la déviation quadratique des mots non vides par rapport à la loi de Zipf.
Cette étude évalue l'efficacité des techniques d'augmentation de données et d'amélioration des caractéristiques pour la détection de discours haineux, démontrant que le modèle open-source gpt-oss-20b obtient les meilleurs résultats globaux tandis que l'approche Delta TF-IDF, couplée à l'augmentation de données, atteint une précision exceptionnelle sur le jeu de données Stormfront, tout en soulignant la difficulté accrue de détecter les discours haineux implicites.
Cette recherche démontre que les grands modèles de langage, notamment Llama 3.2, surpassent les méthodes traditionnelles et les modèles de base pour détecter et classifier les contenus illicites complexes et multilingues sur les marchés en ligne, offrant ainsi des outils plus efficaces pour la sécurité numérique.
En s'appuyant sur un cadre d'évaluation à deux couches, cette étude démontre que les modèles d'IA peuvent simuler de manière réaliste les questions des juges lors d'audiences simulées, tout en révélant des limites importantes telles que le manque de diversité et la flatterie, qui resteraient indétectables avec des méthodes d'évaluation naïves.
Ce papier présente « Model Medicine », un cadre clinique novateur qui adapte les principes de la médecine biologique pour diagnostiquer, traiter et prévenir les dysfonctionnements des modèles d'IA grâce à une taxonomie structurée, un modèle comportemental empirique, un outil d'imagerie neuronale et des protocoles de soins standardisés.
Cet article présente un système neuro-symbolique combinant le modèle Gemini Deep Think et une recherche arborescente qui a résolu de manière autonome un problème ouvert en physique théorique en dérivant des solutions analytiques exactes pour le spectre de puissance du rayonnement gravitationnel émis par les cordes cosmiques.
Cet article propose les « Interactive Benchmarks », un nouveau paradigme d'évaluation unifié qui mesure la capacité de raisonnement des modèles dans des processus interactifs sous contraintes budgétaires, démontrant ainsi que les benchmarks traditionnels sont insuffisants et qu'il existe encore d'importantes marges de progression dans les scénarios interactifs.
Les auteurs proposent IF-RewardBench, un nouveau méta-benchmark complet pour l'évaluation des modèles juges en matière de suivi d'instructions, qui surpasse les approches existantes grâce à une évaluation listwise basée sur des graphes de préférences et démontre une corrélation plus forte avec les performances des tâches en aval.
Ce papier présente DARE, un modèle de récupération léger qui intègre les caractéristiques de distribution des données pour aligner les agents LLM avec l'écosystème statistique R, améliorant ainsi significativement la précision de la récupération de packages et la génération de code par rapport aux méthodes existantes.
HiMAP-Travel est un cadre de planification hiérarchique multi-agents qui surpasse les approches séquentielles pour les voyages à long terme en décomposant la tâche en coordination stratégique et exécution parallèle, tout en garantissant le respect des contraintes budgétaires et de diversité grâce à des mécanismes de transaction, de négociation et d'un modèle unique entraîné par GRPO.
Ce papier présente SharedLLM, une architecture innovante utilisant l'auto-injection de modèles à court contexte empilés pour compresser efficacement les longues séquences et étendre la fenêtre de contexte au-delà de 128K tokens, tout en réduisant la consommation mémoire et en accélérant l'inférence sans nécessiter un pré-entraînement coûteux sur de longs contextes.
Le papier présente TSEmbed, un cadre d'encodage multimodal universel qui surmonte les conflits de tâches en combinant un mélange d'experts avec de l'adaptation à faible rang et une nouvelle stratégie d'échantillonnage négatif, permettant ainsi d'atteindre des performances de pointe sur des benchmarks multimodaux massifs et des données industrielles.
Ce rapport technique propose un cadre de perception respectueux de la vie privée, basé sur l'architecture collaborative edge-cloud et le paradigme AI Flow, qui transforme les images brutes en vecteurs de caractéristiques abstraits et irréversibles pour permettre une reconnaissance comportementale et une reconstruction sémantique dynamique sans jamais exposer les données visuelles originales.
Ce papier propose RLSTA, une méthode d'apprentissage par renforcement qui utilise les capacités de raisonnement en un seul tour comme ancrages pour surmonter l'inertie contextuelle et stabiliser les interactions multi-tours des modèles de langage.
Ce papier propose le paradigme CSV (Clustering-Sampling-Voting), un cadre innovant qui réduit la complexité des invocations de modèles de langage pour le filtrage sémantique à une complexité sous-linéaire tout en garantissant des erreurs maîtrisées, permettant ainsi de diminuer considérablement les coûts et la latence par rapport aux approches existantes.
Ce papier introduit le concept de Champ Gravitationnel de l'Attention (AGF) pour découpler les encodages positionnels des embeddings sémantiques dans les modèles de langage, optimisant ainsi leur architecture et révélant une corrélation empirique avec la loi de la gravitation universelle de Newton.
Cette étude compare l'efficacité et le coût d'un système de mémoire factuelle basé sur Mem0 à l'utilisation de modèles LLM à long contexte pour des agents conversationnels persistants, révélant que l'approche mémoire devient plus économique au-delà d'un certain seuil d'interactions tout en offrant des performances compétitives sur la cohérence des personnalités.
Cette étude méta-analytique révèle que les modèles de langage actuels, en particulier les architectures décodeur, sous-performent significativement les humains dans l'évaluation des réponses courtes en raison de sensibilités au wording et de biais raciaux, indépendamment de la difficulté perçue des tâches.
Ce papier propose GDS, une méthode novatrice qui détecte les données de pré-entraînement des grands modèles de langage en analysant les écarts de gradient (magnitude, localisation et concentration neuronale) pour surmonter les limites des approches existantes et offrir une détection de haute performance avec une excellente transférabilité inter-ensembles.