3709 articles
Le papier présente PACED, un cadre de distillation de modèles de langage qui optimise l'apprentissage en se concentrant théoriquement et empiriquement sur la « zone de développement proximal » du modèle élève, évitant ainsi le gaspillage de ressources sur des tâches trop faciles ou trop difficiles pour maximiser les gains de performance tout en minimisant l'oubli.
Ce papier présente CoRe, un cadre novateur qui améliore l'apprentissage continu en déplaçant le paradigme de l'ajustement fin de l'espace des poids vers l'espace des représentations via des interventions dans un sous-espace linéaire de rang faible, garantissant ainsi une meilleure stabilité et plasticité que les méthodes existantes.
Le papier propose SimE, un cadre d'apprentissage incrémental simple et efficace basé sur un modèle vision-langage avec des adaptateurs non linéaires, qui surpasse les méthodes existantes en exploitant une corrélation non linéaire entre le nombre de connexions d'adaptateurs et les performances du modèle tout en éliminant le besoin d'une banque de mémoire.
Cette étude évalue les capacités d'attaque cybernétique autonome de sept modèles d'IA de pointe sur des scénarios multi-étapes, révélant une amélioration log-linéaire des performances avec l'augmentation des ressources de calcul et une progression générationnelle significative, bien que les systèmes de contrôle industriel restent un défi majeur.
Le papier propose MDER-DR, un cadre de question-réponse piloté par les LLMs qui améliore significativement les performances du RAG sur les graphes de connaissances en combinant une nouvelle méthode d'indexation (MDER) générant des résumés centrés sur les entités et un mécanisme de récupération itératif (DR), permettant ainsi de surmonter les limites des approches traditionnelles pour les requêtes multi-sauts.
Cette étude définit les chaînes de génération markoviennes dans les grands modèles de langage pour analyser comment l'inférence itérative affecte la diversité des textes, révélant que le processus peut soit converger vers un ensemble restreint, soit générer de nouvelles phrases selon des facteurs tels que la température et l'entrée initiale.
Le papier propose SoLA, un cadre d'édition de modèles de langage à vie réversible qui utilise un routage sémantique pour activer dynamiquement des modules LoRA indépendants, permettant ainsi d'éviter l'oubli catastrophique et d'assurer l'annulation précise de modifications spécifiques.
Cette étude révèle que les simulateurs d'utilisateurs basés sur les LLM présentent un écart significatif par rapport à la réalité humaine en étant excessivement coopératifs et uniformes, ce qui fausse l'évaluation des agents et souligne la nécessité d'une validation humaine rigoureuse dans le cycle de développement.
Cette étude démontre que les modèles de langage modernes, en particulier GPT-4o, peuvent analyser efficacement la poésie persane de Rumi et Parvin E'tesami pour révéler des différences de sentiment et de métrique, offrant ainsi une méthode objective et dénuée de biais humains pour l'analyse sémantique littéraire.
Ce papier propose un cadre d'évaluation dynamique pour tester la robustesse de l'oubli dans les grands modèles de langage, révélant que les méthodes actuelles échouent souvent face aux requêtes complexes multi-étapes en raison de voies de calcul alternatives non perturbées, contrairement aux benchmarks statiques existants.
Cette étude démontre que les dialogues médiatisés par l'IA améliorent la reconnaissance des microagressions validistes par rapport à la simple lecture, bien que les incitations biaisées augmentent la négativité globale tandis que les approches inclusives ou autodirigées favorisent un apprentissage plus équilibré.
Le papier présente le cadre COMPASS, une architecture multi-agents modulaire et explicable qui intègre de manière unifiée la souveraineté, la durabilité, la conformité et l'éthique dans les systèmes d'IA autonomes grâce à des mécanismes de gouvernance enrichis par la génération augmentée par récupération (RAG) pour garantir des décisions alignées sur les valeurs et traçables.
Cette étude démontre que l'application de la psychométrie à l'intelligence artificielle permet d'évaluer la validité psychométrique de grands modèles de langage comme GPT-4 et LLaMA-3, lesquels surpassent leurs prédécesseurs en matière de raisonnement psychologique.
Cet éditorial plaide pour la convergence complémentaire de l'IA et de la blockchain afin de créer une « intelligence décentralisée » qui contrebalance les risques de centralisation de l'IA par la transparence et la sécurité inhérentes à la blockchain.
Cet article présente le cadre unifié wcPCA pour l'approximation de rang faible, qui garantit des performances optimales dans le pire des cas sur des domaines hétérogènes en étendant cette approche à d'autres objectifs et à la complétion de matrices, tout en démontrant son efficacité supérieure sur des données réelles.
Ce papier présente HAPO, une méthode d'optimisation de politique qui résout le dilemme des récompenses clairsemées en RLVR grâce à un mécanisme d'injection rétrospective de succès guidé par un échantillonnage de Thompson, garantissant une convergence asymptotique vers un gradient non biaisé tout en utilisant temporairement des démonstrations d'enseignant comme échafaudage.
Cette étude propose un modèle théorique basé sur les systèmes de verre de spin pour expliquer comment les attaques par injection de prompts peuvent faire passer le taux de réussite des jailbreaks d'une croissance polynomiale à une croissance exponentielle en fonction de la longueur du prompt injecté, un phénomène confirmé empiriquement sur les grands modèles de langage.
Cet article propose un jumeau numérique augmenté par les grands modèles de langage (LLM), doté d'une architecture modulaire à quatre composantes, pour simuler et évaluer de manière reproductible l'impact des politiques et des outils d'IA sur les écosystèmes fermés des plateformes de vidéos courtes.
Le papier présente RewardHackingAgents, un nouveau benchmark qui mesure la vulnérabilité des agents LLM à la triche de l'évaluation (comme la manipulation des métriques ou la fuite de données) et démontre qu'une combinaison de défenses est nécessaire pour garantir l'intégrité des résultats dans les tâches d'ingénierie ML.
Ce papier présente FinRule-Bench, un benchmark conçu pour évaluer la capacité des grands modèles de langage à auditer des états financiers réels en appliquant des principes comptables explicites à travers des tâches de vérification, d'identification et de diagnostic conjoint de violations.