1726 articles
Cette étude démontre que les modèles de langage pour la parole (SpeechLLMs) héritent d'une forte redondance de leurs couches de décodeur préentraînées, permettant de supprimer jusqu'à 40 % de ces couches tout en maintenant des performances solides pour la reconnaissance et la traduction de la parole, quelle que soit l'échelle du modèle ou la langue cible.
Ce papier propose LBM, un modèle hiérarchique d'enchères automatisées qui combine un module de raisonnement et un module d'action pour surmonter les limites des approches actuelles en fusionnant des données textuelles et numériques, tout en utilisant une technique de fine-tuning par renforcement offline (GQPO) pour réduire les hallucinations et améliorer la généralisation dans les environnements publicitaires dynamiques.
Cette étude théorique et empirique démontre que le raisonnement analogique dans les transformers repose sur un mécanisme d'alignement des représentations de propriétés, nécessitant un curriculum d'apprentissage spécifique où la structure de similarité est acquise avant les attributs particuliers.
Ce papier présente C2-Faith, un nouveau benchmark évaluant la fiabilité des juges LLM pour l'évaluation de la causalité et de la couverture dans le raisonnement en chaîne de pensée, révélant que leurs performances varient considérablement selon la tâche et qu'ils peinent à localiser les erreurs ou à détecter les omissions d'inférences.
Ce papier présente Sparse-BitNet, un cadre unifié démontrant que les modèles de langage 1,58-bit sont naturellement plus compatibles avec la parcimonie semi-structurée N:M que les modèles pleine précision, permettant ainsi une accélération significative du entraînement et de l'inférence sans perte de performance majeure.
Ce document propose un cadre systématique d'annotation et de visualisation pour structurer l'argumentation juridique dans les décisions judiciaires chinoises, en définissant des types de propositions et de relations logiques afin de faciliter l'analyse computationnelle et la modélisation du raisonnement juridique.
Cet article propose un cadre général et des algorithmes efficaces pour transformer des modèles de langage préentraînés en nouveaux modèles fonctionnels via des transducteurs à états finis, permettant d'adapter leurs sorties à des formats spécifiques (comme les mots ou les protéines) sans modifier leurs paramètres internes.
Cette étude démontre que les modèles de langage par diffusion améliorent leurs capacités de raisonnement en utilisant les représentations des jetons de fin de séquence (EoS) comme un brouillon caché pour effectuer des calculs intermédiaires, un mécanisme confirmé par des interventions causales.
Cet article présente une méthode novatrice utilisant un apprentissage par distillation pour transformer les spécifications de logique temporelle sur les signaux (STL) en représentations neuronales continues, permettant ainsi une inférence rapide, inversible et fidèle aux sémantiques formelles sans le coût computationnel des noyaux symboliques traditionnels.
Cet article propose une approche GraphRAG basée sur la décomposition k-core, qui remplace le clustering Leiden par une hiérarchie déterministe et linéaire pour améliorer la cohérence globale, la diversité des réponses et l'efficacité des coûts dans les tâches de compréhension de documents à grande échelle.
Cet article propose une méthode d'élagage de vocabulaire pour les modèles de brouillon dans le cadre de la décodage spéculatif, qui optimise un compromis entre la couverture des tokens et la latence afin d'accélérer l'inférence des grands modèles de langage, en particulier sur des tâches spécifiques à un domaine.
Le papier présente VietJobs, le premier corpus public à grande échelle d'annonces d'emploi vietnamiennes, qui sert de nouvelle référence pour la recherche en TALN et l'analyse du marché du travail tout en évaluant les performances des modèles de langage génératifs sur des tâches de classification et d'estimation de salaires.
Cet article présente le Multilingual Cloud Corpus, premier corpus numérique national et multimodal du Bangladesh, qui documente systématiquement 42 variétés linguistiques autochtones et minoritaires, dont beaucoup sont en danger, grâce à des enregistrements audio et des transcriptions textuelles collectés lors d'un travail de terrain rigoureux pour soutenir la préservation linguistique et le traitement automatique des langues à ressources limitées.
SarcasmMiner est un cadre d'entraînement postérieur basé sur l'apprentissage par renforcement qui améliore la détection de la sarcasme audio-visuelle en reformulant la tâche comme un raisonnement structuré et en utilisant une stratégie de distillation à double piste avec un modèle de récompense génératif pour optimiser à la fois la précision et la qualité du raisonnement.
Cet article établit un cadre formel reliant le débat et l'apprentissage par renforcement à partir de retours d'IA (RLAIF) en démontrant que la valeur du débat pour la surveillance évolue selon une transition de phase géométrique dépendant de la divergence des connaissances entre les modèles, passant d'une redondance à un avantage essentiel lorsque leurs informations sont complémentaires.
Ce papier présente WavSLM, un modèle de langage vocal qui, grâce à la distillation de WavLM et à une prédiction autoregressive sur un seul flux de tokens, parvient à générer de la parole cohérente en modélisant conjointement les informations sémantiques et acoustiques sans aucune supervision textuelle.
Le papier présente Med-V1, une famille de modèles de langage petits mais performants entraînés sur des données synthétiques, qui rivalise avec les modèles de pointe pour l'attribution d'évidence biomédicale et la détection d'hallucinations tout en permettant des applications évolutives et économiques.
Cet article présente PersianPunc, un vaste ensemble de données de 17 millions d'échantillons et une approche basée sur ParsBERT pour la restauration de la ponctuation en persan, démontrant une efficacité supérieure et une meilleure adaptation aux applications en temps réel par rapport aux grands modèles de langage.
Ce papier présente un corpus multilingue annoté par des humains, comprenant des textes originaux et leurs versions simplifiées en langage facile à lire pour le catalan, l'espagnol et l'italien, afin de soutenir l'accès aux processus de participation démocratique et de combler le manque de ressources pour l'automatisation de la simplification textuelle dans ces langues.
Cette étude évalue onze algorithmes de fusion de modèles pour l'adaptation multi-domaine en reconnaissance automatique de la parole en portugais européen, en proposant une nouvelle méthode, BoostedTSV-M, qui surpasse le fine-tuning complet tout en préservant la généralisation hors distribution.