cs.CL articles | Gist.Science

Build, Borrow, or Just Fine-Tune? A Political Scientist's Guide to Choosing NLP Models

Cet article propose un cadre décisionnel pour les politologues utilisant le traitement automatique du langage naturel, démontrant que le fine-tuning d'un modèle généraliste comme ModernBERT sur la base GTD offre des performances quasi équivalentes à un modèle spécialisé (ConfliBERT) pour les événements fréquents, rendant ainsi le développement de modèles sur mesure inutile sauf pour les cas rares exigeant une précision extrême.

Shreyas MeherWed, 11 Ma💬 cs.CL

Surgical Repair of Collapsed Attention Heads in ALiBi Transformers

Cet article présente une méthode de « chirurgie » par réinitialisation ciblée qui permet de réparer les têtes d'attention effondrées dans les modèles BLOOM utilisant l'encodage ALiBi, restaurant ainsi 98,7 % de leur capacité opérationnelle et démontrant que les configurations pré-entraînées peuvent être optimisées au-delà de leurs minima locaux.

Palmer SchallonWed, 11 Ma💬 cs.CL

X-GS: An Extensible Open Framework Unifying 3DGS Architectures with Downstream Multimodal Models

Ce papier présente X-GS, un cadre open-source extensible qui unifie les techniques de 3DGS pour permettre une SLAM en ligne temps réel enrichie de sémantique et interconnectée avec des modèles multimodaux avancés.

Yueen Ma, Irwin KingWed, 11 Ma💬 cs.CL

Tracking Cancer Through Text: Longitudinal Extraction From Radiology Reports Using Open-Source Large Language Models

Cette étude présente un pipeline entièrement open-source et déployable localement, utilisant le modèle Qwen2.5-72b pour extraire avec une haute précision des données longitudinales sur les tumeurs à partir de rapports radiologiques, garantissant ainsi la confidentialité des données et la reproductibilité dans les environnements de soins de santé.

Luc Builtjes, Alessa HeringWed, 11 Ma💬 cs.CL

Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

Cette conférence à ECIR 2025 explore l'interaction complexe entre les connaissances paramétriques et contextuelles des grands modèles de langage, en présentant des méthodes pour évaluer les conflits de connaissances et comprendre comment les modèles intègrent ou ignorent le contexte fourni.

Isabelle AugensteinWed, 11 Ma💬 cs.CL

Automatic Cardiac Risk Management Classification using large-context Electronic Patients Health Records

Cette étude propose un cadre de classification automatisé pour la gestion des risques cardiaques chez les personnes âgées, démontrant qu'une architecture Transformer personnalisée surpassant les modèles classiques et les grands modèles de langage génériques permet d'exploiter efficacement les dossiers médicaux électroniques non structurés pour une stratification clinique précise.

Jacopo Vitale, David Della Morte, Luca Bacco, Mario Merone, Mark de Groot, Saskia Haitjema, Leandro Pecchia, Bram van EsWed, 11 Ma🤖 cs.AI

Fusing Semantic, Lexical, and Domain Perspectives for Recipe Similarity Estimation

Cette recherche propose une méthode avancée pour estimer la similarité entre les recettes en fusionnant des perspectives sémantiques, lexicales et nutritionnelles, validée par des experts et visant à soutenir des applications telles que les régimes personnalisés et la génération automatique de recettes.

Denica Kjorvezir, Danilo Najkov, Eva Valencič, Erika Jesenko, Barbara Koroišic Seljak, Tome Eftimov, Riste StojanovWed, 11 Ma💬 cs.CL

ESAinsTOD: A Unified End-to-End Schema-Aware Instruction-Tuning Framework for Task-Oriented Dialog Modeling

Ce papier présente ESAinsTOD, un cadre unifié d'ajustement d'instructions de bout en bout et conscient du schéma qui améliore significativement les performances, la généralisation et la robustesse des modèles de dialogue orientés tâche par rapport aux méthodes existantes.

Dechuan Teng, Chunlin Lu, Libo Qin, Wanxiang CheWed, 11 Ma🤖 cs.AI

ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning

Le papier présente ActiveUltraFeedback, un pipeline d'apprentissage actif modulaire qui optimise la génération de données de préférence pour l'alignement des modèles de langage en sélectionnant dynamiquement les réponses les plus informatives, permettant d'obtenir des performances supérieures avec jusqu'à six fois moins de données annotées que les méthodes statiques.

Davit Melikidze, Marian Schneider, Jessica Lam, Martin Wertich, Ido Hakimi, Barna Pásztor, Andreas KrauseWed, 11 Ma🤖 cs.AI

Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning

Le papier présente Mousse, un nouvel optimiseur qui améliore l'algorithme Muon en intégrant une estimation de la courbure via Shampoo pour adapter les mises à jour spectrales aux paysages d'optimisation anisotropes des réseaux de neurones, réduisant ainsi le nombre d'étapes d'entraînement d'environ 12 % avec un surcoût computationnel négligeable.

Yechen Zhang, Shuhao Xing, Junhao Huang, Kai Lv, Yunhua Zhou, Xipeng Qiu, Qipeng Guo, Kai ChenWed, 11 Ma🤖 cs.AI

Evaluation of LLMs in retrieving food and nutritional context for RAG systems

Cette étude évalue l'efficacité de quatre modèles de langage (LLM) dans la conversion de requêtes naturelles en filtres de métadonnées pour un système RAG spécialisé en nutrition, démontrant qu'ils permettent un accès performant aux données alimentaires tout en révélant leurs limites face aux contraintes non expressibles dans le format de métadonnées.

Maks Požarnik Vavken, Matevž Ogrinc, Tome Eftimov, Barbara Koroušic SeljakWed, 11 Ma💬 cs.CL

MUGEN: Evaluating and Improving Multi-audio Understanding of Large Audio-Language Models

Le papier présente MUGEN, une nouvelle référence évaluant la compréhension multi-audio des grands modèles audio-langage, révélant leurs limites face à l'augmentation du nombre d'entrées et démontrant que des stratégies d'inférence comme la cohérence auto-permutative et le raisonnement en chaîne améliorent significativement leurs performances.

Chih-Kai Yang, Yun-Shao Tsai, Yu-Kai Guo, Ping-Le Tsai, Yen-Ting Piao, Hung-Wei Chen, Ting-Lin Hsiao, Yun-Man Hsu, Ke-Han Lu, Hung-yi LeeWed, 11 Ma🤖 cs.AI

RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation

Ce papier propose RbtAct, une méthode qui utilise les réactions des auteurs lors des révisions (rebuttals) comme supervision implicite pour entraîner un modèle à générer des critiques de recherche plus concrètes et exploitables, soutenue par un nouveau jeu de données RMR-75K et une tâche de génération de feedback conditionnée par la perspective.

Sihong Wu, Yiling Ma, Yilun Zhao, Tiansheng Hu, Owen Jiang, Manasi Patwardhan, Arman CohanWed, 11 Ma🤖 cs.AI

EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning

Ce papier présente EXPLORE-Bench, un nouveau benchmark évaluant la capacité des modèles de langage multimodaux à prédire les scènes finales d'actions à long terme dans des vidéos à la première personne, révélant ainsi un écart significatif par rapport aux performances humaines et l'importance du raisonnement étape par étape.

Chengjun Yu, Xuhan Zhu, Chaoqun Du, Pengfei Yu, Wei Zhai, Yang Cao, Zheng-Jun ZhaWed, 11 Ma🤖 cs.AI

Beyond Fine-Tuning: Robust Food Entity Linking under Ontology Drift with FoodOntoRAG

Ce papier présente FoodOntoRAG, une approche agnostique ne nécessitant pas de fine-tuning qui améliore la robustesse du lien d'entités alimentaires face à l'évolution des ontologies en combinant la récupération de candidats et des agents LLM spécialisés pour une sélection et une calibration de confiance interprétables.

Jan Drole, Ana Gjorgjevikj, Barbara Korouši'c Seljak, Tome EftimovWed, 11 Ma💬 cs.CL

EPIC-EuroParl-UdS: Information-Theoretic Perspectives on Translation and Interpreting

Ce papier présente une version mise à jour et combinée des corpus EPIC-UdS et EuroParl-UdS, enrichie de nouvelles annotations et d'indices de surpris, conçue pour soutenir la recherche sur les perspectives informationnelles de la traduction et de l'interprétation, notamment par le biais d'une étude validant l'intégrité des données orales et évaluant des modèles de langage pour la prédiction de particules de remplissage.

Maria Kunilovskaya, Christina PollkläsenerWed, 11 Ma💬 cs.CL

MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations

Ce papier présente MITRA, un assistant IA basé sur la génération augmentée par récupération (RAG) et hébergé localement pour garantir la confidentialité, conçu afin d'aider les chercheurs des collaborations physiques à naviguer efficacement dans la vaste documentation interne en utilisant un pipeline automatisé d'extraction de texte et une architecture de base de données vectorielle à deux niveaux.

Abhishikth Mallampalli, Sridhara DasuWed, 11 Ma🤖 cs.AI

One-Eval: An Agentic System for Automated and Traceable LLM Evaluation

Ce papier présente One-Eval, un système agentic automatisé qui transforme les requêtes d'évaluation en langage naturel en flux de travail exécutables et traçables pour simplifier, standardiser et rendre reproductible l'évaluation des grands modèles de langage.

Chengyu Shen, Yanheng Hou, Minghui Pan, Runming He, Zhen Hao Wong, Meiyi Qiang, Zhou Liu, Hao Liang, Peichao Lai, Zeang Sheng, Wentao ZhangWed, 11 Ma💬 cs.CL

Chow-Liu Ordering for Long-Context Reasoning in Chain-of-Agents

Cette étude propose d'optimiser le traitement des contextes longs dans les frameworks Chain-of-Agents en utilisant des arbres de Chow-Liu pour déterminer un ordre de traitement des chunks basé sur leurs dépendances, réduisant ainsi la perte d'information et surpassant les méthodes d'ordonnancement existantes.

Naman Gupta, Vaibhav Singh, Arun Iyer, Kirankumar Shiragur, Pratham Grover, Ramakrishna B. Bairi, Ritabrata Maiti, Sankarshan Damle, Shachee Mishra Gupta, Rishikesh Maurya, Vageesh D. CWed, 11 Ma💬 cs.CL

N-gram-like Language Models Predict Reading Time Best

Cette étude démontre que les modèles de langage dont les prédictions correspondent le mieux aux statistiques des n-grammes simples sont également ceux qui prédisent le plus précisément les temps de lecture, suggérant que ce phénomène est mieux expliqué par des modèles simples que par les statistiques complexes des transformateurs modernes.

James A. Michaelov, Roger P. LevyWed, 11 Ma💬 cs.CL

← Précédent Suivant →