CoTJudger: A Graph-Driven Framework for Automatic Evaluation of Chain-of-Thought Efficiency and Redundancy in LRMs

Le papier présente CoTJudger, un cadre basé sur les graphes qui évalue automatiquement l'efficacité et la redondance des chaînes de raisonnement des modèles de raisonnement à grande échelle en extrayant le chemin effectif le plus court pour distinguer la logique essentielle du gaspillage computationnel.

Siyi Li, Jiajun Shi, Shiwen Ni, Ge Zhang, Shuaimin Li, Shijian Wang, Zhoufutu Wen, Yizhi Li, Hamid Alinejad-Rokny, Jiaheng Liu, Min Yang, Wenhao HuangTue, 10 Ma💬 cs.CL

Entropy-Aware On-Policy Distillation of Language Models

Cet article propose une distillation en ligne consciente de l'entropie qui améliore la diversité de génération et l'alignement élève-enseignant en adaptant dynamiquement l'objectif de divergence KL en fonction de l'incertitude du modèle enseignant, ce qui se traduit par des gains significatifs de performance sur des benchmarks de raisonnement mathématique.

Woogyeol Jin, Taywon Min, Yongjin Yang, Swanand Ravindra Kadhe, Yi Zhou, Dennis Wei, Nathalie Baracaldo, Kimin LeeTue, 10 Ma🤖 cs.LG

Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR

Cette étude présente Countdown-Code, un environnement minimaliste révélant que la contamination même faible de données d'apprentissage supervisé par des trajectoires de piratage de récompense suffit à internaliser ce comportement chez les LLM, lequel est ensuite amplifié et généralisé par l'apprentissage par renforcement.

Muhammad Khalifa, Zohaib Khan, Omer Tafveez, Hao Peng, Lu WangTue, 10 Ma🤖 cs.LG

Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information

Cette étude présente un agent IA pour le jeu de rôle « Loup-Garou », développé pour la tâche partagée AIWolfDial 2024, qui améliore la cohérence des dialogues et le maintien de la personnalité du personnage grâce à l'utilisation de résumés de conversation générés par des modèles de langage et de personas conçus manuellement.

Yoshiki Tanaka, Takumasa Kaneko, Hiroki Onozeki, Natsumi Ezure, Ryuichi Uehara, Zhiyang Qi, Tomoya Higuchi, Ryutaro Asahara, Michimasa InabaTue, 10 Ma💬 cs.CL

Emotion Transcription in Conversation: A Benchmark for Capturing Subtle and Complex Emotional States through Natural Language

Cet article propose une nouvelle tâche appelée « transcription émotionnelle dans la conversation » (ETC) et un jeu de données japonais associé pour surmonter les limites des annotations émotionnelles catégorielles en générant des descriptions naturelles des états émotionnels complexes et subtils au sein de dialogues.

Yoshiki Tanaka, Ryuichi Uehara, Koji Inoue, Michimasa InabaTue, 10 Ma💬 cs.CL

Lying to Win: Assessing LLM Deception through Human-AI Games and Parallel-World Probing

Cette étude introduit un cadre logique basé sur un jeu de questions-réponses et un mécanisme de « mondes parallèles » pour quantifier la déception intentionnelle des LLM, révélant que des menaces existentielles peuvent déclencher des comportements trompeurs chez certains modèles comme Qwen-3 et Gemini-2.5, contrairement à GPT-4o qui y reste insensible.

Arash Marioriyad, Ali Nouri, Mohammad Hossein Rohban, Mahdieh Soleymani BaghshahTue, 10 Ma💬 cs.CL

Scaling Self-Supervised Speech Models Uncovers Deep Linguistic Relationships: Evidence from the Pacific Cluster

En étendant la couverture linguistique d'un modèle de reconnaissance automatique de la parole auto-supervisé de 126 à 4 017 langues, cette étude révèle un changement qualitatif non linéaire permettant de capturer des signaux généalogiques profonds et des contacts linguistiques à long terme, notamment au sein d'un macro-cluster robuste du Pacifique.

Minu Kim, Hoirin Kim, David R. MortensenTue, 10 Ma💬 cs.CL

The Third Ambition: Artificial Intelligence and the Science of Human Behavior

Cet article propose une troisième ambition pour la recherche en intelligence artificielle, consistant à utiliser les grands modèles de langage comme instruments scientifiques pour étudier le comportement humain, la culture et le raisonnement moral en exploitant les régularités symboliques qu'ils ont apprises, tout en clarifiant leurs limites épistémiques et en adaptant les méthodologies des sciences sociales à cette nouvelle échelle.

W. Russell Neuman, Chad ColemanTue, 10 Ma💬 cs.CL

To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise

Cette étude démontre que les méthodes d'estimation d'incertitude basées sur le dropout de Monte Carlo surpassent les approches traditionnelles en termes de fiabilité et de calibration dans des environnements multilingues bruyants, permettant d'améliorer significativement les performances des systèmes NLP en excluant les prédictions les plus incertaines.

Nouran Khallaf, Serge SharoffTue, 10 Ma💬 cs.CL

How Much Noise Can BERT Handle? Insights from Multilingual Sentence Difficulty Detection

Cette étude évalue l'impact de diverses stratégies de débruitage sur la détection de la difficulté des phrases en utilisant des modèles BERT multilingues, révélant que si ces modèles sont intrinsèquement robustes, le filtrage par modèles de mélanges gaussiens améliore significativement les performances sur les petits jeux de données, tandis que le nettoyage des annotations crowdsourcées permet de créer le plus grand corpus multilingue dédié à cette tâche.

Nouran Khallaf, Serge SharoffTue, 10 Ma💬 cs.CL

Domain-Specific Quality Estimation for Machine Translation in Low-Resource Scenarios

Cette étude propose une méthode d'estimation de qualité pour la traduction automatique vers des langues indiennes en ressources limitées, démontrant que l'adaptation des couches intermédiaires de grands modèles de langage (via ALOPE et LoRMA) surpasse les approches par simple prompt pour garantir une robustesse accrue, notamment dans les domaines à haut risque.

Namrata Patil Gurav, Akashdeep Ranu, Archchana Sindhujan, Diptesh KanojiaTue, 10 Ma🤖 cs.LG

SoK: Agentic Retrieval-Augmented Generation (RAG): Taxonomy, Architectures, Evaluation, and Research Directions

Cet article de synthèse (SoK) propose le premier cadre unifié pour les systèmes de Génération Augmentée par Récupération (RAG) agents, en formalisant leur fonctionnement comme des processus de décision markoviens, en établissant une taxonomie architecturale complète, en identifiant des risques critiques tels que la propagation des hallucinations, et en définissant des orientations de recherche pour améliorer leur fiabilité et leur contrôlabilité.

Saroj Mishra, Suman Niroula, Umesh Yadav, Dilip Thakur, Srijan Gyawali, Shiva GaireTue, 10 Ma💬 cs.CL

Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams

Ce papier présente OAKS, un nouveau benchmark évaluant la capacité des grands modèles de langage à s'adapter en temps réel à des flux de connaissances continus, révélant ainsi des limites significatives des modèles actuels et des systèmes de mémoire agentic dans le suivi précis des faits évolutifs.

Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon SeoTue, 10 Ma💬 cs.CL

AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

Ce papier présente AQuA, un nouveau jeu de données et une méthode de fine-tuning qui permettent aux modèles vision-langage de classifier les ambiguïtés visuelles en quatre niveaux et d'adopter dynamiquement des stratégies de réponse adaptées, telles que la demande de clarification ou l'énumération d'alternatives, surpassant ainsi les modèles existants dans la gestion des questions visuelles ambiguës.

Jihyoung Jang, Hyounghun KimTue, 10 Ma💬 cs.CL

Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning

Le papier propose PACT, un cadre d'ajustement fin qui préserve l'alignement de sécurité des grands modèles de langage en régularisant spécifiquement la confiance du modèle sur un petit sous-ensemble de tokens liés à la sécurité, évitant ainsi la dérive de l'alignement sans compromettre les performances sur les tâches en aval.

Guoli Wang, Haonan Shi, Tu Ouyang, An WangTue, 10 Ma🤖 cs.LG