Citation Intent Classification for Turkish Academic Literature with Prompt-Optimized LLMs and Language-Specific Encoders
Cet article présente TurkCite, un cadre et un ensemble de données annotées par des experts pour classifier les intentions de citation dans la littérature académique turque, démontrant que les encodeurs Transformer spécifiques à la langue surpassent le transfert basé sur la traduction tout en offrant des modèles de langage de grande taille optimisés par prompts comme alternatives efficaces sans entraînement pour l'analyse bibliométrique non anglaise.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le vaste paysage de la recherche académique, une citation est bien plus qu'une simple note de bas de page ou un hommage poli à un prédécesseur. C'est un acte de communication spécifique, un minuscule signal envoyé d'un article à un autre qui révèle exactement comment le nouveau travail utilise l'ancien. Parfois, un chercheur cite une étude précédente parce qu'il s'appuie directement sur sa méthode ; d'autres fois, il la cite pour montrer comment ses résultats la contredisent, ou simplement pour fournir un contexte historique. Pendant des décennies, le monde académique a mesuré la valeur de la recherche principalement en comptant ces signaux, en dénombrant combien de fois un article est mentionné pour calculer son impact. Cependant, cette approche traite chaque mention comme étant identique, omettant la différence cruciale entre une profonde dette intellectuelle et une référence passagère. Pour comprendre la véritable nature de l'influence scientifique, les chercheurs doivent savoir non seulement combien de fois un article est cité, mais pourquoi.
Cette distinction est au cœur de la classification de l'intention de citation, un domaine qui cherche à trier ces références en catégories fonctionnelles. Bien que les chercheurs aient réalisé des progrès significatifs dans ce domaine pour la littérature de langue anglaise, où des ensembles de données volumineux et des outils informatiques avancés sont disponibles, les mêmes outils ont largement échoué à fonctionner pour d'autres langues. La publication académique turque représente un écosystème massif et en pleine croissance, soutenu par des bases de données nationales qui indexent des milliers de revues, pourtant elle manquait d'un système capable de comprendre les raisons spécifiques pour lesquelles les chercheurs turcs se citent les uns les autres. La structure linguistique du turc est très différente de l'anglais, ce qui rend difficile le simple fait de traduire les outils anglais en espérant qu'ils fonctionnent. Sans un système natif, les conversations riches et nuancées se déroulant dans les revues turques restaient invisibles pour l'analyse automatisée, bloquées derrière un mur de chiffres bruts.
Une équipe de chercheurs s'est donné pour mission de construire ce système manquant, en créant un nouveau cadre conçu spécififement pour la littérature académique turque. Ils ont commencé par construire un ensemble de données spécialisé appelé TurkCite, qui se compose de près de 2 800 exemples de citations tirés d'articles de science informatique publiés en Turquie. Ces exemples n'ont pas été simplement collectés ; ils ont été soigneusement examinés et étiquetés par des experts humains qui ont déterminé l'intention spécifique derrière chaque référence, les classant en cinq catégories distinctes : contexte de base, base méthodologique, résultats de soutien, résultats contrastés et discussion critique. Cette fondation annotée par l'humain était essentielle car l'équipe a d'abord testé si elle pouvait simplement traduire les citations turques en anglais et utiliser les outils anglais existants pour les analyser. Les résultats étaient clairs : la traduction seule était insuffisante. Les indices subtils et les schémas de discours qui signalent l'intention en turc étaient perdus lors de la traduction, prouvant qu'une solution native était nécessaire.
Avec leur nouvel ensemble de données en main, les chercheurs ont exploré deux voies différentes pour résoudre le problème de la classification. La première voie reposait sur les grands modèles de langage, ces puissants systèmes d'intelligence artificielle capables de générer du texte et de répondre à des questions. Ils ont testé si ces modèles pouvaient apprendre à classifier les citations sans être explicitement entraînés sur les nouvelles données turques, une méthode connue sous le nom d'apprentissage en contexte (in-context learning). En élaborant soigneusement des instructions et en fournissant quelques exemples au sein de l'invite (prompt), ils ont constaté que ces modèles pouvaient atteindre un haut niveau de précision, atteignant près de 87 pour cent dans l'identification de l'intention correcte. Cette approche s'est avérée précieuse en tant que solution de « démarrage à froid » (cold-start), offrant un moyen d'analyser les citations immédiatement sans avoir besoin d'un ensemble de données massives et pré-étiquetées. Cependant, les chercheurs ont noté que la performance de ces modèles était très sensible à la manière dont les instructions étaient rédigées, et qu'ils éprouvaient des difficultés à identifier de manière cohérente les types de citations plus rares, tels que ceux indiquant un désaccord avec une étude précédente.
La seconde voie consistait à entraîner des modèles informatiques spécialisés à partir de zéro en utilisant le nouvel ensemble de données turc. L'équipe a affiné cinq types différents d'architectures de réseaux neuronaux, testant lesquels fonctionnaient le mieux pour la langue turque. Ils ont découvert que les modèles pré-entraînés spécifiquement sur du texte turc surpassaient nettement ceux conçus pour des langues multiples ou pour l'anglais. Le système le plus performant, qui combinait un modèle spécifique au turc avec une entrée plus riche incluant la section de l'article où la citation apparaissait ainsi que les phrases environnantes, a atteint une précision de plus de 90 pour cent. Cette approche supervisée offrait un moyen stable, fiable et rentable de traiter de grands volumes de textes académiques. Pourtant, même avec cette haute précision, le système faisait toujours face à un défi : les données elles-mêmes étaient fortement biaisées. Dans l'écriture académique, la grande majorité des citations sont utilisées pour le contexte général, représentant environ 78 pour cent de l'ensemble de données. Ce déséquilibre signifiait que, bien que les modèles soient excellents pour repérer les références de contexte communes, ils restaient moins fiables pour identifier les intentions plus rares et complexes comme le désaccord ou la discussion critique.
L'étude a conclu que, bien que le nouveau système offre un outil puissant pour analyser la recherche turque, la difficulté de la tâche ne réside pas seulement dans la technologie, mais dans la nature des données. Les chercheurs ont constaté que le simple fait d'ajouter plus de contexte ou de diviser le problème en étapes plus petites ne résolvait pas entièrement le problème de l'identification des types de citations rares. Au lieu de cela, la voie à suivre consiste à élargir l'ensemble de données pour inclure davantage d'exemples de ces intentions sous-représentées. En fournissant un cadre robuste et un ensemble de données de haute qualité, l'équipe a ouvert la porte à une compréhension plus nuancée de l'influence académique turque, permettant aux chercheurs et aux éditeurs d'aller au-delà des simples décomptes et de voir la structure réelle de la conversation scientifique. Ce travail sert de modèle pour d'autres communautés académiques non anglophones, démontrant que, si la traduction est une première étape utile, la véritable compréhension nécessite des outils construits spécifiquement pour la langue et le discours du monde savant local.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.