Citation Intent Classification for Turkish Academic Literature with Prompt-Optimized LLMs and Language-Specific Encoders
Dit artikel introduceert TurkCite, een framework en een door experts geannoteerde dataset voor het classificeren van citatie-intenties in de Turkse academische literatuur, waarmee wordt aangetoond dat taalspecifieke Transformer-encoders beter presteren dan op vertaling gebaseerde transfer, terwijl ze tevens prompt-geoptimaliseerde grote taalmodellen aanbieden als effectieve, training-vrije alternatieven voor niet-Engelse bibliometrische analyse.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van academisch onderzoek is een citatie meer dan slechts een voetnoot of een beleefde knik naar een voorganger. Het is een specifieke communicatieve handeling, een klein signaal dat van de ene paper naar de andere wordt gestuurd en precies onthult hoe het nieuwe werk het oude gebruikt. Soms citeert een onderzoeker een eerdere studie omdat ze direct voortbouwen op de methode ervan; andere keren citeren ze om aan te tonen hoe hun resultaten daarmee in strijd zijn, of simpelweg om historische context te bieden. Decennialang heeft de academische wereld de waarde van onderzoek primair gemeten door deze signalen te tellen, waarbij wordt geteld hoe vaak een paper wordt vermeld om de impact te berekenen. Deze benadering behandelt elke vermelding echter als identiek, waardoor het cruciale verschil tussen een diepe intellectuele schuld en een vluchtige referentie wordt gemist. Om de ware aard van wetenschappelijke invloed te begrijpen, moeten wetenschappers niet alleen weten hoe vaak een paper wordt geciteerd, maar ook waarom.
Dit onderscheid vormt de kern van de classificatie van citatie-intentie, een vakgebied dat probeert deze referenties in functionele categorieën te sorteren. Hoewel onderzoekers aanzienlijke vooruitgang hebben gebowd in dit proces voor Engelstalige literatuur, waar grote datasets en geavanceerde computertools beschikbaar zijn, zijn dezelfde tools grotendeels niet in staat gebleken te werken voor andere talen. De Turkse academische publicaties wereld vertegenwoordigt een massief en groeiend ecosysteem, ondersteund door nationale databases die duizenden tijdschriften indexeren, maar het miste een systeem dat in staat is om te begrijpen waarom Turkse wetenschappers elkaar specifiek citeren. De linguïstische structuur van het Turks is heel anders dan die van het Engels, wat het moeilijk maakt om Engelse tools simpelweg te vertalen en te verwachten dat ze werken. Zonder een inheems systeem bleven de rijke, genuanceerde gesprekken die in Turkse tijdschriften plaatsvinden onzichtbaar voor automatische analyse, vastgelopen achter een muur van ruwe cijfers.
Een team van onderzoekers zette zich af om dat ontbrekende systeem te bouwen, door een nieuw framework te creëren dat specifelijk is ontworpen voor de Turkse academische literatuur. Ze begonnen met het construeren van een gespecialiseerde dataset genaamd TurkCite, die bestaat uit bijna 2.800 citatievoorbeelden afkomstig uit computerwetenschappelijke papers gepubliceerd in Turkije. Deze voorbeelden waren niet alleen verzameld; ze werden zorgvuldig beoordeeld en gelabeld door menselijke experts die de specifieke intentie achter elke referentie bepaalden, waarbij ze werden gesorteerd in vijf verschillende categorieën: achtergrondcontext, methodologische basis, ondersteunende bevindingen, contrasterende resultaten en kritische discussie. Dit door mensen geannoteerde fundament was essentieel omdat het team eerst testte of ze Turkse citaties simpelweg naar het Engels konden vertalen en bestaande Engelse tools konden gebruiken om ze te analyseren. De resultaten waren duidelijk: vertaling alleen was onvoldoende. De subtiele aanwijzingen en discursieve patronen die de intentie in het Turks signaleren, gingen verloren in de vertaling, wat bewees dat een inheemse oplossing noodzakelijk was.
Met hun nieuwe dataset in handen verkenden de onderzoekers twee verschillende paden om het classificatieprobleem op te lossen. Het eerste pad vertrouwde op grote taalmodellen, de krachtige kunstmatige intelligentiesystemen die tekst kunnen genereren en vragen kunnen beantwoorden. Ze testten of deze modellen konden leren om citaties te classificeren zonder expliciet getraind te worden op de nieuwe Turkse data, een methode die bekend staat als in-context learning. Door instructies zorgvuldig te formuleren en enkele voorbeelden binnen de prompt te geven, ontdekten ze dat deze modellen een hoog niveau van nauwkeurigheid konden bereiken, waarbij ze bijna 87 procent haalden bij het identificeren van de juiste intentie. Deze benadering bleek waardevol als een "cold-start"-oplossing, die een manier bood om citaties direct te analyseren zonder de noodzaak van een enorme, vooraf gelabelde dataset. De onderzoekers merkten echter op dat de prestaties van deze modellen zeer gevoelig waren voor de manier waarop de instructies werden geschreven, en dat ze moeite hadden om consequent de zeldzamere soorten citaties te identificeren, zoals die die wijzen op een meningsverschil met een eerder onderzoek.
Het tweede pad hield in om gespecialiseerde computermodellen vanaf nul te trainen met behulp van de nieuwe Turkse dataset. Het team verfijnde vijf verschillende soorten neurale netwerkarchitecturen en testte welke het beste werkten voor de Turkse taal. Ze ontdekten dat modellen die specifiek op Turkse tekst waren voorgetraind, aanzienlijk beter presteerden dan modellen die ontworpen waren voor meertaligheid of het Engels. Het meest succesvolle systeem, dat een Turks-specifiek model combineerde met een rijkere input die ook de sectie van het artikel bevatte waar de citatie verscheen en de omliggende zinnen, bereikte een nauwkeurigheid van meer dan 90 procent. Deze gesuperviseerde benadering bood een stabiele, betrouwbare en kosteneffectieve manier om grote volumes academische tekst te verwerken. Toch, zelfs met deze hoge nauwkeurigheid, stond het systeem voor een uitdaging: de data zelf was sterk scheef verdeeld. In academisch schrijven worden de overgrote meerderheid van de citaties gebruikt voor algemene achtergrond, wat ongeveer 78 procent van de dataset beslaat. Deze onbalans betekende dat hoewel de modellen uitstekend waren in het opsporen van veelvoorkomende achtergrondreferenties, ze minder betrouwbaar bleven bij het identificeren van de zeldzamere, complexere intenties zoals meningsverschil of kritische discussie.
De studie concludeerde dat hoewel het nieuwe systeem een krachtig instrument biedt voor de analyse van de Turkse wetenschap, de moeilijkheid van de taak niet alleen in de technologie ligt, maar in de aard van de data. De onderzoekers ontdekten dat het simpelweg toevoegen van meer context of het opdelen van het probleem in kleinere stappen het probleem van het identificeren van zeldzame citatietypes niet volledig oploste. In plaats daarvan ligt de weg vooruit in het uitbreiden van de dataset om meer voorbeelden van deze ondervertegenwoordigde intenties op te nemen. Door een robuust framework en een hoogwaardige dataset te bieden, heeft het team de deur geopend naar een genuanceerder begrip van de Turkse academische invloed, waardoor onderzoekers en redacteuren voorbij eenvoudige tellingen kunnen gaan en de werkelijke structuur van het wetenschappelijke gesprek kunnen zien. Dit werk dient als een blauwdruk voor andere niet-Engelstalige academische gemeenschappen, en demonstreert dat hoewel vertaling een nuttige eerste stap is, echt begrip werktuigen vereist die specifiek zijn gebouwd voor de taal en het discours van de lokale wetenschappelijke wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.