Citation Intent Classification for Turkish Academic Literature with Prompt-Optimized LLMs and Language-Specific Encoders
Este artigo apresenta o TurkCite, um framework e um conjunto de dados anotado por especialistas para classificar intenções de citação na literatura acadêmica turca, demonstrando que codificadores Transformer específicos para o idioma superam a transferência baseada em tradução, ao mesmo tempo em que oferecem modelos de linguagem de grande escala otimizados por prompts como alternativas eficazes sem necessidade de treinamento para análise bibliométrica não anglófona.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No vasto panorama da pesquisa acadêmica, uma citação é mais do que apenas uma nota de rodapé ou um aceno cortês a um predecessor. É um ato comunicativo específico, um pequeno sinal enviado de um artigo para outro que revela exatamente como o novo trabalho está utilizando o antigo. Às vezes, um pesquisador cita um estudo anterior porque está construindo diretamente sobre seu método; outras vezes, cita-o para mostrar como seus resultados o contradizem, ou simplesmente para fornecer contexto histórico. Por décadas, o mundo acadêmico mediu o valor da pesquisa principalmente contando esses sinais, somando quantas vezes um artigo é mencionado para calcular o impacto. No entanto, essa abordagem trata cada menção como idêntica, perdendo a diferença crucial entre uma dívida intelectual profunda e uma referência passageira. Para compreender a verdadeira natureza da influência científica, os estudiosos precisam saber não apenas com que frequência um artigo é citado, mas por quê.
Essa distinção é o coração da classificação de intenção de citação, um campo que busca classificar essas referências em categorias funcionais. Embora os pesquisadores tenham feito progressos significativos ao fazer isso para a literatura em língua inglesa, onde grandes conjuntos de dados e ferramentas computacionais avançadas estão disponíveis, as mesmas ferramentas falharam em funcionar para outros idiomas. A publicação acadêmica turca representa um ecossistema massivo e crescente, apoiado por bases de dados nacionais que indexam milhares de periódicos, mas carecia de um sistema capaz de compreender as razões específicas pelas quais os acadêmicos turcos citam uns aos outros. A estrutura linguística do turco é bastante diferente do inglês, tornando difícil simplesmente traduzir as ferramentas inglesas e esperar que funcionem. Sem um sistema nativo, as conversas ricas e sutis que ocorrem nos periódicos turcos permaneciam invisíveis à análise automatizada, presas atrás de uma parede de números brutos.
Uma equipe de pesquisadores partiu para construir esse sistema que faltava, criando um novo framework projetado especificamente para a literatura acadêmica turca. Eles começaram construindo um conjunto de dados especializado chamado TurkCite, que consiste em quase 2.800 exemplos de citações extraídos de artigos de ciência da computação publicados na Turquia. Esses exemplos não foram apenas coletados; eles foram cuidadosamente revisados e rotulados por especialistas humanos que determinaram a intenção específica por trás de cada referência, classificando-as em cinco categorias distintas: contexto de base, base metodológica, achados de suporte, resultados contrastantes e discussão crítica. Essa base anotada por humanos foi essencial porque a equipe testou primeiro se poderiam simplesmente traduzir as citações turcas para o inglês e usar as ferramentas inglesas existentes para analisá-las. Os resultados foram claros: a tradução sozinha era insuficiente. As pistas sutis e os padrões de discurso que sinalizam a intenção no turco foram perdidos na tradução, provando que uma solução nativa era necessária.
Com seu novo conjunto de dados em mãos, os pesquisadores exploraram dois caminhos diferentes para resolver o problema da classificação. O primeiro caminho baseou-se em modelos de linguagem de grande escala, os poderosos sistemas de inteligência artificial que podem gerar texto e responder perguntas. Eles testaram se esses modelos poderiam aprender a classificar citações sem serem explicitamente treinados nos novos dados turcos, um método conhecido como aprendizado em contexto (in-context learning). Ao elaborar cuidadosamente instruções e fornecer alguns exemplos dentro do prompt, descobriram que esses modelos podiam atingir um alto nível de precisão, chegando a quase 87 por cento na identificação da intenção correta. Essa abordagem provou ser valiosa como uma solução de "cold-start", oferecendo uma maneira de analisar citações imediatamente sem a necessidade de um enorme conjunto de dados pré-rotulados. No entanto, os pesquisadores observaram que o desempenho desses modelos era altamente sensível à forma como as instruções eram escritas, e eles tinham dificuldade em identificar consistentemente os tipos de citações mais raros, como aqueles que indicam um desacordo com um estudo anterior.
O segundo caminho envolveu o treinamento de modelos computacionais especializados do zero usando o novo conjunto de dados turco. A equipe ajustou finamente (fine-tuned) cinco tipos diferentes de arquiteturas de redes neurais, testando quais funcionavam melhor para a língua turca. Descobriram que modelos pré-treinados especificamente em texto turco superaram significativamente aqueles projetados para múltiplos idiomas ou para o inglês. O sistema mais bem-sucedido, que combinou um modelo específico para o turco com uma entrada mais rica que incluía a seção do artigo onde a citação aparecia e as frases circundantes, alcançou uma precisão de mais de 90 por cento. Essa abordagem supervisionada proporcionou uma maneira estável, confiável e econômica de processar grandes volumes de texto acadêmico. Contudo, mesmo com essa alta precisão, o sistema ainda enfrentava um desafio: os próprios dados eram fortemente desbalanceados. Na escrita acadêmica, a vasta maioria das citações é usada para contexto geral, compondo cerca de 78 por cento do conjunto de dados. Esse desequilíbrio significava que, embora os modelos fossem excelentes em detectar referências de contexto comuns, eles permaneciam menos confiáveis na identificação de intenções mais raras e complexas, como o desacordo ou a discussão crítica.
O estudo concluiu que, embora o novo sistema ofereça uma ferramenta poderosa para analisar a produção acadêmica turca, a dificuldade da tarefa reside não apenas na tecnologia, mas na própria natureza dos dados. Os pesquisadores descobriram que simplesmente adicionar mais contexto ou dividir o problema em etapas menores não resolvia totalmente a questão da identificação de tipos de citação raros. Em vez disso, o caminho a seguir envolve expandir o conjunto de dados para incluir mais exemplos dessas intenções sub-representadas. Ao fornecer um framework robusto e um conjunto de dados de alta qualidade, a equipe abriu as portas para uma compreensão mais matizada da influência acadêmica turca, permitindo que pesquisadores e editores vão além das contagens simples e vejam a estrutura real da conversa científica. Este trabalho serve como um modelo para outras comunidades acadêmicas não inglesas, demonstrando que, embora a tradução seja um primeiro passo útil, a verdadeira compreensão exige ferramentas construídas especificamente para a língua e o discurso do mundo acadêmico local.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.