Transferring Natural Language Datasets Between Languages Using Large Language Models for Modern Decision Support and Sci-Tech Analytical Systems

Resumo Técnico: Transferência de Conjuntos de Dados de Linguagem Natural entre Idiomas Usando Grandes Modelos de Linguagem

Declaração do Problema
O artigo aborda a escassez de corpora russos anotados em larga escala para tarefas de Processamento de Linguagem Natural (PLN), especificamente no que diz respeito à extração de termos e suas definições. Enquanto o corpus inglês DEFT (Definition Extraction from Texts) fornece uma estrutura de anotação de três camadas rica para a mineração de pares termo-definição, recursos equivalentes não estão disponíveis para o russo. A criação manual de tais conjuntos de dados do zero é trabalhosa e dispendiosa. Os autores investigam se os Grandes Modelos de Linguagem (LLMs) podem transferir efetivamente conjuntos de dados existentes em inglês e suas anotações de Reconhecimento de Entidades Nomeadas (NER) para o russo, fornecendo assim uma base de qualidade "silver" para o treinamento de modelos em línguas com poucos recursos.

Metodologia
Os autores propõem um pipeline consistindo em três estágios principais: preparação de um conjunto "gold", tradução de texto e transferência de anotações NER.

1. Preparação de Dados: O estudo utiliza o corpus DEFT (textos em inglês de e-books gratuitos) e a parte da Wikipedia do conjunto de dados WCL. O formato original semelhante ao CoNLL foi convertido para uma estrutura de Hugging Face Datasets. Um "conjunto gold" foi criado manualmente traduzindo um subconjunto dos dados em inglês (conjunto de desenvolvimento e uma amostra aleatória do conjunto de treinamento) para o russo usando o Google Translate, seguido de verificação manual e transferência de anotação NER usando o Label Studio. Isso resultou em 1.070 sentenças verificadas manualmente (870 com NER, 200 sem).
2. Estratégia de Transferência de Anotação: Os autores inicialmente testaram um prompt exigindo que os LLMs produzissem tripletos de índices (início, fim, rótulo) baseados nos índices em inglês. Essa abordagem falhou devido à incapacidade dos modelos de mapear índices com precisão entre idiomas. Eles reformularam a tarefa: o LLM é solicitado a identificar a substring correspondente em russo para um determinado intervalo (span) de NER em inglês diretamente.
3. Benchmarking de Modelos: Um conjunto diversificado de LLMs foi avaliado via proxy bothub.chat, incluindo modelos OpenAI (gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-nano, gpt-4.1-mini), Llama3.1-8B, variantes DeepSeek (chat-v3-0324, r1) e Qwen-2.5-72B.
4. Métricas de Avaliação:
   • Transferência de Anotação: Medida por correspondências exatas, correspondências parciais mais amplas/estreitas e discrepâncias entre a saída do LLM e o padrão ouro (gold standard). O correspondência difusa (fuzzy matching) foi aplicada como uma etapa de pós-processamento para mitigar discrepâncias morfológicas.
   • Qualidade de Tradução: Avaliada usando pontuações BLEU e métricas baseadas em embeddings (LaBSE), incluindo "Comparação Paralela" (distância semântica entre a fonte e a tradução) e "Semelhante a BLEU" (distância semântica entre o gold e a tradução automática).
5. Treinamento Downstream: O melhor pipeline (usando DeepSeek-chat-v3-0324) foi aplicado aos conjuntos completos DEFT e WCL para gerar um corpus russo traduzido (ruDEFT e WCL_Wiki_Ru). Modelos baseados em BERT (multilingual BERT, RuBERT e RoBERTa) foram treinados nesses conjuntos de dados para estabelecer bases para detecção de definição e reconhecimento de termo/definição.

Principais Resultados

• Transferência de Anotação: Reformular a tarefa para extrair substrings em vez de índices melhorou significamente o desempenho. O modelo DeepSeek-chat-v3-0324 alcançou o maior desempenho com uma taxa de correspondência exata de 94,21% e apenas 0,84% de intervalos discrepantes (com pós-processamento de busca difusa). GPT-4.1-mini e GPT-3.5-turbo também tiveram bom desempenho, enquanto o Llama3.1-8B teve mais dificuldades com variações morfológicas, exigindo correspondência difusa para reduzir as discrepâncias.
• Qualidade de Tradução: O desempenho da tradução foi geralmente alto, com gpt-4o-mini e DeepSeek-chat-v3-0324 alcançando as melhores pontuações BLEU (~0,52) e métricas favoráveis baseadas em embeddings.
• Desempenho de Modelos Downstream:
  • Detecção de Definição (Tarefa 1): Modelos treinados nos dados transferidos alcançaram resultados fortes (F1 ~0,85 nos conjuntos de teste), embora existisse uma lacuna de desempenho entre o conjunto gold e o conjunto de teste transferido, sugerindo vieses induzidos pelo LLM no texto.
  • NER (Tarefa 2): O desempenho foi notavelmente mais fraco (F1 ~0,58 para ruDEFT), indicando que a qualidade "silver" das anotações transferidas limita a capacidade do modelo de generalizar perfeitamente. No entanto, os modelos performaram melhor no conjunto gold do que no conjunto de teste transferido, e o multilingual BERT mostrou-se ligeiramente mais robusto a erros de anotação do que o RuBERT neste contexto específico.
  • Conjunto de Dados WCL: Os modelos alcançaram excelentes resultados (F1 ~0,96) no conjunto de dados baseado na Wikipedia, provavelmente devido à natureza estruturada das definições da Wikipedia e à tarefa mais simples de identificar apenas entidades de termos.

Significância e Alegações
Os autores alegam que os LLMs podem servir como "tradutores inteligentes" eficazes para transferir anotações complexas de NER entre idiomas, reduzindo significativamente o esforço necessário para criar pontos de partida para o PLN em línguas com poucos recursos. Embora os conjuntos de dados resultantes sejam de qualidade "silver" e exijam verificação humana para aplicações de alto risco, o estudo demonstra que eles são suficientes para treinar modelos de base para análise de tendências científicas e sistemas de apoio à decisão (ex: iFORA, SciApp).

O artigo conclui modestamente que, embora os dados transferidos permitam a criação de ferramentas funcionais, os modelos de NER treinados nesses dados ainda não são perfeitos, necessitando de verificação cuidadosa das anotações. O trabalho destaca que a complexidade cognitiva da tarefa (ex: mapear índices vs. extrair substrings) impacta significativamente o desempenho do LLM. Os autores disponibilizaram os conjuntos de dados russos gerados (ruDEFT, WCL_Wiki_Ru) e o código associado para facilitar pesquisas futuras.