Multilingual and Cross-Lingual Citation Needed Detection on Wikipedia for Lower-Resource Languages

Resumo Técnico: Detecção de Necessidade de Citação Multilíngue e Translingue na Wikipedia para Línguas de Baixos Recursos

Definição do Problema
A verificação automatizada de fatos (AFC) depende da detecção de verificabilidade de afirmações (CWD) para identificar sentenças que exigem verificação. Na Wikipedia, isso se manifesta como a Detecção de Necessidade de Citação (CND), uma tarefa de classificação binária onde editores sinalizam afirmações que carecem de citações inline autoritativas. Embora a pesquisa existente tenha abordado a CND em línguas de altos recursos, as comunidades de línguas de baixos recursos enfrentam um fardo desproporcional devido ao menor número de editores ativos e à falta de ferramentas automatizadas. Além disso, os pipelines recentes de AFC dependem cada vez mais de Modelos de Linguagem de Grande Escala (LLMs), que são frequentemente inacessíveis para organizações de baixos recursos devido a restrições proprietárias e altos custos de inferência. Este artigo aborda a lacuna nos recursos de CND multilíngue e a viabilidade do uso de modelos menores e de baixo custo para esta tarefa.

Metodologia
Os autores introduzem o MCN (Multilingual Citation Needed), um corpus de larga escala derivado de "Artigos de Destaque" de alta qualidade da Wikipedia. O conjunto de dados abrange 18 línguas linguisticamente diversas através de três níveis de recursos (alto, médio e baixo), cobrindo as famílias Indo-Europeia, Turcomana, Austronésia e Austro-asiática. As afirmações são rotuladas com base na presença ou ausência de citações inline, aumentadas com sentenças contextuais e metadados de tópico.

O estudo avalia Modelos de Linguagem Pequenos (SLMs) (especificamente Llama-3-8B, Qwen3-8B e Aya-8b) como alternativas aos LLMs. A metodologia foca em três eixos experimentais:

1. Variantes de Ajuste Fino Supervisionado (SFT): Os autores comparam três estratégias de adaptação para SLMs baseados em decodificadores usando QLoRA:
   • Perda de Token Total (FTL - Full-Token Loss): Treinamento autorregressivo padrão sobre todos os tokens.
   • Perda de Apenas Alvo (TOL - Target-Only Loss): Mascaramento de tokens de entrada para focar o aprendizado nos tokens do assistente (rótulo).
   • Estilo Encoder (ES - Encoder-Style): Adaptação do modelo decodificador como um classificador discriminativo, alimentando o estado oculto do último token em um classificador feed-forward, otimizando com perda de entropia cruzada.
2. Benchmarking Multilíngue: Os SLMs são testados contra Modelos de Linguagem Pré-treinados baseados em encoder (PLMs como mBERT e XLM-R) e LLMs comerciais (GPT-5, Gemini 2.5) usando prompting zero-shot e few-shot.
3. Transferência Translingue (X-CND): Os autores avaliam a transferibilidade de modelos treinados exclusivamente em dados de inglês para línguas alvo de médio e baixo recurso sob configurações zero-shot e few-shot. Isso inclui testes tanto em dados paralelos sintéticos (conjuntos de teste de inglês traduzidos) quanto em dados reais não paralelos.

Principais Contribuições

• Corpus MCN: O lançamento de um dataset de CND de larga escala cobrindo 18 línguas, expandindo significativamente a cobertura linguística e de nível de recursos de datasets anteriores (ex: CitationNeeded, CheckThat).
• Benchmark SLM vs. LLM: Uma avaliação abrangente demonstrando que SLMs ajustados superam substancialmente LLMs via prompting em todos os níveis de recursos.
• Primeiro Estudo de CND Translingue: A primeira avaliação sistemática de CND translingue, mostrando que SLMs treinados em inglês podem transferir efetivamente para línguas de baixo recurso.
• Análise de Estratégia SFT: Identificação do ajuste fino do Estilo Encoder (ES) como a estratégia mais eficaz para adaptar modelos decodificadores para a tarefa discriminativa de CND.

Resultos

• Variantes de SFT: O ajuste fino do estilo encoder (ES) supera consistentemente as variantes generativas (FTL e TOL) na maioria das línguas e modelos, gerando ganhos de precisão de até 8 pontos percentuais sobre os métodos generativos.
• Desempenho dos Modelos: SLMs e PLMs ajustados superam significativamente LLMs via prompting. Por exemplo, SLMs ajustados alcançam 66–70% de precisão em línguas de baixo recurso, enquanto o melhor LLM (Gemini 2.5) alcança apenas ~59%.
• Transferência Translingue:
  • Em dados paralelos, SLMs ajustados exibem forte generalização zero-shot (até 87% de precisão).
  • Em dados reais não paralelos, a precisão cai aproximadamente 15–20 pontos percentuais, destacando o desafio dos desvios de distribuição.
  • Crucialmente, SLMs ajustados via ES treinados apenas em inglês superam LLMs via prompting em línguas alvo, mesmo com supervisão zero ou mínima da língua alvo.
• Adaptação Few-Shot: Embora o ajuste few-shot melhore o desempenho, ele requer um ajuste cuidadoso de hiperparâmetros (especificamente taxas de aprendizado mais baixas) para ser eficaz para SLMs via QLoRA. O mBERT beneficia-se mais do ajuste few-shot, mas os SLMs ajustados via ES ainda superam os LLMs com adaptação mínima.
• Generalizabilidade: Modelos treinados em Artigos de Destaque generalizam bem para artigos aleatórios da Wikipedia, com o desempenho permanecendo comparável após a correção de vieses de anotação em conteúdos não destacados.

Significância e Implicações
O artigo argumenta que modelos compactos e específicos para tarefas são preferíveis a LLMs de propósito geral para CND, particularmente para comunidades de baixa de recursos da Wikipedia. Os achados sugerem que:

1. Acessibilidade: Organizações com recursos limitados podem implantar ferramentas de CND eficazes usando modelos pequenos e de código aberto ajustados em línguas de alto recurso, contornando a necessidade de APIs caras de LLM ou grandes conjuntos de dados da língua alvo.
2. Eficiência: O ajuste fino do estilo encoder fornece um caminho confiável e de baixo custo para adaptar modelos baseados em decodificador para tarefas discriminativas.
3. Viabilidade de Implantação: A transferência translingue de modelos especializados treinados em inglês oferece uma estratégia viável para apoiar comunidades de baixos recursos, desde que as limitações de desvios de distribuição do mundo real sejam reconhecidas.

Os autores observam limitações, incluindo uma concentração em línguas indo-europeias, dependência de ajuste fino baseado em QLoRA e a natureza específica do domínio das políticas de citação da Wikipedia, que pode não se transferir diretamente para outros domínios de verificação de fatos, como debates políticos.