Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

Este artigo avalia a capacidade de modelos de linguagem pré-treinados em identificar empréstimos linguísticos em 10 idiomas e conclui que, mesmo com instruções explícitas, eles falham em distinguir essas palavras do vocabulário nativo, demonstrando um viés em favor dos empréstimos e levantando preocupações para ferramentas de NLP em línguas minoritárias.

O essencial

Imagine que as línguas são como grandes cozinhas. Ao longo da história, os cozinheiros de uma cultura (a língua de origem) emprestam receitas e ingredientes para os cozinheiros de outra cultura (a língua que recebe). Com o tempo, alguns desses ingredientes estrangeiros são tão bem usados que se tornam parte do cardápio diário, como se sempre tivessem pertencido àquela cozinha. Esses são os empréstimos linguísticos (ou loanwords).

O artigo que você pediu para explicar investiga uma pergunta curiosa: Os "robôs de linguagem" (Inteligências Artificiais) conseguem perceber a diferença entre um ingrediente que nasceu na cozinha local e um que foi emprestado de outra?

Aqui está a explicação do estudo, traduzida para o dia a dia:

1. O Problema: Os Robôs são "Cegos" para a Origem

Os autores do estudo pegaram vários modelos de Inteligência Artificial (como o Gemini, o GPT e o Llama) e deram a eles uma tarefa simples: "Olhe para esta frase e aponte quais palavras vieram de outra língua".

Eles testaram isso em 10 línguas diferentes, desde o Chinês e Russo até o Islandês e o Curdo do Norte.

O Resultado Surpreendente:
Os robôs falharam miseravelmente. Mesmo quando os pesquisadores deram instruções claras e exemplos, os modelos não conseguiam distinguir o que era "nativo" do que era "emprestado".

• A Analogia: É como se você desse a um robô uma sopa mista e pedisse para ele separar o sal que nasceu na terra local do sal que foi importado. O robô, em vez de olhar a origem, apenas diz: "Hmm, tudo parece sal". Eles tendem a achar que tudo é nativo ou confundem as coisas.

2. Por que eles falham? (Os "Cegos" da Linguagem)

O estudo descobriu três grandes motivos pelos quais esses robôs têm dificuldade:

• Confusão entre "Turista" e "Imigrante":
  • O que acontece: Às vezes, alguém fala uma palavra em inglês no meio de uma frase em português (como dizer "O meeting foi ótimo"). Isso é uma troca de código (code-switching), como um turista passando rápido.
  • O erro do robô: O robô muitas vezes acha que essa palavra de turista é um "imigrante" que já se naturalizou (um empréstimo), ou vice-versa. Eles não entendem a intenção de quem fala.
• O Fim do "Nome Próprio":
  • O que acontece: Nomes de lugares, marcas ou siglas (como NASA, PISA, Jazz) parecem estrangeiros porque soam diferentes.
  • O erro do robô: O robô aponta o dedo para essas palavras e diz: "Isso é estrangeiro!". Mas, na verdade, são nomes próprios que já fazem parte da cultura local. O robô olha apenas para a "roupa" (a escrita) e não para a "identidade" (o significado).
• A "Ciência" Confusa:
  • O que acontece: Palavras científicas (como "nitrato" ou "filosofia") muitas vezes vêm do latim ou grego. Elas são antigas e já estão totalmente integradas.
  • O erro do robô: Alguns robôs, ao verem a raiz latina, acham que é uma palavra nova e emprestada. Outros acham que é nativa. Eles não conseguem entender a história complexa de como uma palavra envelhece e se torna "nossa".

3. A Solução Parcial: Treinamento Específico

Os pesquisadores tentaram uma segunda abordagem: em vez de apenas pedir para o robô adivinhar (como um teste de "zero-shot"), eles treinaram os robôs com exemplos específicos, como um professor ensinando um aluno.

• O Resultado: Funcionou muito melhor! Os modelos treinados conseguiram identificar os empréstimos com uma precisão de até 85% em algumas línguas.
• O Limitação: Mesmo treinados, eles ainda cometem erros. Eles continuam dependendo demais de como a palavra é escrita (ortografia) e não conseguem entender o contexto social ou a intenção do falante. É como um aluno que decora a lista de palavras, mas não entende a história por trás delas.

4. Por que isso importa?

Você pode estar pensando: "E daí? É só uma palavra". Mas isso é crucial para:

• Línguas Minoritárias: Em comunidades onde uma língua forte (como o inglês) está "invadindo" uma língua local, identificar quais palavras são nativas ajuda a preservar a cultura e a ensinar as novas gerações a valorizar sua própria língua.
• Ferramentas Justas: Se os robôs de tradução ou correção de texto preferem sempre as palavras "emprestadas" (geralmente em inglês) em vez das nativas, eles podem apagar a riqueza cultural de línguas menores.

Conclusão em uma Frase

Os modelos de linguagem atuais são como turistas que visitam uma cidade e acham que tudo o que veem é local, sem conseguir distinguir o que é tradição antiga do que é influência recente. Eles precisam de muito mais do que apenas "ler" palavras; precisam entender a história e a cultura por trás delas para não serem "cegos" à diversidade linguística.

Resumo técnico

1. Problema e Contexto

O empréstimo lexical (loanwords) é um fenômeno linguístico universal onde palavras são adotadas de uma língua para outra. Embora a identificação de empréstimos seja crucial para a preservação linguística, a educação e o processamento de linguagem natural (PLN), os modelos de linguagem atuais demonstram uma tendência sistemática a favorecer empréstimos em detrimento de equivalentes nativos.

O problema central investigado é: Os modelos de linguagem pré-treinados (LLMs) e modelos codificadores multilíngues possuem a capacidade de identificar corretamente palavras emprestadas quando instruídos explicitamente a fazê-lo? A literatura anterior focou em detecção baseada em listas de palavras ou em pares de idiomas específicos, mas faltava uma avaliação sistemática sobre a capacidade de discriminação entre vocabulário nativo e emprestado em modelos modernos de grande escala.

2. Metodologia

Os autores utilizaram o dataset ConLoan, um conjunto de dados contrastivo multilíngue que fornece anotações em nível de sentença para 10 idiomas tipologicamente diversos (Chinês, Francês, Alemão, Grego, Islandês, Italiano, Curdo do Norte, Português, Russo e Espanhol).

A avaliação foi conduzida através de duas abordagens complementares:

• Avaliação de LLMs (Prompting):

  • Modelos Testados: Gemini-2.5-Flash-Lite, GPT-4.1 (OpenAI) e Meta-Llama-3-8B-Instruct.
  • Configurações: Zero-shot (apenas instruções) e Few-shot (com dois exemplos no idioma alvo).
  • Variações de Prompt: Três níveis de definição de "empréstimo" foram testados:
    1. Minimal: Instrução básica sem definição.
    2. Etimológico: Baseado na definição histórica de Haspelmath e Tadmor (2009).
    3. Baseado no Uso: Foca no uso convencional por monolíngues, distinguindo empréstimos de code-switching (alternância de código).
  • Tarefa: Identificação de spans de empréstimos usando o esquema de rotulagem BIO (Begin, Inside, Outside).

• Avaliação de Modelos Codificadores (Fine-tuning):

  • Modelos Testados: mBERT, XLM-RoBERTa (base e large) e ELECTRA-base multilíngue.
  • Configurações:
    • Zero-shot: Modelos congelados como extratores de características, com regras determinísticas para mapear estados ocultos para tags.
    • Fine-tuned: Ajuste fino com uma cabeça de classificação de tokens em uma divisão 80/20 (treino/teste) do ConLoan.

• Métricas: Precisão, Recall e F1-score calculados no nível de entidade (span) usando a biblioteca seqeval, com protocolos de avaliação "Strict" (correspondência exata) e "Relaxed" (considerando tokens individuais de spans multi-palavras).

3. Contribuições Principais

1. Investigação Direta da Capacidade de Identificação: O estudo demonstra que LLMs de propósito geral falham consistentemente em distinguir vocabulário emprestado de nativo, mesmo com instruções explícitas e contexto.
2. Análise de Arquiteturas e Treinamento: O trabalho compara o desempenho de modelos via prompting versus fine-tuning, mostrando que, embora o ajuste fino melhore drasticamente os resultados, a tarefa permanece desafiadora e não totalmente resolvida.
3. Identificação de Viés Sistemático: Confirma que os sistemas de PLN modernos exibem um viés de "cegueira" para empréstimos, preferindo-os em tarefas de geração e compreensão, e falham em entender a integração sociolinguística das palavras.

4. Resultados Chave

• Desempenho de LLMs (Prompting):

  • O desempenho geral foi baixo, com pontuações F1 médias abaixo de 0,50 em todas as configurações.
  • O Gemini teve o melhor desempenho geral (F1 médio de 0,466), seguido pelo OpenAI (0,410) e Llama (0,231).
  • O uso de few-shot teve efeitos mistos; em alguns casos melhorou o recall, mas no Prompt 3 (definição baseada no uso), o desempenho caiu.
  • O modelo Llama apresentou uma anomalia onde o few-shot fez o F1 cair quase a zero devido a falhas na formatação da saída (quebra da estrutura de lista exigida).
  • Idiomas como Chinês, Francês e Italiano tiveram melhores resultados, enquanto Alemão, Islandês e Português tiveram os piores, possivelmente devido à morfologia rica e integração dos empréstimos.

• Desempenho de Modelos Codificadores (Fine-tuning):

  • Os modelos zero-shot (não ajustados) performaram extremamente mal (F1 médio < 0,02).
  • O Fine-tuning resultou em melhorias drásticas. O modelo XLM-RoBERTa Large alcançou o melhor desempenho global com um F1 de 0,8513.
  • Idiomas românicos (Francês, Italiano, Espanhol, Português) atingiram consistentemente F1 > 0,80 após o ajuste fino.

• Análise de Erros (Qualitativa):

  • Code-switching vs. Empréstimo: Modelos confundem frequentemente code-switching (ex: uso de "really" em Curdo) com empréstimos, e vice-versa.
  • Entidades Nomeadas: Nomes próprios e acrônimos (ex: "NASA", "PISA") são frequentemente classificados erroneamente como empréstimos devido a similaridades ortográficas.
  • Vocabulário Científico/Técnico: Termos de origem greco-latina (ex: "filosofia", "nitratos") são mal classificados; modelos ajustados tendem a subdetectá-los (achando que são nativos), enquanto LLMs tendem a superdetectá-los baseados apenas na etimologia.

5. Significado e Conclusão

O estudo conclui que os modelos de linguagem atuais são, essencialmente, "cegos" para a distinção entre empréstimos e vocabulário nativo quando não são especificamente treinados para essa tarefa.

• Implicações para NLP: A detecção de empréstimos não é uma tarefa trivial resolvida por modelos de propósito geral. O viés em direção a empréstimos pode prejudicar o desenvolvimento de ferramentas para línguas minoritárias e a preservação linguística.
• Recomendações: O ajuste fino é essencial para tarefas de identificação de empréstimos, mas mesmo modelos ajustados falham em nuances sociolinguísticas (como a intenção do falante e o grau de assimilação).
• Futuro: Trabalhos futuros devem focar em tarefas de identificação mais granulares, considerando o continuum de integração lexical e o contexto pragmático, além de criar modelos controlados que substituam automaticamente empréstimos por equivalentes nativos para análise.

Em suma, embora o fine-tuning possa levar a modelos com alta precisão técnica (F1 > 0,85), a compreensão profunda da natureza sociolinguística do empréstimo lexical permanece uma fronteira desafiadora para a inteligência artificial.