Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models

Resumo Técnico: Os LLMs Sabem o Que o Luxemburguês Empresta? Sondando a Neologia Lexical em Modelos Multilíngues de Baixos Recursos

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais implantados para assistência à escrita em línguas de contato de pequeno porte como o luxemburguês. No entanto, permanece incerto se esses modelos respeitam as normas da comunidade relativas ao empréstimo lexical e à neologia (a criação de novas palavras). O luxemburguês existe numa zona de contato densa com o alemão, o francês e o inglês, onde o crescimento lexical moderno depende fortemente de empréstimos morfologicamente e ortograficamente adaptados, em vez de cunhagens endógenas. Os LLMs atuais, treinados em corpora multilíngues massivos, podem falhar em distinguir entre empréstimos integrados legítimos, alternância de código (code-switching) e vocabulário nativo, potencialmente tratando formas adaptadas como erros ou normalizando-as de volta às línguas doadoras. Este estudo investiga se LLMs multilíngues prontos para uso podem identificar corretamente palavras nativas luxemburguesas versus empréstimos do francês, alemão ou inglês, e se conseguem detectar inovação lexical.

Metodologia
Os autores introduzem o LexNeo-Bench, um benchmark ao nível de tokens derivado do LuxBorrow, um corpus de grande escala de notícias luxemburguesas editadas profissionalmente (RTL, 1999–2025). O benchmark consiste em 3.050 instâncias onde os tokens-alvo são rotulados como NATIVE (NATIVO), FR_LOAN (Empréstimo Francês), DE_LOAN (Empréstimo Alemão) ou EN_LOAN (Empréstimo Inglês). Note-se que EN_LOAN é utilizado como um distrator diagnóstico nos prompts, mas é excluído do conjunto de avaliação devido à baixa frequência.

O estudo avalia três LLMs multilíngues ajustados por instrução (Gemma 3 12B, Gemma 3 27B e Llama 3.3 70B) num cenário congelado, apenas com prompts, através de 34 configurações. A avaliação foca-se em duas tarefas:

1. Classificação de Empréstimo: Uma tarefa de classificação de quatro vias (NATIVO, FR_LOAN, DE_LOAN, EN_LOAN).
2. Detecção de Neologia: Uma tarefa binária que determina se um token representa uma inovação lexical (empréstimo) ou um item nativo.

Para abordar as limitações do conhecimento paramétrico, os autores constroem um Grafo de Conhecimento Linguístico (LKG) integrando padrões morfológicos, um léxico de empréstimos do Lëtzebuerger Online Dictionnaire (LOD) e pares de sinónimos. Comparam várias estratégias de prompting:

• Zero-shot: Instruções padrão sem contexto.
• Few-shot: Instruções com cinco exemplos manualmente curados.
• KG_flat: Uma lista global de 19 padrões morfológicos produtivos anexada a cada prompt.
• KG_graph: Um subgrafo específico da instância recuperado do LKG, contendo etimologia específica do token, metadados da língua doadora, análogos e padrões contrastivos.

Principais Contribuições

1. LexNeo-Bench: O primeiro benchmark ao nível de tokens para classificação de empréstimos no luxemburguês, derivado de um corpus diacrónico de notícias, com scripts públicos para extração e avaliação.
2. Tarefa Proxy de Neologia: A introdução de uma tarefa binária de inovação lexical para sondar a consciência dos LLMs sobre neologia, revelando que esta tarefa permanece desafiadora mesmo para modelos fortes.
3. Prompting Consciente do Léxico: Demonstração de que a injeção de recursos lexicais estruturados e curados pela comunidade (via grafos de conhecimento) melhora significativamente o desempenho dos LLMs em contextos de contato de baixos recursos, oferecendo uma via concreta para integrar recursos lexicais nos fluxos de trabalho de LLMs.

Resultados

• Desempenho de Linha de Base: Sem contexto externo, os LLMs performam apenas ligeiramente acima do acaso (24,5% – 34,7% de precisão) na classificação de empréstimos, indicando que o conhecimento paramétrico isolado é insuficiente para distinguir empréstimos adaptados no luxemburguês.
• Impacto dos Grafos de Conhecimento: A estratégia de prompting KG_graph melhora dramaticamente o desempenho, elevando a precisão para 71,3% – 81,0%. Esta melhoria é atribuída à recuperação específica da instância e não à mera presença de listas globais de padrões (o KG_flat performou de forma semelhante às linhas de base sem LKG).
• Escala do Modelo e Viés: Contrariamente às expectativas, o modelo mais pequeno (Gemma 3 12B) alcançou a maior precisão (81,0%) sob KG_graph, superando os modelos de 27B e 70B. Modelos maiores exibiram um viés para sobre-predizer empréstimos alemães (DE_LOAN) e lutaram para identificar palavras nativas quando a evidência do grafo estava incompleta, sugerindo priores internos mais fortes para línguas doadoras que conflituam com evidências contextuais.
• Viés da Língua Dadora: Os modelos mostraram um viés sistemático para origens alemãs, classificando erroneamente empréstimos franceses como alemães numa taxa 4,6 vezes superior à inversa. Também previram frequentemente EN_LOAN para tokens nativos em configurações zero-shot, um viés suprimido pelo prompting KG_graph.
• Detecção de Neologia: Ao contrário da classificação de empréstimos, a tarefa de detecção de neologia não beneficiou do prompting KG_graph; de facto, o desempenho degradou. O prompting few-shot permaneceu a estratégia mais eficaz para esta tarefa. Os autores atribuem isto ao facto de o LKG codificar informações de origem estrutural (dadora, morfologia) e não sinais diacrónicos (recenticidade, primeira atestação) necessários para definir "neologia".
• Binário vs. Multiclasse: Distinguir palavras nativas de qualquer empréstimo foi mais fácil (85,5% de precisão para o 12B) do que distinguir a língua doadora específica, indicando que a principal dificuldade reside em separar empréstimos franceses de alemães numa zona de contato densa.

Significado e Alegações
O artigo afirma que, para línguas de contato de baixos recursos, o prompting consciente do léxico é essencial para julgamentos robustos de empréstimos. O estudo demonstra que o contexto linguístico estruturado pode compensar parcialmente dados de pré-treinamento esparsos, permitindo que até modelos mais pequenos superem modelos maiores quando fornecidos com evidências específicas da instância. No entanto, os autores notam modestamente que, embora o contexto estrutural ajude a identificar de onde uma palavra vem, não resolve questões diacrónicas sobre quando uma palavra entrou na língua, limitando a sua utilidade para a detecção de neologia sem sinais temporais explícitos.

O trabalho contribui para a Ação COST ENEOLI ao tratar o empréstimo como uma forma de inovação lexical e fornecer um quadro para avaliar como os LLMs multilíngues analisam tais formas. Os autores enfatizam que estes recursos são ferramentas descritivas para estudar fenómenos de contato e testar modelos sob stress, e não padrões prescritivos para o uso "correto" da língua. As limitações incluem a dependência de uma única fonte de notícias (sub-representando registos informais) e o uso de pipelines de anotação automática. Propõe-se trabalho futuro para estender o benchmark a outros géneros e integrar sinais diacrónicos explícitos.