Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models

Resumen Técnico: ¿Saben los LLM qué préstamos utiliza el luxemburgués? Sondeando la neología léxica en modelos multilingües de recursos limitados

Planteamiento del Problema
Los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más para la asistencia en la escritura en lenguas de contacto minoritarias como el luxemburgués. Sin embargo, sigue sin estar claro si estos modelos respetan las normas comunitarias en cuanto a la adopción de préstamos léxicos y la neología (la creación de nuevas palabras). El luxemburgués existe en una zona de contacto densa con el alemán, el francés y el inglés, donde el crecimiento léxico moderno depende en gran medida de préstamos adaptados morfológica y ortográficamente, en lugar de neologismos endógenos. Los LLM actuales, entrenados en corpus multilingües masivos, podrían no distinguir entre préstamos integrados legítimos, el cambio de código y el vocabulario nativo, tratando potencialmente las formas adaptadas como errores o normalizándolas hacia las lenguas donantes. Este estudio investiga si los LLM multilingües comerciales pueden identificar correctamente las palabras nativas del luxemburgués frente a préstamos del francés, el alemán o el inglés, y si pueden detectar la innovación léxica.

Metodología
Los autores presentan LexNeo-Bench, una evaluación a nivel de token derivada de LuxBorrow, un corpus a gran escala de noticias luxemburguesas editadas profesionalmente (RTL, 1999–2025). La evaluación consta de 3.050 instancias donde los tokens objetivo se etiquetan como NATIVE (NATIVO), FR_LOAN (PRÉSTAMO FRANCÉS), DE_LOAN (PRÉSTAMO ALEMÁN) o EN_LOAN (PRÉSTAMO INGLÉS). Cabe señalar que EN_LOAN se utiliza como distractor diagnóstico en los prompts, pero se excluye del conjunto de evaluación debido a su baja frecuencia.

El estudio evalúa tres LLM multilingües ajustados con instrucciones (Gemma 3 12B, Gemma 3 27B y Llama 3.3 70B) en un entorno congelado, solo con prompts, a través de 34 configuraciones. La evaluación se centra en dos tareas:

1. Clasificación de Préstamos: Una tarea de clasificación de cuatro vías (NATIVO, PRÉSTAMO FRANCÉS, PRÉSTAMO ALEMÁN, PRÉSTAMO INGLÉS).
2. Detección de Neología: Una tarea binaria que determina si un token representa una innovación léxica (préstamo) o un elemento nativo.

Para abordar las limitaciones del conocimiento paramétrico, los autores construyen un Grafo de Conocimiento Lingüístico (LKG) que integra patrones morfológicos, un léxico de préstamos del Lëtzebuerger Online Dictionnaire (LOD) y pares de sinónimos. Comparan varias estrategias de prompting:

• Zero-shot: Instrucciones estándar sin contexto.
• Few-shot: Instrucciones con cinco ejemplos curados manualmente.
• KG_flat: Una lista global de 19 patrones morfológicos productivos añadida a cada prompt.
• KG_graph: Un subgrafo específico de la instancia recuperado del LKG, que contiene etimología específica del token, metadatos del donante, análogos y patrones contrastivos.

Contribuciones Clave

1. LexNeo-Bench: La primera evaluación a nivel de token para la clasificación de préstamos en luxemburgués, derivada de un corpus de noticias diacrónico, con scripts públicos para la extracción y evaluación.
2. Tarea Proxy de Neología: La introducción de una tarea binaria de innovación léxica para sondear la conciencia de los LLM sobre la neología, revelando que esta tarea sigue siendo desafiante incluso para modelos potentes.
3. Prompting Consciente del Léxico: Demostración de que inyectar recursos léxicos estructurados y curados por la comunidad (mediante grafos de conocimiento) mejora significativamente el rendimiento de los LLM en entornos de contacto con recursos limitados, ofreciendo una vía concreta para integrar recursos léxicos en los flujos de trabajo de los LLM.

Resultados

• Rendimiento de Línea Base: Sin contexto externo, los LLM obtienen un rendimiento apenas superior al azar (24,5% – 34,7% de precisión) en la clasificación de préstamos, lo que indica que el conocimiento paramétrico por sí solo es insuficiente para distinguir préstamos adaptados en luxemburgués.
• Impacto de los Grafos de Conocimiento: La estrategia de prompting KG_graph mejora drásticamente el rendimiento, elevando la precisión al 71,3% – 81,0%. Esta mejora se atribuye a la recuperación específica de la instancia y no a la mera presencia de listas globales de patrones (KG_flat rindió de manera similar a las líneas base sin KG).
• Escala del Modelo y Sesgo: Contrariamente a lo esperado, el modelo más pequeño (Gemma 3 12B) logró la precisión más alta (81,0%) bajo KG_graph, superando a los modelos de 27B y 70B. Los modelos más grandes mostraron un sesgo hacia la sobreestimación de préstamos alemanes (DE_LOAN) y tuvieron dificultades para identificar palabras nativas cuando la evidencia del grafo era incompleta, lo que sugiere priores internos más fuertes para las lenguas donantes que entran en conflicto con la evidencia contextual.
• Sesgo del Donante: Los modelos mostraron un sesgo sistemático hacia orígenes alemanes, clasificando incorrectamente préstamos franceses como alemanes a una tasa 4,6 veces mayor que la inversa. También predijeron frecuentemente EN_LOAN para tokens nativos en configuraciones zero-shot, un sesgo suprimido por el prompting KG_graph.
• Detección de Neología: A diferencia de la clasificación de préstamos, la tarea de detección de neología no se benefició del prompting KG_graph; de hecho, el rendimiento se degradó. El prompting few-shot siguió siendo la estrategia más efectiva para esta tarea. Los autores atribuyen esto a que el LKG codifica información de origen estructural (donante, morfología) en lugar de señales diacrónicas (recencia, primera atestación) necesarias para definir "neología".
• Binario vs. Multiclase: Distinguir palabras nativas de cualquier préstamo fue más fácil (85,5% de precisión para 12B) que distinguir la lengua donante específica, lo que indica que la principal dificultad radica en separar préstamos franceses de alemanes en una zona de contacto densa.

Significado y Afirmaciones
El artículo afirma que, para lenguas de contacto con recursos limitados, el prompting consciente del léxico es esencial para juicios robustos sobre préstamos. El estudio demuestra que el contexto lingüístico estructurado puede compensar parcialmente los datos de preentrenamiento escasos, permitiendo que incluso modelos más pequeños superen a los más grandes cuando se les proporciona evidencia específica de la instancia. Sin embargo, los autores notan modestamente que, aunque el contexto estructural ayuda a identificar de dónde proviene una palabra, no resuelve preguntas diacrónicas sobre cuándo una palabra entró en la lengua, limitando su utilidad para la detección de neología sin señales temporales explícitas.

El trabajo contribuye a la Acción COST ENEOLI al tratar el préstamo como una forma de innovación léxica y proporcionar un marco para evaluar cómo los LLM multilingües analizan tales formas. Los autores enfatizan que estos recursos son herramientas descriptivas para estudiar fenómenos de contacto y someter a prueba los modelos, no estándares prescriptivos para el uso "correcto" del lenguaje. Las limitaciones incluyen la dependencia de una única fuente de noticias (subrepresentando registros informales) y el uso de pipelines de anotación automática. Se propone trabajo futuro para extender la evaluación a otros géneros e integrar señales diacrónicas explícitas.