Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

Este estudio demuestra que los modelos de lenguaje preentrenados, incluso con instrucciones explícitas, tienen dificultades para distinguir entre préstamos lingüísticos y vocabulario nativo en 10 idiomas, lo que revela un sesgo hacia los préstamos y subraya la necesidad de mejorar las herramientas de PLN para la preservación de lenguas minoritarias.

Lo esencial

Imagina que las lenguas son como grandes mercados internacionales. Durante siglos, los idiomas han estado "comprando" palabras de otros idiomas, tal como un vecino te pide prestada una taza de azúcar o un chef adopta una receta extranjera. A estas palabras prestadas las llamamos préstamos lingüísticos (o loanwords).

Por ejemplo, en español, palabras como "fútbol", "bistec" o "chocolate" son préstamos que llegaron de otros lugares y ahora son parte de nuestra casa.

Este artículo de investigación se pregunta algo muy curioso: ¿Son los "cerebros digitales" (los modelos de lenguaje como el que usas ahora) buenos detectando estas palabras prestadas, o son "ciegos" a ellas?

Aquí tienes la explicación de lo que descubrieron, usando analogías sencillas:

1. El Problema: Los Robots no son "Puristas"

Los autores probaron varios modelos de inteligencia artificial (como Gemini, Llama y otros) con 10 idiomas diferentes. Les dijeron: "Oye, busca en esta frase qué palabras son extranjeras y cuáles son nativas".

El resultado fue decepcionante:
Imagina que le pides a un turista que identifique qué edificios de una ciudad son antiguos y cuáles son modernos. Si el turista es un robot, probablemente se confunda.

• Lo que pasó: Los modelos de lenguaje tuvieron mucha dificultad. A menudo, no podían distinguir entre una palabra que nació en ese idioma y una que llegó de fuera.
• La analogía: Es como si un robot viera una pizza y no supiera si la palabra "pizza" es italiana o si ya es parte de la cultura local. Para ellos, la distinción es borrosa.

2. La Prueba de Fuego: ¿Funciona si les damos un manual?

Los investigadores pensaron: "Quizás si les damos ejemplos o les explicamos mejor qué es un préstamo, lo entenderán".

• Zero-shot (Sin ayuda): Les dieron la orden sin ejemplos.
• Few-shot (Con ejemplos): Les mostraron dos frases de ejemplo antes de la prueba.
• Definiciones: Les dieron definiciones complejas sobre historia o uso cotidiano.

El resultado: Aunque les dieron "pistas" y ejemplos, los modelos siguieron fallando. Incluso los modelos más avanzados (como Gemini) apenas lograron un 46% de acierto (en una escala de 0 a 100). Es como si les dieras un mapa a un turista que no sabe leer y esperaras que encuentre la salida; el mapa no sirve de mucho si no entiende el idioma del mapa.

3. ¿Hay alguna solución? (El entrenamiento especial)

Entonces, los investigadores hicieron algo más: entrenaron a modelos más pequeños y específicos (como XLM-RoBERTa) usando miles de ejemplos de frases donde ya sabían qué palabras eran préstamos.

El resultado aquí fue mucho mejor:

• Estos modelos entrenados lograron un 85% de acierto.
• La analogía: Es la diferencia entre darle un mapa a un turista novato (modelo general) y entrenar a un guía local experto (modelo ajustado). El guía local sabe exactamente qué edificios son nuevos y cuáles son antiguos porque ha estudiado la historia de la ciudad.

4. ¿Por qué fallan tanto? (Los errores típicos)

El estudio encontró patrones divertidos en cómo se equivocan los robots:

• Confunden "cambio de código" con "préstamo":
  • Analogía: Si hablas español y de repente dices "OK", un robot piensa que "OK" es una palabra española prestada. Pero en realidad, es como si cambiaras de idioma a propósito (cambio de código). El robot no entiende la intención del hablante.
• Se asustan con los nombres propios:
  • Si ven "NASA" o "PISA", piensan que son palabras extranjeras porque suenan "raro" o tienen letras mayúsculas, aunque sean nombres de organizaciones.
• Se obsesionan con la etimología:
  • Si una palabra viene del griego o latín (como "filosofía"), el robot piensa: "¡Eso es extranjero!". Pero para un hablante nativo, esa palabra es tan española como "casa". El robot mira el pasado de la palabra, no cómo se usa hoy.

5. ¿Por qué importa esto?

Este estudio es importante por dos razones:

1. Para las lenguas minoritarias: Hay idiomas que están bajo presión de idiomas dominantes (como el inglés). Si queremos proteger esos idiomas y crear herramientas digitales para ellos, necesitamos saber qué palabras son nativas y cuáles son préstamos. Si los robots no pueden distinguirlos, no pueden ayudar a preservar la pureza o la historia de esas lenguas.
2. Para entender a los robots: Nos enseña que, aunque los modelos de lenguaje son muy inteligentes, no entienden la cultura ni la historia detrás de las palabras. Solo ven patrones visuales (cómo se escriben las letras), no el significado profundo.

En resumen

Los modelos de lenguaje actuales son como turistas que visitan un mercado de idiomas: ven muchas cosas, pero no saben distinguir qué es local y qué es importado. Necesitan un "entrenamiento local" (fine-tuning) para convertirse en guías expertos. Mientras tanto, no podemos confiar en ellos para proteger o analizar la historia de las palabras en comunidades lingüísticas pequeñas.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages", presentado en español:

1. El Problema

El préstamo léxico (la adopción de palabras de un idioma a otro) es un fenómeno universal en la historia de las lenguas. Sin embargo, identificar si una palabra es un préstamo o parte del vocabulario nativo es una tarea compleja, especialmente en comunidades bilingües donde las lenguas dominantes ejercen presión sobre las minoritarias.

El problema central que aborda este trabajo es la incapacidad de los modelos de lenguaje actuales (LLMs y modelos preentrenados) para distinguir entre préstamos léxicos y vocabulario nativo, a pesar de su capacidad para procesar múltiples idiomas. Mientras que los sistemas de PLN (Procesamiento del Lenguaje Natural) han mostrado un sesgo hacia la generación y comprensión de préstamos (preferiéndolos sobre las alternativas nativas), no se ha evaluado sistemáticamente si estos modelos pueden identificar explícitamente dichos préstamos cuando se les instruye para ello. Esta ceguera hacia los préstamos tiene implicaciones negativas para la preservación lingüística y el desarrollo de herramientas para lenguas minoritarias.

2. Metodología

Los autores evaluaron la capacidad de identificación de préstamos mediante dos enfoques complementarios utilizando el dataset ConLoan (un conjunto de datos contrastivo multilingüe con 10 idiomas: chino, francés, alemán, griego, islandés, italiano, kurdo del norte, portugués, ruso y español).

A. Evaluación de Grandes Modelos de Lenguaje (LLMs)

Se probaron tres modelos: Gemini-2.5-Flash-Lite, GPT-4.1 y Meta-Llama-3-8B-Instruct.

• Configuraciones: Se evaluaron en modo zero-shot (solo instrucciones) y few-shot (con dos ejemplos en el idioma objetivo).
• Variaciones de Prompt: Se probaron tres niveles de definición de "préstamo" para ver cómo el conocimiento interno del modelo afecta la tarea:
  1. Mínimo: Instrucción básica sin definición.
  2. Etimológico: Definición basada en el origen histórico (Haspelmath & Tadmor, 2009).
  3. Basado en el uso: Definición que distingue préstamos de cambios de código (code-switching), enfocándose en el uso convencional por hablantes monolingües.
• Métrica: Se utilizó el F1-score con dos protocolos: estricto (coincidencia exacta de span) y relajado (considerando variaciones en la tokenización de palabras compuestas).

B. Evaluación de Modelos Codificadores Multilingües

Se evaluaron cuatro modelos preentrenados: mBERT, XLM-RoBERTa (versiones base y grande) y ELECTRA-base multilingüe.

• Configuraciones:
  1. Zero-shot: Modelos congelados como extractores de características sin entrenamiento específico.
  2. Fine-tuning (Ajuste fino): Entrenamiento con una cabeza de clasificación de tokens en una división 80/20 de entrenamiento/prueba del dataset ConLoan.
• Tarea: Formulación como etiquetado de secuencia (BIO: Outside, Begin-LOAN, Inside-LOAN).

3. Contribuciones Clave

1. Evaluación Directa: Es el primer estudio que investiga sistemáticamente si los LLMs generales pueden identificar préstamos léxicos cuando se les pide explícitamente, abarcando 10 idiomas tipológicamente diversos.
2. Análisis de Fine-tuning: Demuestra, mediante análisis cuantitativo y cualitativo, cómo diferentes arquitecturas y estrategias de entrenamiento (fine-tuning) impactan en esta tarea específica.
3. Identificación de Sesgos y Fallos: Revela que, incluso con instrucciones explícitas y datos de entrenamiento, los modelos fallan consistentemente, mostrando una dependencia excesiva de pistas ortográficas y etimológicas en lugar de la integración sociolingüística real.

4. Resultados Principales

Rendimiento de los LLMs (Prompt-based)

• Bajo Rendimiento General: Todos los modelos obtuvieron puntuaciones F1 inferiores a 0.70 en todos los escenarios. El promedio general fue de 0.466 para Gemini (el mejor), seguido de OpenAI (0.41) y Llama (0.23).
• Efecto de los Prompts: Proporcionar definiciones más granulares (Prompt 3) no mejoró consistentemente los resultados; en algunos casos (especialmente con Llama), degradó el rendimiento debido a la confusión en el formato de salida.
• Variación por Idioma: Idiomas como chino, francés e italiano mostraron mejores resultados, mientras que alemán, islandés y portugués tuvieron los peores resultados, probablemente debido a su rica morfología y la alta integración de préstamos.

Rendimiento de Modelos Codificadores (Fine-tuning)

• Mejora Drástica con Fine-tuning: Los modelos sin ajustar (zero-shot) tuvieron un rendimiento casi nulo (F1 promedio < 0.02). Tras el ajuste fino, el rendimiento mejoró masivamente, alcanzando promedios entre 0.648 y 0.851.
• Mejor Modelo: XLM-RoBERTa-Large obtuvo el mejor resultado global (0.8513 de F1).
• Idiomas: Las lenguas romances (francés, italiano, español, portugués) alcanzaron los puntajes más altos (>0.8), mientras que idiomas como el chino e islandés mejoraron significativamente desde casi cero hasta >0.7 tras el ajuste.

Análisis Cualitativo de Errores

Los modelos cometen errores sistemáticos en tres áreas principales:

1. Confusión con Code-switching: Los modelos a menudo etiquetan cambios de código (uso momentáneo de una palabra extranjera) como préstamos integrados, y viceversa. No capturan la intención del hablante ni la asimilación sociolingüística.
2. Entidades Nombradas y Propios: Tienden a clasificar erróneamente nombres propios, acrónimos (ej. NASA) y entidades geográficas como préstamos debido a su apariencia ortográfica extranjera.
3. Vocabulario Científico/Técnico: Hay una tensión entre el origen etimológico y la integración actual. Los modelos ajustados a menudo no detectan términos técnicos (de raíz grecolatina) como préstamos porque parecen nativos, mientras que los LLMs a veces los sobre-etiquetan basándose solo en la etimología.

5. Significado e Implicaciones

• Limitaciones de los LLMs: Los modelos actuales son "ciegos al préstamo" en el sentido de que no pueden distinguir fiablemente entre vocabulario nativo y prestado sin un entrenamiento específico y exhaustivo.
• Sesgo de los Modelos: Los resultados corroboran la evidencia previa de que los sistemas de PLN tienen un sesgo hacia los préstamos, lo que puede acelerar la erosión de vocabulario nativo en lenguas minoritarias si las herramientas de IA no se corrigen.
• Necesidad de Fine-tuning: El preentrenamiento multilingüe no es suficiente para tareas de lingüística de contacto; se requiere un ajuste fino específico para capturar matices de integración léxica.
• Preservación Lingüística: Para desarrollar herramientas de preservación y educación lingüística efectivas, es crucial superar estas limitaciones actuales, ya que la identificación precisa de préstamos es fundamental para documentar la influencia léxica y apoyar el desarrollo de vocabulario nativo.

En conclusión, el artículo establece que la identificación de préstamos léxicos es una tarea lejos de estar resuelta para los modelos de lenguaje modernos, requiriendo enfoques más sofisticados que vayan más allá de las pistas superficiales (ortografía y etimología) para comprender la integración pragmática y sociolingüística de las palabras.