💬 NLP

Rashid: A Cipher-Based Framework for Exploring In-Context Language Learning

Este artículo presenta Rashid, un marco que cifra idiomas de alto recurso para simular idiomas desconocidos y permitir una evaluación exhaustiva y escalable del aprendizaje de lenguaje en contexto (ICLL) en tareas diversas, superando las limitaciones actuales de recursos y datos.

Autores originales: Niyati Bafna, Ryan Soh-Eun Shim, Barbara Plank, David Yarowsky, Hale Sirin

Publicado 2026-03-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Niyati Bafna, Ryan Soh-Eun Shim, Barbara Plank, David Yarowsky, Hale Sirin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres aprender a cocinar un plato exótico de una cultura que nunca has visitado. Tienes un libro de recetas, pero está escrito en un idioma que no entiendes, y no tienes ningún chef local que te ayude. Además, no tienes ingredientes reales para probar, ni puedes pedirle a alguien que te diga si el plato quedó bien. Es un callejón sin salida: quieres aprender, pero te faltan las herramientas y el contexto.

Así es como se sienten los investigadores de Inteligencia Artificial cuando intentan enseñar a sus modelos (como ChatGPT) a hablar idiomas que nunca han visto antes, como lenguas indígenas raras o dialectos olvidados. No tienen diccionarios, ni gramáticas, ni hablantes nativos para evaluar si el modelo lo está haciendo bien.

Aquí es donde entra "Rashid", el nuevo marco de trabajo presentado en este paper.

¿Qué es Rashid? La analogía del "Disfraz"

El nombre "Rashid" viene de una historia de Las Mil y Una Noches. El Califa Harún al-Rashid se disfrazaba de mendigo para caminar por las calles de Bagdad y entender los problemas reales de la gente sin que nadie supiera quién era él.

Los investigadores hicieron algo similar con la inteligencia artificial:

Toman un idioma que ya conocen muy bien (como el francés, el español o el alemán).
Le ponen un "disfraz": Usan un código secreto (un cifrado) para cambiar cada letra por otra. Por ejemplo, cambian todas las "A" por "Z", las "B" por "Q", etc.
Resultado: Ahora tienen un "idioma nuevo" que parece totalmente desconocido para la IA, pero que en realidad es solo el francés con una máscara puesta.

¿Por qué hacer esto? (El Laboratorio de Juguetes)

Normalmente, si quieres probar si una IA puede aprender un idioma raro, tienes que buscar datos reales, lo cual es caro, lento y difícil. Con Rashid, los investigadores crean un parque de pruebas infinito:

Tienen todos los juguetes: Como el idioma "disfrazado" es en realidad francés, los investigadores tienen acceso a diccionarios perfectos, libros de gramática y ejemplos de traducción.
Prueban estrategias: Pueden decirle a la IA: "Aquí tienes un diccionario", "Aquí tienes 3 ejemplos de frases", o "Aquí tienes una regla de gramática", y ver si la IA aprende a traducir o hablar ese "idioma nuevo".
Sin riesgos: Si la IA falla, no importa, porque pueden quitarle el disfraz (descifrar el código) y ver exactamente qué salió mal, algo imposible con idiomas reales donde nadie sabe la respuesta correcta.

¿Qué descubrieron? (Las lecciones de la cocina)

Usando este laboratorio, probaron varias formas de enseñar a la IA y descubrieron cosas muy interesantes:

Entender vs. Hablar: Es mucho más fácil para la IA leer y entender el idioma disfrazado (como si leyera un libro en un idioma que no conoce) que escribir en él.
- Analogía: Puedes entender que alguien te habla en japonés si te dan un diccionario, pero intentar hablar japonés tú mismo es un desastre. La IA entiende las palabras sueltas, pero no sabe cómo ordenarlas para formar una frase que tenga sentido.
El truco del "Primo": Cuando la IA intentaba hablar en el idioma nuevo (por ejemplo, del inglés al francés disfrazado), se le hacía un lío terrible con el orden de las palabras. Pero, si primero traducían el inglés a un "idioma primo" (como el español, que es similar al francés) y luego al idioma nuevo, ¡la IA lo hacía mucho mejor!
- Analogía: Es como si intentaras traducir un chiste de inglés a chino directamente y fallaras. Pero si primero lo traduces al español (que es más parecido al chino en estructura de frases en este caso) y luego al chino, el chiste funciona mejor.
La calidad sigue siendo baja: Aunque probaron diccionarios perfectos y reglas gramaticales, la IA seguía produciendo textos que, aunque tenían sentido lógico, eran de muy mala calidad para usar en la vida real.
- Analogía: Es como si un robot intentara pintar un cuadro siguiendo un manual de instrucciones. Tiene los colores correctos y el lienzo, pero el resultado final parece un garabato.

¿Por qué es importante?

Este trabajo no dice "ya sabemos cómo hablar todos los idiomas". Lo que dice es: "Tenemos un laboratorio seguro y barato para probar ideas antes de gastar millones en buscar hablantes reales de idiomas que nadie conoce".

Rashid es como un simulador de vuelo para los investigadores de idiomas. Les permite caer, chocar y aprender de sus errores sin que nadie se lastime, para que cuando finalmente intenten ayudar a comunidades reales con idiomas en peligro de extinción, tengan una estrategia mucho mejor y más efectiva.

En resumen: Crearon un "idioma falso" disfrazado de idioma real para entrenar a la IA de forma segura, descubriendo que entender es fácil, pero hablar bien es muy difícil, y que usar un "idioma puente" ayuda mucho a mejorar.

1. El Problema: La Escasez de Recursos en el Aprendizaje de Lenguas In-Contexto (ICLL)

El aprendizaje de lenguaje en contexto (ICLL) con Grandes Modelos de Lenguaje (LLM) promete extender las capacidades de la IA a lenguas no vistas o extremadamente de bajos recursos. Sin embargo, el progreso en este campo está severamente limitado por la escasez de recursos:

Falta de herramientas de evaluación: No existen estrategias de evaluación de calidad (como expertos humanos o benchmarks estandarizados) para lenguas desconocidas.
Dificultad para la experimentación: Es costoso y lento desarrollar recursos (diccionarios, gramáticas, datos de entrenamiento) para probar nuevas estrategias en lenguas reales de bajos recursos.
Sesgo de capacidades previas: Los resultados en lenguas de bajos recursos reales a menudo se ven confusos por las capacidades preexistentes del modelo en esas lenguas específicas, dificultando el aislamiento del fenómeno de "aprendizaje desde cero".

2. Metodología: El Marco de Trabajo "Rashid"

Los autores introducen Rashid, un marco experimental que supera estas limitaciones mediante la creación de lenguajes artificiales "no vistos".

Cifrado Reversible: En lugar de usar lenguas reales desconocidas, el marco toma lenguas de alto recurso (HRL) y aplica un cifrado de sustitución monoalfabética reversible a nivel de caracteres.
- Se crea una permutación biyectiva ( $\chi$ ) del inventario de caracteres de la lengua original.
- Todo el texto (entradas, diccionarios, ejemplos, descripciones gramaticales) se cifra, creando un nuevo lenguaje (ej. "Gerestal" para el francés).
Preservación de Propiedades Lingüísticas: Aunque la superficie del texto cambia, el cifrado mantiene intactas las propiedades estructurales, morfosintácticas y semánticas subyacentes de la lengua original.
Ventaja Clave: Esto permite a los investigadores utilizar todas las herramientas NLP existentes (lematizadores, analizadores sintácticos, diccionarios masivos) de la lengua de alto recurso, pero aplicadas a un lenguaje que el modelo LLM considera completamente nuevo y desconocido.
Evaluación: Las salidas del modelo se pueden descifrar ( $\chi^{-1}$ ) de vuelta a la lengua original para una evaluación rigurosa utilizando métricas de estado del arte (xCOMET, GEMBA-MQM) y análisis manual.

3. Contribuciones Clave

El trabajo aporta tres líneas principales de investigación y hallazgos:

A. Evaluación del Estado del Arte en Traducción Automática (MT)

Se evaluaron estrategias actuales de ICLL para traducción (inglés $\to$ lengua cifrada y viceversa) utilizando diversos materiales en el prompt:

Resultados: Las estrategias actuales (diccionarios, ejemplos en contexto, descripciones gramaticales) muestran mejoras en la comprensión (traducción hacia el inglés), pero son ineficaces para la generación (traducción desde el inglés).
Calidad: La calidad de salida sigue siendo baja y inutilizable para ambos sentidos, muy por debajo del rendimiento de un modelo en una lengua conocida (topline).
Hallazgo: La generación requiere un dominio de patrones léxicos y sintácticos que los prompts actuales no logran transmitir suficientemente.

B. Exploración de Nuevas Direcciones

Utilizando el marco Rashid, se probaron dos estrategias avanzadas:

Cobertura de Léxico Casi Perfecta: Simular un diccionario que cubra todas las variantes morfológicas (usando Google Translate como proxy).
- Resultado: Mejora significativamente la comprensión, pero no resuelve los problemas de generación ni la traducción de modismos.
Uso de un Idioma Relacionado como Pivote (Cascada): Traducir primero del inglés a una lengua de alto recurso relacionada (ej. Inglés $\to$ $\to$ Francés $\to$ $\to$ Lengua Cifrada) en lugar de Inglés $\to$ $\to$ Lengua Cifrada.
- Resultado: Esta estrategia mejora drásticamente el orden de las palabras y la coherencia sintáctica, especialmente en lenguas con estructuras muy diferentes al inglés (como Hindi o Marathi). Sugiere que es más efectivo construir recursos paralelos entre lenguas relacionadas que entre inglés y lenguas de bajos recursos.

C. Evaluación en Tareas Más Allá de la Traducción

Se probaron estrategias en tareas de razonamiento (MMLU-ProX), implicación (XNLI) y continuación de historias (XStoryCloze).

Hallazgo: Proporcionar materiales lingüísticos detallados (gramática, POS) no mejora directamente el rendimiento en estas tareas.
Mejor Estrategia: El enfoque de cascada (Traducir a inglés primero $\to$ Resolver la tarea en inglés) superó consistentemente a la inferencia directa en la lengua cifrada, destacando la necesidad de explorar ICLL orientado a tareas específicas.

4. Resultados Cuantitativos y Cualitativos

Métricas: Se utilizaron métricas basadas en cadenas (chrF), semánticas (xCOMET) y basadas en LLM para detección de errores (GEMBA-MQM).
Análisis de Errores: Se identificó un esquema de fallos que incluye:
- Fallos de cobertura en materiales (palabras faltantes en diccionarios).
- Fallos del paradigma de enfoque (ignorancia de la sintaxis, incapacidad de manejar modismos, errores de concordancia verbal).
Limitación de los Modelos: Incluso con instrucciones explícitas paso a paso para descifrar, los LLM no logran romper el cifrado, lo que confirma que están aprendiendo el lenguaje "desde cero" y no adivinando el patrón de cifrado.

5. Significado e Impacto

Sandbox Experimental: Rashid proporciona un "sandbox" controlado y de bajo costo para experimentar con ICLL sin las barreras de la escasez de recursos reales.
Guía para la Creación de Recursos: Los hallazgos indican que la inversión en recursos para lenguas de bajos recursos debe priorizarse en materiales paralelos entre lenguas relacionadas y en cobertura léxica exhaustiva, más que en simples gramáticas o diccionarios aislados.
Complemento, no Sustituto: Los autores enfatizan que este marco no reemplaza los estudios en lenguas reales, sino que sirve para guiar y optimizar la creación de recursos costosos para esas lenguas, evitando experimentos ineficientes.
Ética: El uso de lenguas cifradas evita la explotación de comunidades lingüísticas marginadas durante la fase de investigación, aunque advierten sobre la necesidad de validar los hallazgos en lenguas reales antes de aplicarlos.

En resumen, el artículo demuestra que, aunque los LLM tienen un potencial limitado para aprender lenguas nuevas solo con prompts, el uso de un marco controlado como Rashid revela que la estructura de los datos de entrada (especialmente el uso de lenguas pivote relacionadas) es crítica para el éxito, y que la generación de lenguaje sigue siendo un desafío mayor que la comprensión.