Conditioning LLMs to Generate Code-Switched Text

Este trabajo propone un marco de trabajo que utiliza la retrotraducción y el ajuste fino para capacitar a los modelos de lenguaje grandes (LLM) para generar texto con cambio de código de alta calidad entre inglés y español, demostrando que las métricas basadas en LLM se alinean mejor con la preferencia humana que las métricas tradicionales.

Lo esencial

¡Hola! Imagina que el lenguaje es como una gran fiesta donde la gente se mezcla. A veces, en una misma conversación, una persona salta del inglés al español (o viceversa) sin pensarlo dos veces. A esto los lingüistas lo llaman "cambio de código" (code-switching). Es algo muy natural para millones de personas, pero para las Inteligencias Artificiales (IA) es como intentar bailar salsa con botas de nieve: se les atascan los pies.

Este paper es como un manual de instrucciones para enseñar a esas IAs a bailar salsa perfectamente. Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: Las IAs son "monolingües" por defecto

Imagina que tienes un chef muy famoso (una IA grande) que sabe cocinar platos increíbles, pero solo sabe cocinar en inglés. Si le pides que te haga un plato "mixto" (con ingredientes en inglés y español), el chef se confunde. O te da todo en inglés, o todo en español, o mezcla los ingredientes de forma extraña (como poner sal en el postre).

El problema es que no hay muchos libros de recetas con platos mixtos para que el chef aprenda. La mayoría de los datos que tiene la IA son recetas puramente en inglés o puramente en español.

2. La Solución: El "Truco del Traductor Inverso"

Los autores se dieron cuenta de algo curioso: aunque la IA es mala creando platos mixtos, es muy buena desmontándolos. Si le das un plato mixto (inglés-español), ella puede decirte: "Ah, esto es lo que sería si solo fuera inglés".

Así que idearon un plan de tres pasos, como si fueran detectives:

• Paso 1: Recolectar las pruebas. Cogieron miles de frases reales de redes sociales donde la gente ya habla mezclando idiomas.
• Paso 2: El "Traductor Inverso". Usaron una IA muy potente (como un traductor experto) para tomar esas frases mixtas y convertirlas solo a inglés.
  • Ejemplo:
    • Frase original (Mixta): "Why make everybody sentarse atrás pa' que everybody has to move..."
    • Versión "limpia" (Inglés): "Why make everybody sit at the back so that everybody has to move..."
• Paso 3: Entrenar al Chef. Ahora tienen un par perfecto: "Frases en inglés" <-> "Frases mixtas". Usaron estos pares para "entrenar" (darle clases particulares) a una IA más pequeña. Le dijeron: "Mira, cuando te doy esta frase en inglés, quiero que me devuelvas esta otra frase mezclada".

El resultado fue un nuevo dataset (un libro de recetas) llamado EN-CS, que sirve para enseñar a las IAs a hablar como los humanos bilingües.

3. La Prueba de Fuego: ¿Quién lo hace mejor?

Después de entrenar a sus IAs, quisieron ver quién era el mejor. Pusieron a prueba a varios "cocineros":

• IAs gigantes sin entrenamiento: (Como GPT-4 o Llama 3 gigante) que intentan adivinar la respuesta solo con un par de ejemplos.
• IAs entrenadas: Las que recibieron las "clases particulares" con el nuevo dataset.
• IAs especializadas: Modelos hechos solo para traducir.

El veredicto:
¡Ganaron las IAs entrenadas!
Las IAs gigantes que no fueron entrenadas seguían fallando: o hablaban solo en inglés o hacían mezclas raras. Las IAs entrenadas, aunque eran más pequeñas, sabían exactamente cuándo cambiar de idioma y cómo hacerlo sonar natural. Fue como si un chef local, que ha practicado mucho, le ganara a un chef estrella que nunca ha cocinado ese plato específico.

4. El Problema de los "Jueces" (Cómo medimos el éxito)

Aquí viene la parte más divertida y frustrante. ¿Cómo sabemos si la IA lo hizo bien?

• Los Jueces Humanos: Personas reales leyeron las frases y dijeron: "¡Esta suena natural! ¡Esta otra es un desastre!".
• Los Jueces de Computadora (Métricas): Son programas automáticos que comparan la frase de la IA con una frase de ejemplo y le dan una nota matemática (como un 8.5 o un 9.0).

La sorpresa: Los jueces de computadora se equivocaron.
Dieron notas altas a las frases que eran aburridas y solo en inglés, porque matemáticamente se parecían mucho al ejemplo. Pero los humanos dijeron: "Eso no es lo que pedimos, queremos mezcla".
Incluso usar a una IA gigante (GPT-4) como juez fue mejor, pero no perfecto. A veces, la IA juez prefería frases que sonaban bien pero que no tenían mezcla de idiomas.

Conclusión: ¿Qué aprendimos?

1. El entrenamiento es clave: Si quieres que una IA hable como un humano bilingüe, no basta con darle un "empujón" (prompt); hay que entrenarla con ejemplos reales de mezcla.
2. Las reglas matemáticas fallan: Las herramientas que usamos para medir la calidad de los textos mezclados no entienden la "magia" del cambio de código. Necesitamos nuevos jueces que entiendan la cultura y la naturalidad, no solo las matemáticas.
3. El futuro: Ahora tenemos las herramientas y los datos para que las IAs puedan hablar como nosotros, mezclando idiomas de forma fluida, lo cual es un gran paso para que la tecnología sea más inclusiva y real.

En resumen: Enseñaron a las IAs a hablar "Spanglish" (o inglés-español) dándoles ejemplos de cómo desmontar esas frases, y descubrieron que los métodos tradicionales para calificarlas no servían de nada porque no entendían la esencia de la mezcla.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Conditioning LLMs to Generate Code-Switched Text" en español:

1. El Problema

El cambio de código (Code-Switching o CS) es un fenómeno lingüístico común donde se mezclan dos o más idiomas en un mismo enunciado. A pesar de su prevalencia en comunidades bilingües y en redes sociales, la Investigación en Procesamiento del Lenguaje Natural (PLN) ha avanzado poco en este ámbito debido a:

• Falta de datos: Escasez de conjuntos de datos grandes y diversos para el entrenamiento y evaluación robusta.
• Limitaciones de los modelos: Incluso los modelos de lenguaje grandes (LLMs) multilingües actuales tienen un rendimiento pobre al generar texto con cambio de código natural, a menudo produciendo textos monolingües o mezclas antinaturales.
• Evaluación deficiente: Las métricas automáticas tradicionales (como BLEU) no capturan las sutilezas del CS y tienen una baja correlación con el juicio humano.

2. Metodología Propuesta

Los autores proponen un marco de trabajo para generar texto con cambio de código (CS) a partir de texto monolingüe, utilizando el par de idiomas Inglés-Español. La metodología se basa en tres pilares:

A. Creación del Corpus Paralelo Sintético (EN-CS)

Dado que no existen pares paralelos de alta calidad (Inglés $\leftrightarrow$ CS) para entrenamiento supervisado, crearon el corpus EN-CS:

1. Fuente: Utilizaron el benchmark LINCE (datos reales de CS de redes sociales).
2. Retrotraducción (Back-translation): Emplearon el modelo Command R (Cohere) para traducir las instancias de CS originales a inglés monolingüe. Esto es posible porque los LLMs son más competentes traduciendo de CS a monolingüe que viceversa.
3. Filtrado y Post-edición: Se filtraron oraciones que no eran verdaderas mezclas (solo préstamos léxicos) y se realizó una post-edición manual de un subconjunto de datos para crear un "Gold Standard" (conjunto de prueba de alta calidad).
4. Resultado: Un corpus paralelo sintético de ~10k instancias de entrenamiento y 1k de prueba (Gold).

B. Entrenamiento y Ajuste Fino (Fine-Tuning)

• Modelos: Se ajustaron finamente (fine-tuning) modelos de la familia Llama3 (8B base y 8B Instruct) utilizando QLoRA (Low-Rank Adaptation).
• Enfoque: El problema se planteó como una tarea de Traducción Automática (MT), donde la entrada es una oración en inglés y la salida es la misma oración pero con cambio de código hacia el español.
• Baselines: Se compararon con modelos de few-shot prompting (GPT-4o, Llama3.3-70B) y un sistema de MT dedicado (NLLB).

C. Evaluación Integral

Se evaluó el rendimiento mediante:

1. Evaluación Humana: Un torneo de preferencias pareadas (pairwise) donde anotadores humanos seleccionaron la mejor oración basándose en la naturalidad del CS, fluidez y errores ortográficos.
2. Análisis de Errores: Clasificación cualitativa y cuantitativa de errores en tres categorías: Errores de CS (falta de mezcla o mezcla antinatural), Errores de Traducción (pérdida de significado) y Errores de Formato.
3. Métricas Automáticas: Uso de métricas de referencia (BLEU, BERTScore, chrF) y un juez basado en LLM (GPT-4o) para medir la correlación con el juicio humano.

3. Contribuciones Clave

1. Metodología de Generación: Demostraron que el fine-tuning de LLMs pequeños sobre un corpus paralelo sintético derivado de retrotraducción es superior a los enfoques de few-shot prompting o modelos de MT puros para generar CS natural.
2. Recurso EN-CS: Liberación de un nuevo corpus paralelo de alta calidad (Inglés-Español CS) y el código asociado bajo licencia CC-BY-NC-SA.
3. Análisis de Evaluación: Un estudio exhaustivo que revela que las métricas estándar de generación de lenguaje natural (NLG) no correlacionan con la preferencia humana en tareas de CS. Incluso los jueces basados en LLMs muestran una correlación limitada, especialmente en la detección de errores específicos de CS.

4. Resultados Principales

• Rendimiento del Modelo: Los modelos Llama3 ajustados finamente obtuvieron el mejor ranking en la evaluación humana, superando a modelos mucho más grandes como GPT-4o y Llama3.3-70B en few-shot, así como al modelo NLLB.
  • Los modelos ajustados aprendieron a realizar el cambio de código de manera natural (menos errores de tipo "CS").
  • Los modelos de few-shot tendían a generar texto completamente monolingüe (un error crítico), aunque eran fluidos.
  • El modelo Instruct (Llama3 Instruct) rindió peor que la versión base, sugiriendo que el ajuste por instrucciones puede degradar ciertas capacidades lingüísticas para esta tarea específica.
• Generalización: El modelo Llama3 base ajustado mostró una buena capacidad de generalización en datos out-of-domain (textos creativos no de redes sociales), a diferencia de otros modelos que sufrieron más.
• Evaluación:
  • Las métricas de referencia (BLEU, etc.) fallaron al discriminar entre modelos, otorgando puntuaciones altas a modelos que generaban texto monolingüe (porque coincidían con la parte en inglés de la referencia).
  • El juez GPT-4o mostró una preferencia por la fluidez y el estilo, pero no priorizó la presencia de CS tanto como los humanos, resultando en rankings opuestos a la evaluación humana para los modelos few-shot.

5. Significancia e Impacto

Este trabajo es fundamental porque:

• Valida el Fine-Tuning: Confirma que, para tareas lingüísticas complejas y específicas como el CS, el ajuste fino sobre datos sintéticos de alta calidad es más efectivo que el uso de modelos grandes genéricos con prompts.
• Alerta sobre Métricas: Pone de manifiesto la urgencia de desarrollar nuevas métricas de evaluación específicas para el cambio de código, ya que las actuales son engañosas y no reflejan la calidad percibida por los hablantes nativos.
• Apertura de Líneas de Investigación: Proporciona una vía para crear datos de entrenamiento para pares de idiomas con recursos limitados, utilizando el inglés y el español como idiomas pivote.

En conclusión, el estudio demuestra que es posible condicionar eficazmente a los LLMs para generar texto con cambio de código natural mediante un enfoque de retrotraducción y ajuste fino, superando las limitaciones de los enfoques actuales, aunque la evaluación automática de estos sistemas sigue siendo un desafío abierto.