💬 NLP

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

Este artículo evalúa cómo el alcance del prompt y las estrategias de selección de demostraciones afectan el rendimiento de la traducción automática de los LLM locales ajustados por instrucciones a través de múltiples familias lingüísticas, encontrando que, si bien los sistemas dedicados de MT siguen siendo superiores, el prompting de pocos disparos basado en incrustaciones y los prompts de alcance de familia pueden mejorar los modelos más grandes a pesar de introducir desafíos de salida estructurada para los más pequeños.

Autores originales: Mihael Arcan

Publicado 2026-07-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mihael Arcan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot superinteligente que puede hablar casi cualquier idioma. Le pides que traduzca una frase del inglés al francés y lo hace de maravilla. Pero, ¿qué pasa si le pides que traduzca esa misma frase al francés, español e italiano todo a la vez? O ¿qué pasa si le das algunas frases de ejemplo para mostrarle cómo te gusta que se hagan las cosas antes de que empiece? Este artículo vive en el mundo de la Traducción Automática, que es la ciencia de enseñar a las computadoras a convertir un idioma en otro. Durante mucho tiempo, probamos a estos robots haciéndoles una pregunta simple a la vez: "Traduce esto". Pero la vida real es más desordenada. La gente suele pedir varios idiomas a la vez, o le da al robot una "hoja de trucos" de ejemplos para ayudarle a entender el estilo que desean. La gran pregunta es: ¿pedir más cosas a la vez, o darle al robot una hoja de trucos, realmente lo hace mejor, o simplemente lo confunde? Esto importa porque cada vez más personas están ejecutando estos "robots" (llamados Modelos de Lenguaje Extensos) en sus propias computadoras por privacidad y velocidad, en lugar de usar gigantescos servidores en la nube. Necesitamos saber si estos robots locales están listos para el mundo real, o si solo funcionan cuando la prueba es súper simple.

Los autores de este artículo decidieron poner a prueba a estos robots locales de una manera muy específica. No se limitaron a pedirles que tradujeran una frase a un idioma; trataron la forma en que se hace la pregunta como una variable. Probaron tres "robots locales" diferentes (modelos más pequeños que puedes ejecutar en tu propia computadora) contra algunas máquinas de traducción dedicadas y muy serias. Pidieron a los robots que tradujeran del inglés a nueve idiomas europeos diferentes, agrupados en dos familias: la familia "Romance" (como el francés, el español y el italiano) y la familia "Germánica" (como el alemán, el neerlandés y el sueco).

Los investigadores probaron tres estrategias diferentes para dar a los robots "hojas de trucos" (llamadas prompting de pocos disparos o few-shot prompting). Primero, le dieron al robot cero ejemplos. Segundo, le dieron cinco ejemplos aleatorios. Tercero, le dieron cinco ejemplos cuidadosamente seleccionados para que fueran muy similares a la frase que querían traducir, ya sea analizando las palabras utilizadas o utilizando un programa informático inteligente para encontrar significados similares. También probaron dos "alcances" diferentes: pedir la traducción de solo un idioma a la vez, o pedir la traducción de los cinco idiomas de una familia a la vez, con las respuestas organizadas ordenadamente en un formato JSON (una estructura de archivo de computadora específica).

Aquí está lo que encontraron, y es un poco agridulce. Primero, las máquinas de traducción dedicadas de la vieja escuela siguen siendo las campeonas. Son las más fiables, especialmente al traducir a lenguas germánicas. Los robots locales están mejorando y pueden mantenerse a la altura en algunos idiomas romances como el español y el portugués, pero aún no logran vencer a los profesionales.

Segundo, la estrategia de la "hoja de trucos" depende totalmente de qué robot estés usando. Para los dos robots locales más fuertes (mistral:latest y qwen2.5:14b), darles ejemplos realmente ayudó. Mejoraron su traducción cuando vieron ejemplos primero. Pero para el robot más pequeño (llama3.2:3b), darle ejemplos fue un desastre. Empeoró cuando tuvo que leer los ejemplos adicionales. Es como un estudiante que hace genial un examen cuando solo lee la pregunta, pero se confunde y comete errores cuando le muestras una respuesta de muestra primero.

Tercero, la forma en que haces la pregunta importa mucho. Cuando los investigadores pidieron a los robots que tradujeran a los cinco idiomas a la vez (el prompt de alcance de familia), los robots más grandes lo manejaron bien, produciendo una lista ordenada de traducciones para cada idioma. ¿Pero el robot más pequeño? Se desmoronó por completo. A menudo olvidaba traducir algunos de los idiomas, o no podía seguir las instrucciones para poner las respuestas en el formato correcto. Es como si el robot pequeño se sintiera abrumado por el gran pedido y simplemente soltara la mitad de los artículos.

El artículo también analizó si la forma "inteligente" de elegir ejemplos (encontrar las frases más similares) era mejor que simplemente elegir ejemplos aleatorios. Para los robots que podían usar ejemplos, los ejemplos inteligentes y similares ayudaron un poco más que los aleatorios. Pero la diferencia no fue enorme. Lo más importante era simplemente que el robot fuera lo suficientemente capaz de usar los ejemplos en absoluto. Si el robot era demasiado pequeño o estaba confundido, incluso los mejores ejemplos no podían salvarlo.

En resumen, este artículo sugiere que no podemos simplemente decir "la traducción por IA es buena" o "la traducción por IA es mala". Depende de cómo hagas la pregunta. Si quieres que un robot local traduzca para ti, necesitas elegir un modelo que sea lo suficientemente grande como para manejar instrucciones complejas y múltiples idiomas a la vez. Si eliges un modelo diminuto y le pides que haga demasiadas cosas a la vez, o que procese demasiada información adicional, podría fallar estrepitosamente. Los autores concluyen que cuando probamos estas herramientas de traducción, no debemos mirar solo la calidad de la traducción; también debemos verificar si el robot puede seguir instrucciones complejas y entregar exactamente lo que pedimos, sin dejar caer ninguna pelota.

Resumen Técnico: Evaluación del Alcance del Prompt y la Similitud de Demostración en la Traducción Automática con LLM Locales

Planteamiento del Problema

La evaluación tradicional de la traducción automática (MT) trata la traducción como una tarea de par de lenguas único, donde un sistema traduce una oración de origen a un solo idioma de destino. Sin embargo, los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más como herramientas de traducción de propósito general donde los usuarios pueden solicitar múltiples idiomas de destino simultáneamente, proporcionar ejemplos en contexto o requerir salidas estructuradas (por ejemplo, JSON). Este artículo sostiene que los marcos de evaluación actuales no logran capturar estos "grados de libertad adicionales" inherentes al uso de los LLM. Específicamente, investiga si el alcance del prompt (solicitudes de objetivo único frente a familias de objetivos múltiples) y las estrategias de selección de demostraciones (aleatoria, léxica o basada en recuperación por embeddings) impactan significativamente en el rendimiento de los LLM locales en hardware de consumo. El estudio se centra en el despliegue local debido a su relevancia para la privacidad, el control de costes y el uso sin conexión, señalando que los modelos locales más pequeños pueden ser más sensibles a la longitud del prompt y a las restricciones de salida estructurada que los sistemas propietarios de alta gama.

Metodología

Diseño Experimental

El estudio evalúa la traducción de inglés a lenguas romances y de inglés a lenguas germánicas en nueve idiomas oficiales de la UE (francés, español, italiano, portugués, rumano, alemán, neerlandés, danés, sueco) utilizando la división completa FLORES devtest (1,012 oraciones). Las demostraciones se extraen exclusivamente de la división dev de FLORES para evitar la fuga de datos.

Las variables experimentales incluyen:

Alcance del Prompt:
- Objetivo único: El modelo traduce una oración a un idioma.
- Alcance de familia: El modelo traduce una oración a todos los idiomas de una familia (romance o germánica) en un único objeto JSON indexado por los códigos de idioma de FLORES.
Selección de Demostración (Few-shot):
- Zero-shot: Sin ejemplos proporcionados.
- Aleatoria: $k=5$ ejemplos seleccionados uniformemente del conjunto dev.
- Similitud léxica: $k=5$ ejemplos con la mayor similitud de coseno basada en representaciones de bolsa de tokens de la fuente.
- Similitud de embeddings: $k=5$ ejemplos con la mayor similitud de coseno basada en embeddings de oraciones multilingües.

Modelos y Baselines

LLMs Locales: Tres modelos ajustados para instrucciones que se ejecutan mediante Ollama (temperatura 0): llama3.2:3b, mistral:latest y qwen2.5:14b.
Baselines de MT Dedicados: OPUS-MT (MarianMT) y NLLB-200 (versiones destiladas de 600M y 1.3B). Estos se evalúan únicamente en el entorno de objetivo único, ya que no están diseñados para el seguimiento de instrucciones de múltiples objetivos estructurados.

Métricas de Evaluación

Calidad de la Traducción: chrF++, BLEU a nivel de corpus (vía SacreBLEU) y COMET a nivel de oración.
Cumplimiento (Solo para alcance de familia): Cobertura de objetivos, tasa de salida completa, recuento de objetivos faltantes y recuento de eco de prompt.
Análisis Estadístico: Remuestreo de bootstrap pareado para intervalos de confianza y valores p comparando el mejor LLM local contra el mejor baseline de MT.

Resultados Clave

1. Rendimiento de los LLM Locales frente a la MT Dedicada

Los sistemas de MT dedicados siguen siendo los baselines más fuertes en general, particularmente para las lenguas germánicas donde la brecha de rendimiento es sustancial. Los LLM locales son competitivos para objetivos romances específicos (notablemente español y portugués), con qwen2.5:14b aproximándose a menudo al rendimiento de la MT dedicada en entornos de objetivo único. Sin embargo, ningún LLM local iguala consistentemente a los mejores baselines de MT en todas las métricas y lenguas.

2. Impacto del Prompting Few-shot

El efecto del prompting few-shot depende altamente del modelo:

mistral:latest y qwen2.5:14b: Ambos modelos muestran mejoras significativas con el prompting few-shot. La recuperación basada en embeddings ofrece las mejores ganancias promedio (por ejemplo, mistral gana +4.60 chrF++ y +11.03 BLEU con la recuperación por embeddings).
llama3.2:3b: Este modelo más pequeño degrada consistentemente su rendimiento con el prompting few-shot en todas las estrategias de recuperación, lo que sugiere que los modelos más pequeños pueden tener dificultades con la mayor longitud del contexto o la complejidad de las instrucciones.

3. Eficacia de la Estrategia de Recuperación

Aunque la recuperación basada en embeddings proporciona los mejores resultados promedio para los modelos que se benefician de los ejemplos, el margen sobre la recuperación aleatoria o léxica es modesto. Crucialmente, el análisis a nivel de oración revela que la puntuación de similitud de un ejemplo recuperado no predice fuertemente si ese ejemplo específico mejorará la calidad de la traducción (correlación cercana a cero). Esto sugiere que los ejemplos ayudan a través de múltiples mecanismos (formato, anclaje de estilo, clarificación de la tarea) en lugar de una similitud semántica pura.

4. Alcance de Familia y Salida Estructurada

El prompting de alcance de familia actúa como una prueba de esfuerzo para el cumplimiento de la salida estructurada:

Modelos más fuertes (mistral, qwen): Mantienen una alta cobertura (>96%) y producen objetos JSON mayoritariamente completos, aunque la calidad de la traducción en las salidas producidas es ligeramente inferior al rendimiento de objetivo único.
Modelo más pequeño (llama3.2:3b): Sufre fallos severos de cumplimiento de salida estructurada. En el entorno de la familia germánica, su cobertura zero-shot cae a 0.343, e incluso con la recuperación por embeddings, solo alcanza 0.493. Para este modelo, la tarea de alcance de familia es principalmente un fallo de cumplimiento de salida más que de calidad de traducción.

5. Comparación con la MT Dedicada

Las pruebas de significancia pareadas confirman que las mejores condiciones de los LLM locales permanecen por debajo de los mejores baselines de MT dedicada en chrF++ para todos los objetivos. La brecha es menor para las lenguas romances (promedio -2.55 chrF++) que para las lenguas germánicas (promedio -7.26 chrF++). Las puntuaciones COMET a veces estrechan la brecha o muestran diferencias no significativas (por ejemplo, para el español), pero no revierten la conclusión de que los sistemas de MT dedicados son actualmente superiores en general.

Significado y Reivindicaciones

El artículo no pretende introducir un nuevo modelo de traducción o un método para superar a los sistemas de MT dedicados. En su lugar, su contribución principal es un diseño de evaluación y un análisis empírico que demuestra que:

El Alcance del Prompt es una Variable Crítica: Evaluar los LLM únicamente en la traducción de objetivo único es insuficiente. El prompting de alcance de familia revela modos de fallo distintos (objetivos omitidos, JSON malformados) que la evaluación de MT estándar pasa por alto.
La Estrategia de Demostración Importa: La elección de los ejemplos few-shot (aleatorios vs. semánticos) impacta significativamente el rendimiento, pero este efecto es contingente a la capacidad del modelo. Los modelos más pequeños pueden verse perjudicados por el contexto adicional.
El Cumplimiento es Parte de la Calidad: Para la traducción de múltiples objetivos, la "calidad" debe incluir métricas de cumplimiento de la salida estructurada (cobertura, completitud). Un modelo que produce traducciones fluidas pero incompletas no es funcionalmente equivalente a uno que produce salidas completas.
Recomendaciones de Evaluación: La evaluación de la MT basada en LLM debería reportar resultados a través de alcances de prompt, estrategias de recuperación y métricas de cumplimiento, no solo puntuaciones específicas de par de lenguas.

Los autores concluyen que, si bien los LLM locales son útiles y competitivos en entornos seleccionados, deben desplegarse con mecanismos de validación en lugar de asumirse su fiabilidad, especialmente en contextos críticos de seguridad donde los fallos de salida o de estructura representan riesgos reales.