Resumen Técnico: DIETA – Un Transformer de solo decodificador para la traducción automática Italiano–Inglés

Planteamiento del Problema

A pesar de los avances de los modelos de lenguaje extensos (LLMs) basados en Transformer en el Procesamiento del Lenguaje Natural, la traducción automática (MT) de alta calidad para pares de idiomas específicos, particularmente Italiano–Inglés, sigue siendo un desafío abierto. Los sistemas multilingües de propósito general suelen priorizar la cobertura lingüística amplia sobre la calidad de traducción especializada, dejando margen de mejora en pares dirigidos. Además, los modelos multilingües masivos incurren en altos costes computacionales y pueden sufrir de competencia representacional entre cientos de idiomas, lo que potencialmente reduce su rendimiento en direcciones específicas como Inglés–Italiano en comparación con modelos más pequeños y especializados.

Metodología

Recopilación y Curación de Datos

Los autores construyeron un corpus de entrenamiento masivo que comprende aproximadamente 768 millones de ejemplos de origen–objetivo, derivados de tres fuentes primarias:

1. Corpus Paralelos: Se curaron aproximadamente 207,8 millones de pares de frases de alta calidad a partir de recursos públicos en el repositorio OPUS, incluyendo Europarl, DGT-TM, ParaCrawl, OpenSubtitles, WikiMatrix y textos legales.
   • Limpieza: Los duplicados se eliminaron usando OpusTools/OpusFilter. Los pares restantes fueron sometidos a un filtrado de calidad utilizando el LLM Phi-4 con un prompt binario para verificar la equivalencia de la traducción, descartando los pares que no coincidían.
   • Formato: Los pares se duplicaron con etiquetas de dirección explícitas (por ejemplo, ENG: ... IT: ...) para soportar el entrenamiento bidireccional.
2. Datos Sintéticos (Back-Translation): Para aumentar el corpus, los autores generaron 352 millones de pares de frases sintéticas mediante retrotraducción (back-translation):
   • NewsCrawl: Artículos en italiano (2008–2018) e inglés (2023) fueron traducidos utilizando OPUS-MT-TC-BIG; los segmentos más recientes (2019–2024) usaron NLLB-200-3.3B.
   • FineWeb: 108,5 millones de frases en italiano y 100 millones en inglés fueron traducidas utilizando el modelo multilingüe GemmaX2-28-9B-v0.1.
   • Todas las traducciones sintéticas fueron generadas utilizando el toolkit CTranslate2 en modo de decodificación codiciosa (greedy decoding).

Arquitectura del Modelo

DIETA es un modelo Transformer de solo decodificador con 0,5 mil millones de parámetros, diseñado específicamente para la traducción bidireccional Italiano–Inglés.

• Capas: 6 capas idénticas con una configuración de post-normalización.
• Dimensiones: Dimensión oculta de 2.048 y 32 cabezales de atención.
• Feed-Forward: Utiliza activación squared-ReLU con un factor de expansión de 4x.
• Embeddings: Embeddings rotatorios para las posiciones de los tokens.
• Optimizaciones: Incorpora acumulación de atención residual y normalización de consulta-clave (query-key normalization).
• Tokenizer: Utiliza un vocabulario SentencePiece de 51.200 entradas de la familia Minerva, entrenado en un corpus equilibrado de alta calidad en italiano e inglés para optimizar la segmentación de subpalabras para estos idiomas específicos.

Estrategia de Entrenamiento

Los modelos fueron entrenados usando el framework x-Transformers con el optimizador Lion (tasa de aprendizaje $2 \times 10^{-4}$) durante un único epoch con un esquema de decaimiento lineal tras un calentamiento (warm-up) del 10%. Se lanzaron cinco variantes del modelo para analizar el impacto de la composición de los datos:

1. DIETA: Entrenado desde cero en el corpus paralelo filtrado (415,7M de pares).
2. DIETA+BT: Entrenado en el corpus paralelo + retrotraducciones de NewsCrawl.
3. DIETA+cont: Entrenamiento continuado de DIETA para un segundo epoch en los datos mixtos de paralelo + NewsCrawl.
4. DIETA+nosynth: Entrenamiento continuado de DIETA para un segundo epoch en datos solo paralelos.
5. DIETA+allsynth: Entrenamiento continuado de DIETA+cont para un tercer epoch en el corpus completo (Paralelo + NewsCrawl + FineWeb), totalizando 768M de pares.

Evaluación

Los modelos fueron evaluados contra más de 15 baselines (incluyendo NLLB-200, OPUS-MT, Minerva, LLaMAntino, Gemma-2 y Tower) a través de cinco benchmarks:

• Benchmarks Estándar: NTREX-128, Tatoeba, WMT-24pp y FLORES-200.
• Nuevo Benchmark: WikiNews-25, un conjunto de prueba de 450 frases basado en artículos de WikiNews de 2025, que presenta traducciones post-editadas por humanos para evaluar el rendimiento en textos contemporáneos.
• Métricas: Una suite integral que incluye solapamiento superficial (sacreBLEU, chrF), métricas neuronales basadas en referencia (BLEURT, MetricX-24, COMET) y estimación de calidad sin referencia (QE MetricX, COMETKiwi).

Resultados Clave

• Rendimiento vs. Tamaño: DIETA se sitúa consistentemente en el segundo cuartil de un leaderboard de 32 sistemas. Supera a la mayoría de los modelos sub-3B en cuatro de los cinco conjuntos de pruebas y iguala o supera a modelos 2 a 3 veces más grandes (por ejemplo, modelos de 1–3 mil millones de parámetros) en muchas métricas.
• Benchmarks Específicos:
  • NTREX-128: DIETA+cont logra puntuaciones competitivas de BLEU (36/43) y COMET (0.85/0.87), rivalizando con NLLB-1.3B y OPUS-MT-big.
  • Tatoeba: DIETA+cont puntúa 58/70 en BLEU, superando a todos los competidores por debajo de 3B de parámetros y siguiendo de cerca a los modelos más grandes (Gemma-9B, PhiMaestra-3) por un margen estrecho.
  • WMT-24pp y WikiNews-25: El modelo ofrece un rendimiento de media tabla competitivo con sistemas de 7B, particularmente en datos de noticias recientes (WikiNews-25), donde iguala o supera a sistemas por debajo de 7B de parámetros.
  • FLORES-200: DIETA+allsynth iguala virtualmente a NLLB-3.3B en puntuaciones de COMET a pesar de tener una sexta parte de los parámetros.
• Impacto de los Datos: Los datos de retrotraducción sintética proporcionaron ganancias claras. DIETA+BT añadió de +1 a +3 BLEU sobre la base de solo paralelo, y el entrenamiento continuado (DIETA+cont, DIETA+allsynth) añadió mejoras adicionales sin aumentar el tamaño del modelo.
• Direccionalidad: La dirección IT→EN generalmente funcionó mejor (2–12 BLEU más alta) debido a datos más ricos en el lado objetivo, aunque esta brecha se redujo con la introducción de datos sintéticos en italiano. WikiNews-25 fue un caso atípico donde EN→IT fue ligeramente más fácil.

Significado y Contribuciones

El artículo afirma que la escala de los datos y el entrenamiento específico de la tarea pueden compensar una reducción significativa en los parámetros del modelo. Las contribuciones principales son:

1. Modelo DIETA: Un Transformer de solo decodificador especializado, de código abierto, con 0,5 mil millones de parámetros que ofrece una traducción Italiano–Inglés robusta y de alta calidad, capaz de ejecutarse en una sola GPU de consumo mientras permanece competitivo con LLMs mucho más grandes.
2. Corpus Curado: La liberación de un corpus paralelo a gran escala y cuidadosamente curado (207M de pares) y un corpus sintético (352M de pares) derivado de diversas fuentes.
3. WikiNews-25: Un nuevo conjunto de evaluación basado en artículos de noticias de 2025 para facilitar el benchmarking en contenido contemporáneo y corregido por humanos.
4. Eficiencia: Demostrar que un modelo pequeño y especializado puede lograr un rendimiento comparable al de modelos de propósito general más grandes, sugiriendo que las ganancias futuras pueden residir en el ajuste de la estimación de calidad sin referencia (QE) en lugar de simplemente aumentar el tamaño del modelo.

Los autores concluyen que, si bien persiste una brecha de rendimiento en las métricas de QE sin referencia en comparación con los modelos de estado del arte de 9B, la familia DIETA ofrece una solución altamente eficiente para tareas de traducción especializadas, con planes de trabajo futuro para abordar la brecha de QE mediante ajuste fino (fine-tuning) y permitir el despliegue en el borde (edge deployment) mediante cuantización.