Resumen Técnico: CzechDocs

Declaración del Problema

A pesar de los avances en la traducción automática neuronal (NMT), la preservación de la estructura de los documentos y las etiquetas de marcado sigue siendo un obstáculo significativo para el despliegue práctico. Los flujos de trabajo de traducción del mundo real suelen implicar documentos estructurados complejos (HTML, XML, DOCX, PDF) donde mantener la integridad del formato es esencial para el procesamiento posterior y la publicación. Este desafío es particularmente agudo en escenarios que requieren un despliegue multilingüe rápido, como la comunicación en crisis humanitarias. La llegada de refugiados ucranianos a la República Checa en 2022 resaltó la necesidad urgente de una traducción de alta calidad de información crítica (documentos legales, formularios gubernamentales, materiales educativos) preservando estrictamente la estructura de marcado necesaria para la accesibilidad web y la publicación. Las métricas de evaluación existentes (por ejemplo, BLEU, COMET) se centran principalmente en la precisión léxica y semántica, a menudo descuidando la fidelidad estructural requerida para los sistemas de traducción de grado de producción.

Metodología

Construcción del Conjunto de Datos (CzechDocs)

Los autores presentan CzechDocs, un conjunto de datos paralelo multivariante curado, diseñado específicamente para evaluar la traducción con preservación de formato.

• Fuentes: Los datos se recolectaron de 14 sitios web públicos en lengua checa, incluyendo portales educativos, sitios de información para expatriados, servicios gubernamentales y portales municipales.
• Contenido: El corpus se centra en materiales de integración cívica para extranjeros, principalmente inmigrantes ucranianos, con contenido adicional en vietnamita, inglés, ruso y otros idiomas minoritarios.
• Formatos: El conjunto de datos incluye 77 documentos únicos en tres formatos:
  • HTML (79%): Editados manualmente y alineados a nivel de segmento para asegurar una correspondencia precisa entre los segmentos XLIFF de origen y destino.
  • PDF (17%) y DOCX (4%): Alineados a nivel de documento (verificados como traducciones entre sí), aunque los límites de segmento internos pueden diferir.
• Preprocesamiento: Se empleó un flujo de trabajo que involucró limpieza (asegurando traducciones exactas con un formato coincidente), conversión de formato (de PDF a DOCX) y extracción utilizando la herramienta de kit de herramientas Okapi Tikal para generar formatos XLIFF, Moses InlineText (MOS) y texto plano.
• Alineación: Para los documentos HTML, se utilizó una herramienta personalizada para forzar la alineación a nivel de segmento en todas las versiones lingüísticas, asegurando conteos y límites de segmento consistentes utilizando el esqueleto checo como base.
• Estadísticas: El corpus final contiene 60,153 segmentos translatables en 15 idiomas, sumando 271,111 palabras y 126,833 etiquetas de marcado. Notablemente, el 90.3% de los segmentos contienen al menos una etiqueta de marcado.
• Divisiones: El conjunto de datos se divide en un conjunto de validación (19 documentos HTML, publicados oficialmente) y un conjunto de prueba reservado (para una futura tarea compartida).

Evaluación Experimental

Los autores realizaron una evaluación comparativa de diferentes estrategias para el manejo de la traducción con marcado, utilizando dos Modelos de Lenguaje Grande (LLMs): Aya-expanse-8b (CohereForAI) y gpt-4.1-nano (OpenAI). El estudio comparó los siguientes enfoques:

1. Desetiquetar y Proyectar (Detag-and-Project): Traducir solo texto plano, y luego reinsertar las etiquetas en el objetivo utilizando alineaciones de palabras (vía awesome-align y heurísticas en Charles Translator).
2. Entrada Directa con Etiquetas (Direct Tagged Input): Alimentar directamente al modelo con segmentos completos y etiquetados (en formato Moses InlineText) con un prompt de traducción estándar.
3. Prompt con Énfasis en Etiquetas: Similar al (2), pero con instrucciones explícitas en el prompt para preservar las posiciones de las etiquetas con precisión. Esto incluyó variaciones con y sin contexto (segmentos previos del documento).

El rendimiento se midió utilizando puntuaciones BLEU tanto para el texto etiquetado (respecto a referencias etiquetadas) como para el texto plano sin etiquetas (respecto a referencias sin etiquetas).

Contribuciones Clave

1. Un Conjunto de Datos Curado: El lanzamiento de CzechDocs, un corpus paralelo especializado de documentos formateados (HTML, DOCX, PDF) que cubren el checo y los idiomas minoritarios utilizados en Chequia. El conjunto de datos está diseñado explícitamente para evaluar la traducción consciente de etiquetas y la localización.
2. Análisis Comparativo: Una evaluación sistemática de las estrategias comunes para la traducción con preservación de formato, incluyendo la traducción directa basada en LLM con diversas estrategias de prompting frente a las heurísticas tradicionales de "desetiquetar y proyectar".

Resultados

La evaluación en el conjunto de validación arrojó las siguientes observaciones:

• Rendimiento del Modelo: El modelo gpt-4.1-nano demostró generalmente un rendimiento ligeramente superior al de Aya-expanse-8b.
• Sensibilidad al Prompt: Los modelos fueron sensibles a la ingeniería de prompts. Las instrucciones explícitas para preservar el marcado condujeron a mejoras notables en las puntuaciones de preservación de etiquetas, particularmente para gpt-4.1-nano.
• Comparación de Enfoques:
  • BLEU Etiquetado (Tagged BLEU): El enfoque de "Desetiquetar y Proyectar" y los enfoques de "Prompt con Conciencia de Etiquetas" lograron resultados comparables en promedio. Sin embargo, el método de Desetiquetar y Proyectar mostró una mayor varianza entre documentos individuales.
  • BLEU Sin Etiquetas (Untagged BLEU): El enfoque de Desetiquetar y Proyectar resultó en puntuaciones de BLEU sin etiquetas ligeramente más bajas en comparación con la traducción directa de LLM, lo que sugiere que el proceso de reinserción basado en alineación puede introducir desviaciones semánticas menores o que los LLM manejan ligeramente mejor el texto bruto cuando no están restringidos por la lógica de reconstrucción de etiquetas.
• Hallazgos Específicos: Para gpt-4.1-nano, el prompt "Explícito" (entrada MOS) alcanzó un BLEU Etiquetado de 87.8, superando significativamente al "Normal" (25.4). El enfoque de "Desetiquetar y Proyectar" con gpt-4.1-nano alcanzó un BLEU Etiquetado de 89.0.

Significado y Reivindicaciones

El artículo posiciona a CzechDocs como un recurso necesario para avanzar en la evaluación de sistemas de traducción automática que deben operar en entornos estructurados del mundo real. Los autores afirman que, si bien los LLM son capaces de traducir segmentos etiquetados directamente sin un ajuste fino especializado, el enfoque tradicional de "desetiquetar y proyectar" sigue siendo competitivo, particularmente en términos de métricas automatizadas en texto etiquetado.

Los autores declaran modestamente que su trabajo demuestra un "posible caso de uso" para el conjunto de datos y proporciona una comparación de referencia de las estrategias existentes. No afirman que los LLM hayan resuelto el problema de la preservación de formato; más bien, destacan que el prompting explícito mejora la preservación de etiquetas y que la elección entre la traducción directa de LLM y la reinserción basada en alineación implica compromisos entre la fidelidad de las etiquetas y la fluidez del texto plano. El conjunto de datos está destinado a apoyar la investigación futura y una tarea compartida centrada en la traducción a nivel de documento con preservación de formato.