Resumen Técnico: Optimización Basada en la Carga de Trabajo para la Traducción de Subtítulos en Tiempo Real en Dispositivos

Declaración del Problema

Este trabajo aborda las restricciones específicas de la traducción de subtítulos en tiempo real, en el dispositivo, de inglés a chino tradicional (variante de Taiwán). A diferencia del servicio de modelos de lenguaje de propósito general o la traducción automática de contexto largo, esta carga de trabajo se caracteriza por:

• Entradas y salidas cortas: Las solicitudes consisten en un único segmento de subtítulo actual con un contexto previo limitado (hasta tres segmentos).
• Inferencia de tamaño de lote uno (batch-size-one): La reproducción interactiva impide el uso de optimizaciones de grandes lotes.
• Latencia y privacidad estrictas: Las traducciones deben generarse dentro de la ventana de visualización del subtítulo en hardware de consumo (por ejemplo, Apple M-series) sin transmitir datos a la nube.

Bajo estas condiciones, las optimizaciones tradicionales para secuencias de atención largas o alto rendimiento ofrecen beneficios limitados. En su lugar, los costos fijos por solicitud, la computación durante el decodificado y los costos de proyección del vocabulario se convierten en los principales cuellos de botella. El perfilado preliminar indica que, tras aplicar la cuantización GGUF (reduciendo los costos de los bloques Transformer), el paso de proyección del vocabulario se convierte en un factor dominante en la latencia de decodificación.

Metodología

La solución propuesta, LocalSubs, se basa en el modelo de traducción multilingüe LMT-60-0.6B. La estrategia de optimización está impulsada por la carga de trabajo, centrándose en reducir la dimensión de proyección de salida y mejorar la densidad de tokens para el dominio específico.

1. Rediseño del Vocabulario y del Tokenizador

El vocabulario original de 151k tokens fue reemplazado por un tokenizador ByteLevel BPE personalizado de 64k tokens entrenado específicamente en texto de subtítulos en inglés y chino tradicional de Taiwán.

• Impacto: Esto reduce la dimensión de proyección de salida aproximadamente un 57.9% (de 151,936 a 64,024).
• Eficiencia: El nuevo tokenizador aumenta la densidad de caracteres chinos (1.40 caracteres por token frente a 1.05), reduciendo el número de tokens necesarios para generar el mismo texto.

2. Migración de Embeddings y Adaptación en Dos Etapas

Reemplazar el tokenizador invalida la matriz de embeddings original. Los autores proponen un pipeline de adaptación específico:

1. Migración de Embeddings: Los nuevos embeddings de los tokens se inicializan mediante correspondencia a nivel de cadena (string-level). Los tokens existentes se copian directamente; los nuevos tokens se inicializan promediando los embeddings de sus descomposiciones de sub-tokens del tokenizador original.
2. Calibración de Embeddings: Sigue una adaptación de dos etapas. Primero, las capas Transformer se congelan mientras que los parámetros de los embeddings, el cabezal de salida (output head) y de RMSNorm se actualizan para alinear el nuevo espacio de embeddings con el espacio semántico preentrenado.
3. Ajuste Fino Supervisado Completo (SFT): Posteriormente, todo el modelo se ajusta mediante fine-tuning sobre un conjunto de datos de subtítulos con calidad filtrada y longitud reequilibrada (233,088 ejemplos).

3. Protocolo de Evaluación

• Calidad: Evaluada en un subconjunto fijo de 500 ejemplos del conjunto de prueba OpenSubtitles2024 mediante juicios de preferencia por pares contra un ancla fija de Google Translate, juzgado por GPT-4o.
• Rendimiento: Las mediciones preliminares de latencia se realizaron en un Apple M2 utilizando llama.cpp con cuantización GGUF Q5_K_M y el backend Metal.

Resultados Clave

Calidad de la Traducción

• Tasa de Victoria (Win Rate): LocalSubs logró una tasa de victoria de un 59.2% excluyendo empates contra Google Translate.
• Comparación: Esto es comparable a la tasa de victoria del 64.6% alcanzada por GPT-4o mini bajo el mismo protocolo de evaluación, a pesar de que LocalSubs opera bajo estrictas restricciones de dispositivo, tamaño de lote uno y sin dependencia de APIs remotas.
• Utilización de Contexto: El modelo se beneficia significativamente del contexto en segmentos cortos. En un subconjunto de 260 respuestas cortas, la tasa de victoria con contexto (73.1%) fue notablemente superior a la de sin contexto (68.6%).
• Dependencia de la Longitud del Segmento: El rendimiento es más fuerte en segmentos cortos (tasa de victoria del 82.0% para 1–3 palabras) y declina a medida que aumenta la longitud del segmento, cayendo al 45.7% para 8–15 palabras y al 12.5% para más de 16 palabras.

Latencia y Rendimiento (Throughput)

• Aceleración: Un modelo de perfilado preliminar con el vocabulario de 64k mostró una aceleración de 1.63× en la latencia promedio de extremo a extremo (56.8 ms frente a 92.7 ms) comparado con la línea base de vocabulario de 151k en Apple M2 Metal.
• Rendimiento (Throughput): El rendimiento de decodificación aumentó de 63.3 a 96.0 tokens/s (1.52×).
• Reducción de Tokens: El modelo de 64k generó un 40.0% menos de tokens de salida (4.00 frente a 6.67) y utilizó un 7.7% menos de tokens de prompt para la entrada en inglés.

Significancia y Reivindicaciones

El artículo postula que, para cargas de trabajo en dispositivos con entradas cortas y baja latencia, el rediseño del tokenizador es una decisión crítica de arquitectura de servicio, no simplemente una elección de preprocesamiento. Al reducir el tamaño del vocabulario, el sistema disminuye directamente el costo computacional de la capa de proyección de salida, que se convierte en el cuello de botella tras la cuantización.

El trabajo demuestra que un modelo compacto de 0.6B, cuando se adapta con un tokenizador de dominio específico y una estrategia estructurada de migración de embeddings, puede lograr una calidad de traducción competitiva con los modelos comerciales en la nube (GPT-4o mini) cumpliendo simultáneamente con las estrictas restricciones de privacidad y latencia.

Limitaciones y Trabajo Futuro

Los autores mantienen una postura modesta respecto a sus afirmaciones:

• Reproducibilidad: Los resultados de latencia son preliminares; los registros brutos, los commits específicos de llama.cpp y los checksums del modelo no se conservaron totalmente para la evaluación final.
• Evaluación: Los juicios por pares dependen de GPT-4o sin un registro de instantánea (snapshot), y aún se requiere auditoría humana. La comparación entre LocalSubs y GPT-4o mini fue indirecta (ambos contra Google Translate), no una comparación directa frente a frente.
• Brechas de Rendimiento: El modelo tiene dificultades con segmentos largos, a menudo omitiendo detalles o fallando en preservar el significado completo.
• Direcciones Futuras: Los autores priorizan las comparaciones controladas entre diferentes tamaños de vocabulario (32k/64k/151k) bajo configuraciones idénticas, la evaluación estratificada por escenarios completos y la construcción de una taxonomía de errores verificada manualmente.