Resumo Técnico: Otimização Baseada em Carga de Trabalho para Tradução de Legendas em Tempo Real em Dispositivos

Declaração do Problema

Este trabalho aborda as restrições específicas da tradução de legendas em tempo real, em dispositivos, do inglês para o chinês tradicional (variante de Taiwan). Diferente do serviço de modelos de linguagem de propósito geral ou da tradução automática de contexto longo, esta carga de trabalho é caracterizada por:

• Entradas e saídas curtas: As solicitações consistem em uma única legenda atual com contexto precedente limitado (até três legendas).
• Inferência de tamanho de lote um (batch-size-one): A reprodução interativa impede o uso de otimizações de grandes lotes.
• Latência e privacidade rigorosas: As traduções devem ser geradas dentro da janela de exibição da legenda em hardware de consumo (ex: Apple M-series) sem transmitir dados para a nuvem.

Sob estas condições, as otimizações tradicionais para sequências de atenção longas ou alto rendimento (throughput) oferecem benefícios limitados. Em vez disso, os custos fixos por solicitação, o custo de computação durante o decodificação e os custos de projeção de vocabulário tornam-se os principais gargalos. O perfilamento preliminar indica que, após a aplicação da quantização GGUF (reduzindo os custos dos blocos Transformer), a etapa de projeção de vocabulário torna-se um fator dominante na latência de decodificação.

Metodologia

A solução proposta, LocalSubs, é construída sobre o modelo de tradução multilíngue LMT-60-0.6B. A estratégia de otimização é orientada pela carga de trabalho, focando na redução da dimensão de projeção de saída e na melhoria da densidade de tokens para o domínio específico.

1. Redesenho do Vocabulário e do Tokenizador

O vocabulário original de 151k tokens foi substituído por um tokenizador ByteLevel BPE customizado de 64k tokens, treinado especificamente em textos de legendas em inglês e chinês tradicional de Taiwan.

• Impacto: Isso reduz a dimensão de projeção de saída em aproximadamente 57,9% (de 151.936 para 64.024).
• Eficiência: O novo tokenizador aumenta a densidade de caracteres chineses (1,40 caracteres por token vs. 1,05), reduzindo o número de tokens necessários para gerar o mesmo texto.

2. Migração de Embedding e Adaptação em Dois Estágios

A substituição do tokenizador invalida a matriz de embedding original. Os autores propõem um pipeline de adaptação específico:

1. Migração de Embedding: Novos embeddings de tokens são inicializados via correspondência ao nível de string. Tokens existentes são copiados diretamente; novos tokens são inicializados pela média dos embeddings de suas decomposições de sub-tokens do tokenizador original.
2. Calibração de Embedding: Segue-se uma adaptação de dois estágios. Primeiro, as camadas Transformer são congeladas enquanto os embeddings, o cabeçalho de saída (output head) e os parâmetros do RMSNorm são atualizados para alinhar o novo espaço de embedding com o espaço semântico pré-treinado.
3. Fine-Tuning Supervisionado Completo (SFT): Todo o modelo é então ajustado finamente em um conjunto de dados de legendas com qualidade filtrada e equilíbrio de comprimento (233.088 exemplos).

3. Protocolo de Avaliação

• Qualidade: Avaliada em um subconjunto fixo de 500 exemplos do conjunto de teste OpenSubtitles2024 usando julgamentos de preferência pareada contra um âncoras fixo do Google Translate, julgado pelo GPT-4o.
• Desempenho: Medições preliminares de latência foram conduzidas em um Apple M2 usando llama.cpp com quantização GGUF Q5_K_M e o backend Metal.

Principais Resultados

Qualidade de Tradução

• Taxa de Vitória (Win Rate): O LocalSubs alcançou uma taxa de vitória de 59,2% (excluindo empates) contra o Google Translate.
• Comparação: Isso é comparável à taxa de vitória de 64,6% alcançada pelo GPT-4o mini sob o mesmo protocolo de avaliação, apesar do LocalSubs operar sob restrições rigorosas de dispositivo e tamanho de lote um, sem dependência de API remota.
• Utilização de Contexto: O modelo beneficia-se significativamente do contexto em pistas curtas. Em um subconjunto de 260 respostas curtas, a taxa de vitória com contexto (73,1%) foi notavelmente superior sem contexto (68,6%).
• Dependência do Comprimento da Legenda: O desempenho é mais forte em pistas curtas (82,0% de taxa de vitória para 1–3 palavras) e declina conforme o comprimento da legenda aumenta, caindo para 45,7% para 8–15 palavras e 12,5% para 16+ palavras.

Latência e Rendimento (Throughput)

• Aceleração (Speedup): Um modelo de perfilamento preliminar com vocabulário de 64k mostrou uma aceleração de 1,63× na latência média de ponta a ponta (56,8 ms vs. 92,7 ms) em comparação com a linha de base de 151k de vocabulário no Apple M2 Metal.
• Rendimento (Throughput): O rendimento de decodificação aumentou de 63,3 para 96,0 tokens/s (1,52×).
• Redução de Tokens: O modelo de 64k gerou 40,0% menos tokens de saída (4,00 vs. 6,67) e usou 7,7% menos tokens de prompt para entrada em inglês.

Significância e Alegações

O artigo postula que, para cargas de trabalho de entrada curta e baixa latência em dispositivos, o redesenho do tokenizador é uma decisão crítica de arquitetura de serviço, não meramente uma escolha de pré-processamento. Ao reduzir o tamanho do vocabulário, o sistema reduz diretamente o custo computacional da camada de projeção de saída, que se torna o gargalo após a quantização.

O trabalho demonstra que um modelo compacto de 0,6B, quando adaptado com um tokenizador de domínio específico e uma estratégia estruturada de migração de embedding, pode alcançar uma qualidade de tradução competitiva com modelos de nuvem comerciais (GPT-4o mini) enquanto satisfaz rigorosas restrições de privacidade e latência.

Limitações e Trabalho Futuro

Os autores mantêm uma postura modesta em relação às suas alegações:

• Reprodutibilidade: Os resultados de latência são preliminares; os logs brutos, os commits específicos do llama.cpp e os checksums do modelo não foram totalmente retidos para o modelo avaliado final.
• Avaliação: Os julgamentos pareados dependem do GPT-4o sem um snapshot registrado, e a auditoria humana ainda é necessária. A comparação entre LocalSubs e GPT-4o mini foi indireta (ambos vs. Google Translate), não uma comparação direta frente a frente.
• Lacunas de Desempenho: O modelo tem dificuldades com pistas mais longas, frequentemente omitindo detalhes ou falhando em preservar o significado completo.
• Direções Futuras: Os autores priorizam comparações controladas entre diferentes tamanhos de vocabulário (32k/64k/151k) sob configurações idênticas, avaliação estratificada por cenário completo e a construção de uma taxonomia de erros verificada manualmente.