KD4MT: A Survey of Knowledge Distillation for Machine Translation

Título: KD4MT: A Survey of Knowledge Distillation for Machine Translation

Autores: Ona de Gibert, Joseph Attieh, Timothee Mickus, Yves Scherrer, Jörg Tiedemann (Universidade de Helsinque e Universidade de Oslo).
Escopo: Revisão de 105 artigos publicados até 1º de outubro de 2025.

---

1. O Problema e o Contexto

O campo de Tradução Automática (MT) enfrenta dois desafios principais:

1. Escalabilidade e Eficiência: O crescimento contínuo de modelos de Linguagem (LLMs) e sistemas de MT baseados em redes neurais aumenta drasticamente os requisitos computacionais e o impacto ambiental, dificultando a implantação em ambientes com recursos limitados.
2. Limitações da Visão Tradicional de KD: A Distilação de Conhecimento (Knowledge Distillation - KD) é frequentemente vista apenas como uma ferramenta de compressão (reduzir um modelo grande "professor" para um pequeno "aluno"). No entanto, na MT, essa visão é incompleta. A revisão mostra que, em quase 50% dos trabalhos analisados, os modelos professor e aluno possuem o mesmo número de parâmetros. Isso indica que a KD na MT não é usada apenas para eficiência, mas como um mecanismo versátil de transferência de conhecimento, regularização e adaptação de domínio.

O artigo identifica lacunas na prática, como a falta de um protocolo de avaliação unificado, o viés em direção a pares de idiomas centrados no inglês e a subutilização de métodos baseados em características (feature-based) em favor de métodos baseados em resposta (response-based).

---

2. Metodologia da Revisão

Os autores realizaram uma análise sistemática de 105 artigos, categorizando-os em três dimensões principais:

1. Preliminares: Definição de MT (autoregressiva vs. não-autoregressiva) e fundamentos de KD.
2. Algoritmos de KD: Análise de como o sinal de supervisão é engenheirado (filtragem, expansão e reestruturação).
3. Aplicações: Como a KD é aplicada em cenários específicos (Multilíngue, Baixo Recurso, Adaptação de Domínio e Aplicações Sensíveis ao Tempo).

A análise combinou abordagens qualitativas e quantitativas, incluindo a criação de um banco de dados público e um glossário de termos para apoiar a comunidade.

---

3. Principais Contribuições e Descobertas Técnicas

A. Fundamentos e Tipos de KD na MT

A revisão detalha três abordagens principais (ilustradas na Figura 2 do artigo):

• KD Baseada em Resposta (Response-based):
  • Word-Level KD (Word-KD): O aluno aprende a distribuição de probabilidade de cada token do professor (distilação "soft" ou online). Requer acesso às probabilidades do professor.
  • Sequence-Level KD (Seq-KD): O aluno é treinado em traduções geradas pelo professor (distilação "hard" ou offline). Funciona como aumento de dados e não requer dados paralelos originais.
• KD Baseada em Características (Feature-based KD): Transferência de conhecimento das camadas intermediárias (estados ocultos, atenção) do professor para o aluno. Menos comum na MT, mas com resultados promissores (SOTA) em alguns casos.

B. Estratégias Algorítmicas (Seção 3)

Os autores identificam três eixos de inovação algorítmica:

1. Seleção de Supervisão: Em vez de distilar tudo indiscriminadamente, métodos modernos filtram o sinal de aprendizado.
   • Nível de Token: Remover supervisão em tokens fáceis ou incertos (ex: TIE-KD).
   • Nível de Sentença: Filtrar traduções geradas pelo professor que não são fiéis à referência (evitar ruído).
   • Nível de Representação: Selecionar camadas ou cabeças de atenção específicas para transferência.
2. Expansão de Supervisão:
   • Múltiplos Professores: Agregar conhecimento de vários modelos para diversificar o sinal.
   • Tarefas Proxy: Usar objetivos auxiliares (como Modelagem de Linguagem) para enriquecer a supervisão.
   • Uso de LLMs: Utilizar Grandes Modelos de Linguagem para gerar dados sintéticos ou fornecer feedback de raciocínio, indo além da simples tradução.
3. Reenquadramento de Supervisão: Abordagens que lidam com o "viés de exposição" (exposure bias) e a "lacuna de capacidade" (capacity gap).
   • Uso de aprendizado por reforço (RL) e divergências simétricas para evitar que o aluno colapse em poucos modos (mode-collapse) ou aprenda distribuições excessivamente suaves.

C. Aplicações Específicas (Seção 4)

A KD resolve problemas específicos em quatro áreas:

• MT Multilíngue: Mitiga a "maldição da multilinguagem" (queda de qualidade ao adicionar idiomas) distilando professores bilíngues fortes em um único aluno multilíngue.
• MT de Baixo Recurso (LRMT): Quando não há dados paralelos ou professores fortes, a KD usa dados monolíngues, pivôs de alta qualidade ou LLMs para gerar sinais de supervisão sintéticos.
• Adaptação de Domínio: Combate o "esquecimento catastrófico" ao separar conhecimento geral e específico de domínio, permitindo que o modelo se adapte a novos domínios sem perder a capacidade geral.
• Aplicações Sensíveis ao Tempo:
  • Tradução Simultânea (SiMT): Usa KD para injetar conhecimento de "futuro" (look-ahead) durante o treinamento, melhorando a coerência.
  • Tradução Não-Autoregressiva (NAT): A KD é crucial aqui. O professor autoregressivo gera traduções determinísticas e simplificadas que o aluno NAT consegue aprender mais facilmente, reduzindo a variabilidade do alvo.

D. Resultados Quantitativos e Tendências

• Dominância do Seq-KD: O Seq-KD é o método mais popular (especialmente para LRMT e NAT), seguido pelo Word-KD. A KD baseada em características é marginal, apesar de seu potencial.
• Viés de Avaliação: A maioria dos trabalhos usa apenas o métrico BLEU e conjuntos de dados WMT (focados em inglês). Há uma falta crítica de uso de métricas modernas (COMET, ChrF) e avaliação em pares de idiomas não centrados no inglês.
• Riscos Identificados: A KD, ao reduzir a entropia dos dados (mode reduction), pode levar a:
  • Aumento de alucinações (o aluno memoriza sequências frequentes).
  • Amplificação de viéses (estereótipos de gênero).
  • Desempenho inferior em palavras de baixa frequência.

---

4. Significado e Direções Futuras

O artigo conclui que a KD na MT deve ser reavaliada não apenas como uma ferramenta de compressão, mas como um mecanismo fundamental para moldar a supervisão e reduzir a entropia dos dados.

Recomendações Práticas:

• Para Compressão: Use Word-KD se tiver acesso aos pesos do professor e orçamento computacional limitado; use Seq-KD se o professor for uma caixa-preta (API).
• Para Baixo Recurso: A geração de dados sintéticos via Seq-KD (usando LLMs ou modelos pivô) é essencial.
• Para Arquiteturas: Encoders profundos com decoders rasos são frequentemente a melhor escolha para alunos.

Agenda de Pesquisa:

1. Padronização: Adoção de métricas além do BLEU (COMET, ChrF) e testes em pares de idiomas diversos.
2. Segurança e Ética: Investigação profunda sobre como a KD amplifica viéses e alucinações.
3. Integração com LLMs: Explorar a distilação de LLMs para MT e o uso de auto-distilação (self-distillation) para melhorar modelos gerais.
4. Reprodutibilidade: Liberação de dados sintéticos, sementes de amostragem e checkpoints de alunos.

Em suma, o artigo serve como um guia abrangente para pesquisadores e praticantes, destacando que a escolha do método de KD deve ser guiada pelas restrições de acesso ao professor, orçamento computacional e o objetivo final (compressão vs. regularização vs. adaptação), alertando simultaneamente para os riscos de viés e a necessidade de avaliações mais rigorosas.