Resumo Técnico: DuDi – Destilação de Sinal Duplo com Verbalizador Cross-Lingual

Declaração do Problema

Pequenos Modelos de Linguagem (SLMs) oferecem vantagens significativas em eficiência, escalabilidade e implantação em dispositivos de borda com recursos limitados. No entanto, suas capacidades multilíngues, particularmente para línguas do Sudeste Asiático (SEA), degradam-se severamente quando o tamanho do modelo cai abaixo da escala de bilhões de parâmetros. O Ajuste Fino Supervisionado (SFT) padrão frequentemente resulta em quedas acentuadas de desempenho para modelos subbilionários (ex: Qwen2.5-0.5B) em comparação com seus equivalentes maiores. Embora a Destilação de Conhecimento (KD) seja uma estratégia comum para transferir conhecimento de professores maiores para alunos menores, as abordagens de KD multilíngue existentes são frequentemente limitadas a configurações específicas de tarefas ou falham em unificar efetivamente a supervisão ao nível de sequência e ao nível de token. Além disso, os métodos de destilação padrão costumam enfrentar dificuldades com o descompasso entre treinamento-inferência e a diversidade linguística inerente às línguas do SEA, onde dados de treinamento de alta qualidade são escassos.

Metodologia: O Framework DuDi

Os autores propõem o DuDi (Dual-Signal Distillation with Cross-Lingual Verbalizer), um framework unificado projetado para aprimorar SLMs multilíngues integrando três componentes centrais:

1. Sinal de Nível de Sequência

O DuDi incorpora um objetivo de nível de sequência online inspirado no Self-Play Fine-Tuning (SPIN). Diferente dos métodos iterativos estáticos, o DuDi amostra respostas ($y' \sim \pi_\theta(x)$) em tempo real. O modelo é treinado para diferenciar sua política atual da verdade fundamental (ground-truth) ao maximizar a verossimilhança relativa das respostas de verdade fundamental. Isso guia a política do aluno em direção à verdade fundamental de forma dinâmica.

2. Sinais de Nível de Token (Sinal Duplo)

Para abordar as limitações de depender apenas de dados gerados pelo aluno ou conjuntos de dados estáticos, o DuDi emprega uma abordagem de sinal duplo para supervisão de nível de token:

• Sinal Off-Policy: Derivado do corpus de treinamento, este sinal utiliza os logits fornecidos pelo professor para garantir que o sinal de supervisão permaneça estritamente fundamentado na distribuição da verdade fundamental. Isso evita que a política aprendida se desvie da distribuição de dados alvo.
• Sinal On-Policy: Derivado de respostas geradas pelo aluno ($\tilde{y} \sim \pi_\theta(x)$), este sinal permite que o professor refine as saídas autogeradas pelo aluno, corrigindo erros em tempo real.

3. Verbalizador Cross-Lingual

Para melhorar a transferibilidade de conhecimento em ambientes multilíngues, o DuDi introduz um verbalizador cross-lingual. Este componente transforma um prompt de entrada ($x$), a verdade fundamental ($y$), a língua de origem ($l$) e uma língua alvo amostrada ($l_z$) em um prompt verbalizado estruturado ($z$) para o professor e um prompt correspondente ($p_z$) para o aluno.

• Mecanismo: O professor recebe o prompt na língua de origem com a verdade fundamental como demonstração. O aluno é então instruído a gerar uma resposta na língua alvo (amostrada uniformemente do conjunto de treinamento, excluindo a língua de origem, e incluindo o inglês).
• Objetivo: Isso força o aluno a alinhar sua geração on-policy com a orientação do professor através de fronteiras linguísticas, facilitando sinais de aprendizado mais ricos.

Objetivo de Treinamento Unificado

O objetivo de aprendizado final ($L_{DuDi}$) é uma soma ponderada de:

1. Alinhamento de nível de sequência (estilo SPIN).
2. Destilação de nível de token off-policy (guiada pela verdade fundamental).
3. Destilação de nível de token on-policy (guiada pelo professor via verbalizador cross-lingual).

Principais Contribuições

1. Framework DuDi: Um framework de destilação multilíngue de propósito geral que otimiza conjuntamente objetivos de nível de sequência e supervisão de nível de token de sinal duplo (off-policy e on-policy).
2. Verbalizador Cross-Lingual: Um mecanismo inovador que refina o feedback do professor convertendo entradas e demonstrações em prompts que guiam o aluno a gerar respostas em diferentes línguas alvo, aumentando assim a transferibilidade.
3. Análise Abrangente: Estudos de ablação extensos e análises confirmando que a otimização de nível de sequência, a supervisão de nível de token e a verbalização cross-lingual fornecem sinais de aprendizado complementares e transferíveis.

Resultados Experimentais

Os autores avaliaram o DuDi utilizando o benchmark SEA-HELM através de sete línguas do Sudeste Asiático (indonésio, vietnamita, tailandês, tâmil, tagalo, malaio e birmanês).

• Desempenho: O DuDi superou consistentemente os baselines competitivos, incluindo SFT, DFT, SPIN, SDFT, SeqKD e GKD.
  • No Qwen2.5-0.5B, o DuDi alcançou uma pontuação média de 10,1, superando estatisticamente o segundo melhor baseline (DFT com 9,7) e o SPIN (9,5).
  • O DuDi demonstrou robustez em diferentes famílias de modelos (Qwen2.5, Qwen3, Llama3.2) e escalas (alunos de 0.5B a 1.5B).
  • No cenário Qwen3-0.6B, o DuDi melhorou o desempenho médio em 15,6% sobre o forte baseline GKD.
• Estudos de Ablação:
  • A remoção da destilação off-policy KD causou a maior queda de desempenho (-24,6%), destacando seu papel crítico em fundamentar o modelo na distribuição alvo.
  • A remoção da destilação on-policy KD resultou em uma queda de -6,6%.
  • A remoção do verbalizador causou uma queda de -5,0%.
  • A remoção do Inglês do conjunto de línguas alvo no verbalizador degradou o desempenho, sugerindo que o inglês facilita uma melhor transferência cross-lingual.
• Análise do Verbalizador: A análise da razão de sobreposição mostrou que o verbalizador cross-lingual alcançou a maior concordância entre os logits do professor e do aluno durante os rollouts on-policy, confirmando que ele fornece os sinais de supervisão mais informativos.
• Inicialização: O estudo confirmou que o "cold-start" SFT (inicializando a partir de um modelo ajustado nos dados de verdade fundamental) é crucial; inicializar diretamente de modelos base ou de saídas geradas pelo professor resultou em desempenho significativamente inferior.

Significância e Alegações

O artigo afirma que o DuDi aborda o desafio específico de reduzir a escala das capacidades multilíngues ao fornecer um framework unificado que aproveita sinais de aprendizado complementares. Os autores afirmam que:

• A Otimização Conjunta é Necessária: Os componentes (sinal de sequência, sinais duplos de token e verbalizador) não são independentemente eficazes, mas requerem integração conjunta para alcançar resultados de estado da arte em SLMs multilíngues.
• Transferência Cross-Lingual: O verbalizador cross-lingual é uma inovação chave que melhora a transferibilidade de conhecimento entre professor e aluno, superando as limitações de verbalizadores apenas em inglês ou monolíngues.
• Robustez: O framework é robusto através de diferentes arquiteturas e escalas de modelos, tornando-o uma solução viável para implantar SLMs eficientes em ambientes linguísticos diversos e de baixos recursos, como o Sudeste Asiático.

Os autores concluem que o DuDi oferece um framework de ajuste fino eficaz para SLMs em ambientes multilíngues, com todos os artefatos (código, datasets, modelos) sendo liberados para pesquisa aberta.