GATES: Self-Distillation under Privileged Context with Consensus Gating

Título: GATES: Auto-Distilação sob Contexto Privilegiado com Portão de Consenso

1. O Problema

O artigo aborda o desafio de realizar o fine-tuning (ajuste fino) e a melhoria de modelos de linguagem na ausência de supervisão externa confiável. Especificamente, o cenário não possui:

• Rótulos de verdade fundamental (ground truth).
• Recompensas verificáveis.
• Avaliadores externos para julgar as respostas.

O foco é no Resposta a Perguntas Baseada em Documentos com Assimetria de Contexto:

• Tutor: O modelo tem acesso ao documento de referência durante o treinamento, permitindo raciocínio baseado em evidências.
• Aluno: O mesmo modelo (com os mesmos pesos) deve responder apenas à pergunta, sem acesso ao documento, no momento do teste.

O problema central é que a auto-distilação ingênua (onde o modelo tenta aprender consigo mesmo) tende a reforçar erros sistemáticos ou atalhos degenerados, pois o "professor" (tutor) não é um oráculo infalível; ele ainda pode errar mesmo com o documento.

2. Metodologia: GATES

Os autores propõem o GATES (Gated Asymmetric Trajectory Self-distillation), um método que permite a auto-improvação sem rótulos externos, utilizando o consenso entre múltiplas gerações do tutor como sinal de confiabilidade.

Mecanismos Principais:

1. Assimetria de Contexto:

   • O mesmo modelo $\pi_\theta$ atua como tutor (condicionado a $d, q$) e aluno (condicionado apenas a $q$).
   • Essa diferença de entrada cria um desequilíbrio onde o tutor tem uma vantagem de raciocínio, tornando a transferência de conhecimento possível.

2. Portão de Consenso (Consensus Gating):

   • Para cada pergunta de treinamento, o tutor gera $k$ trajetórias de raciocínio independentes (rollouts).
   • Um portão de nível de pergunta verifica se pelo menos $\tau$ das $k$ respostas concordam com a mesma resposta final.
   • Se houver consenso forte: A pergunta é considerada confiável. As trajetórias completas do tutor são usadas para treinar o aluno.
   • Se houver consenso fraco: A pergunta é descartada completamente (perda zero), evitando a propagação de erros.

3. Distilação de Trajetória (Trajectory Distillation):

   • Diferente de métodos que usam apenas a resposta final, o GATES distila a trajetória completa de raciocínio (token a token).
   • Isso fornece um sinal de aprendizado denso e estável.
   • O método suporta dois modos:
     • Off-policy: O aluno imita diretamente as trajetórias elegíveis do tutor.
     • On-policy: O aluno gera suas próprias trajetórias, e o tutor pontua os tokens com base na probabilidade dada o contexto do documento, criando um sinal de vantagem (advantage) para tokens onde o tutor (com documento) é mais confiante que o aluno.

4. Objetivo de Treinamento:

   • A função de perda combina a distilação off-policy e on-policy, ponderada por hiperparâmetros, mas sem necessidade de recompensas de correção verificadas.
   • Inclui guardrails para evitar "vazamento de documento" (o aluno não deve aprender a citar o documento que não terá no teste).

3. Contribuições Chave

• Formalização da Auto-Distilação Assimétrica: Definir um cenário onde um único modelo atua como tutor e aluno sob contextos de entrada diferentes, permitindo auto-improvação sem rótulos externos.
• Introdução do GATES: Um mecanismo que usa o acordo entre múltiplas gerações do tutor para filtrar quais trajetórias de raciocínio são dignas de serem distiladas.
• Evidência Empírica do Portão de Consenso: Demonstrar que o portão de consenso é o componente crítico. Removê-lo faz o desempenho cair para níveis semelhantes à distilação de trajetória não filtrada, provando que a filtragem de confiabilidade é essencial para evitar o colapso do auto-reforço.

4. Resultados Experimentais

Os experimentos foram realizados com o modelo base Qwen3-4B em um conjunto de dados de matemática (Nemotron-CC-Math).

• Desempenho In-Domain (Assimétrico):

  • A precisão do aluno (sem documento) no conjunto de teste retido aumentou de 46,0% (base) para 62,0% com o GATES.
  • Métodos ingênuos, como fine-tuning apenas com a resposta final (Answer-Only SFT), degradaram o desempenho para 10-12%.

• Desempenho Out-of-Domain (Benchmarks Públicos):

  • Em benchmarks de matemática sem documentos (MATH, AMC, Minerva, OlympiadBench), a precisão média (maj@8) melhorou de 20,2% (modelo pré-treinado) para 35,4% com o GATES.
  • O GATES superou todas as linhas de base, incluindo RL baseado em recompensa e distilação de trajetória sem filtragem.

• Ablações:

  • Remover o portão de consenso resultou em uma queda significativa de desempenho, confirmando que a filtragem de confiabilidade é o "ingrediente ativo".
  • Adicionar uma recompensa de correção esparsa (baseada em oráculo) não trouxe benefícios adicionais e, em alguns casos, reduziu o desempenho, sugerindo que o consenso é suficiente.

5. Significado e Conclusão

O trabalho demonstra que é possível realizar auto-improvação robusta em modelos de linguagem sem depender de dados rotulados ou avaliadores externos, desde que exista uma fonte de assimetria de informação (como um documento de referência) e um mecanismo de verificação de consistência (consenso).

• Inovação: O GATES resolve o problema de "alucinação" na auto-distilação ao garantir que o aluno só aprenda de raciocínios que o próprio modelo (com acesso às evidências) considera consistentes.
• Implicação: O método oferece um caminho viável para escalar o treinamento de modelos de raciocínio em domínios onde a verificação de fatos é difícil ou custosa, transformando a consistência interna em um sinal de supervisão confiável.
• Limitações: O método depende da capacidade do tutor de gerar raciocínios diversos e corretos; se o tutor for enviesado ou incapaz, o consenso pode refletir erros compartilhados. Além disso, requer múltiplas gerações por pergunta, aumentando o custo computacional no treinamento.

Em resumo, o GATES estabelece que a distilação de trajetória densa, quando gated por consenso, é uma estratégia superior e suficiente para a auto-aprendizagem em cenários de supervisão não confiável.