Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

Resumo Técnico: Prefixo Ensina, Sufixo Desvanece: Colapso da Ensinaibilidade Local em Distilação On-Policy de Forte para Fraco

1. Definição do Problema

O artigo aborda um modo de falha específico na Distilação On-Policy (OPD), particularmente em configurações de forte para fraco, onde um modelo professor significativamente maior supervisiona um modelo estudante menor. Enquanto a literatura prévia assume que a supervisão densa em toda uma trajetória gerada é uniformemente benéfica, desde que haja feedback do professor, os autores argumentam que essa suposição é excessivamente grosseira.

O problema central identificado é o Colapso da Ensinaibilidade Local. Na OPD de forte para fraco, mesmo quando uma vantagem professor-estudante não nula persiste ao longo de uma resposta, o contraste local do feedback do professor frequentemente decai em segmentos posteriores. Especificamente:

• O professor pode continuar a fornecer um sinal global de preferência (vantagem média não nula).
• No entanto, o poder discriminativo desse sinal diminui; o professor falha em distinguir nitidamente as ações candidatas principais do estudante na região local.
• Aplicar supervisão densa a essas regiões de baixo contraste otimiza sobre "ruído de baixa informatividade" em vez de fornecer priorização significativa para o estudante, potencialmente degradando o desempenho ou falhando em preservar capacidades fora do domínio.

2. Metodologia

Os autores propõem uma regra de liberação específica da trajetória para mitigar o colapso da ensinaibilidade local. Em vez de aplicar supervisão uniforme ou usar um comprimento de prefixo global fixo, o método determina dinamicamente onde truncar a supervisão densa com base na utilidade local do sinal do professor.

Componentes Chave do Método:

1. Margem Local do Professor por Estado:

   • Em vez de confiar na variância da vantagem do token amostrado ($A_t$), que pode ser instável, o método avalia a capacidade do professor de discriminar entre as ações alcançáveis do estudante.
   • Em cada prefixo, o conjunto de $K$ candidatos principais do estudante ($C_t$) é construído.
   • A margem do competidor mais próximo do professor ($M_t$) é calculada como a diferença de log-probabilidade entre os candidatos de 1º e 2º lugar do professor dentro de $C_t$:
     $$M_t = \log p_T(a^{(1)}_t) - \log p_T(a^{(2)}_t)$$
   • Uma queda sustentada em $M_t$ indica que a orientação do professor tornou-se localmente plana (menos acionável).

2. Agregação ao Nível de Frase:

   • Para mitigar artefatos ao nível de token, as margens são agregadas sobre segmentos de frases tokenizados pelo NLTK ($B_i$).
   • O sinal ao nível de segmento $S_i$ é definido como:
     $$S_i = \log \left(1 + \frac{1}{|B_i|} \sum_{t \in B_i} M_t \right)$$

3. Detecção de Ponto de Mudança Estilo BIC:

   • A sequência de sinais de segmento $\{S_i\}$ é analisada para detectar uma mudança descendente.
   • O método compara um modelo "sem mudança" ($H_0$) contra um modelo "uma queda" ($H_1$) onde existe um ponto de mudança $\tau$ tal que o sinal médio cai ($\mu_{pre} > \mu_{post}$).
   • Um critério RSS-BIC Perfilado é usado para selecionar o ponto de mudança ótimo $\tau^*$, penalizando a complexidade do modelo para evitar falsos positivos decorrentes de flutuações aleatórias.
   • Se uma mudança descendente significativa for detectada, a supervisão densa é mascarada para todos os tokens que seguem o limite de segmento detectado.

4. Redimensionamento da Massa de Perda:

   • Para garantir que a magnitude do gradiente permaneça consistente apesar do truncamento, as vantagens do prefixo retidas são redimensionadas:
     $$A'_t = A_t \cdot q_t \cdot \frac{\sum l_t}{\sum l_t q_t}$$
   • Aqui, $q_t$ é a máscara de prefixo (1 antes do corte, 0 após), e $l_t$ é a máscara de perda original.

3. Contribuições Principais

O artigo faz três contribuições primárias:

1. Identificação do Colapso da Ensinaibilidade Local: Os autores diagnosticam que, na OPD de forte para fraco, a vantagem professor-estudante pode permanecer não nula enquanto o poder discriminativo local (contraste) decai. Isso revela que a supervisão densa em toda a trajetória nem sempre é ótima.
2. Uma Regra de Liberação Específica da Trajetória: Eles introduzem um mecanismo para determinar se o feedback do professor permanece localmente acionável. Essa regra usa a margem de 1º/2º lugar do professor sobre os $K$ candidatos principais do estudante, agrega-a sobre segmentos de frases e termina a supervisão após um ponto de mudança estatístico descendente.
3. Validação Empírica: O método é validado em várias configurações de distilação de forte para fraco do Qwen3 (estudantes de 1,7B, 4B e 8B). A regra de liberação supera consistentemente a OPD completa de trajetória padrão e baselines de prefixo fixo em benchmarks dentro do domínio e preserva melhor as capacidades fora do domínio.

4. Resultados Experimentais

Os experimentos foram conduzidos usando a família de modelos Qwen3 (Professor: Qwen3-30B-A3B-Instruct-2507; Estudantes: 1,7B, 4B, 8B) em cinco benchmarks de matemática dentro do domínio (AIME25, HMMT25, MATH500, Minerva) e um benchmark fora do domínio (GPQA).

• Ganhos de Desempenho: Para o estudante de 1,7B, o método proposto alcançou uma pontuação média de 40,1% nos cinco benchmarks de matemática, comparado a 36,8% para a OPD completa padrão e 39,3% para a melhor baseline de prefixo fixo (2048 tokens).
• Preservação Fora do Domínio: O método melhorou as pontuações do GPQA (42,4%) em comparação com a OPD completa (40,7%), sugerindo uma melhor preservação de capacidades gerais.
• Escalonamento: Os benefícios persistiram para estudantes maiores (4B e 8B), onde a regra de liberação superou consistentemente a OPD completa e outras baselines (por exemplo, 55,2% de média para 8B versus 53,1% para OPD completa).
• Ablação: Um controle de "liberação aleatória" (permutando pontos de liberação entre amostras) resultou em desempenho inferior (38,0% de média), confirmando que o ponto de liberação deve ser acoplado ao sinal de ensinaibilidade local da trajetória específica.
• Sensibilidade ao Tamanho do Suporte: O método foi robusto a variações no tamanho do suporte $K$ dos $K$ principais do estudante ($K \in \{2, 4, 16, 32\}$), com $K=4$ produzindo os melhores resultados.

5. Significado e Alegações

O artigo alega que a distilação on-policy eficaz de forte para fraco requer avaliar não apenas a disponibilidade da orientação do professor, mas também sua utilidade local.

• Insight Central: A supervisão densa deve concentrar-se em regiões da trajetória onde o feedback do professor permanece discriminativo. Uma vez que o contraste local do professor colapsa (torna-se plano), continuar a supervisão densa fornece sinais de aprendizado negligenciáveis e pode introduzir ruído.
• Implicação Prática: A regra de liberação proposta oferece uma maneira principial de "desvanecer" a supervisão (Prefixo Ensina, Sufixo Desvanece) sem alterar o objetivo subjacente da OPD. Garante que o feedback gerado permaneça "ensinável" para o estudante.
• Modéstia: Os autores notam que sua implementação atual realiza uma passagem de diagnóstico após a geração completa da rolagem e não encurta inerentemente o processo de geração (diferente do FastOPD), significando que os ganhos de eficiência são uma consideração secundária à validação do sinal de ensinaibilidade. Eles afirmam explicitamente que a regra é uma heurística prática para validar a alegação central, em vez de uma garantia teórica de que todos os tokens pós-liberação são prejudiciais.