Resumo Técnico: Supervisão do Professor sobre Classes de Equivalência de Representação

1. Enunciado do Problema

A destilação de conhecimento é tradicionalmente formulada como uma escolha do que deve ser correspondido dentro de um modelo professor: logits (distribuições de saída), características ocultas ou relações de amostras. Esse enquadramento pressupõe que a representação de um professor possui "coordenadas absolutas" que um aluno pode diretamente corresponder.

O artigo argumenta que essa premissa é fundamentalmente falha. Uma representação pré-treinada não é uma matriz fixa, mas é identificável apenas até uma classe de equivalência ortogonal e isotrópica de escala. Porque o "leitor" subsequente (pesos) pode absorver qualquer rotação ou reescalonamento da representação sem alterar a função de saída da rede, as coordenadas específicas de um vetor de características não possuem significado intrínseco. Consequentemente, tentar corresponder as características de um professor "base por base" é um objetivo mal posto. O artigo postula que a capacidade (ex: perplexidade, acurácia top-1) não é uma propriedade da representação em si, mas um invariante da classe de equivalência da representação — especificamente, a função de saída.

2. Metodologia e Estrutura Teórica

2.1 Representação como uma Classe de Equivalência

Os autores definem uma representação $H$ (ativações de camada) não como uma matriz fixa, mas como uma órbita sob a ação do grupo $G = O(d) \times \mathbb{R}^+$ (rotações ortogonais e escala isotrópica).

• Assunção 2.1 (Reparametrização Absorvível): Qualquer mudança de coordenada $h \mapsto c h Q$ em uma representação pode ser neutralizada por uma mudança correspondente nos pesos subsequentes $W_{in} \mapsto c^{-1} Q^\top W_{in}$, deixando a função da rede $f$ inalterada.
• Proposição 2.1 (Mal-posto da Correspondência Absoluta): Como a função é invariante sob essa ação de grupo, uma função de perda que minimiza a distância entre coordenadas absolutas (ex: $\|H_T - H_S\|_F$) é mal posta. Ela penaliza reparametrizações que preservam a função e seu minimizador depende de uma escolha arbitrária de representante dentro da classe de equivalência.

2.2 O Espaço Quociente e a Capacidade

O artigo distingue dois espaços quocientes:

1. Quociente de Representação ($\pi_{rep}$): Colapsa a representação $H$ sozinha para sua classe de equivalência $[H]$. Invariantes aqui incluem a matriz Gram, CKA (Alinhamento de Núcleo Centrado) e ângulos principais. Estes medem a similaridade geométrica, mas não determinam a função de saída.
2. Quociente Conjunto ($\pi_{joint}$): Colapsa o par $(H, \theta_{downstream})$ conjuntamente. A função de saída $f$ é uma função bem definida sobre este quociente conjunto.

A Proposição 3.2 estabelece que a capacidade é um invariante de classe definido no quociente conjunto. Portanto, um objetivo de destilação só pode transferir capacidade se visar o invariante da função de saída neste quociente.

2.3 Taxonomia de Objetivos de Destilação

Com base no framework de quociente, o artigo categoriza as perdas de destilação em três famílias:

• (A) Correspondência Relacional: Visa o quociente de representação (ex: CKA, Gram normalizado). Estes são invariantes à base, mas não transferem capacidade por si só porque ignoram o quadro de coordenadas do leitor.
• (B) Alinhamento seguido de Correspondência (Align-then-Match): Estima um mapa de alinhamento (ex: rotação de Procrustes ou um mapa linear de baixa capacidade $W$) para fixar um representante dentro da classe, e então corresponde as coordenadas absolutas. Isso é necessário para tarefas que exigem o consumo de características específicas de coordenadas (ex: enxerto/grafting), mas introduz ruído de alinhamento.
• (C) Destilação de Logits: Visa o quociente conjunto diretamente ao corresponder distribuições de saída. Como a saída já é uma função da classe conjunta, este objetivo é nativamente definido no quociente correto e não requer um passo de alinhamento.

3. Principais Contribuições

1. Reframing Geométrico: O artigo reformula a supervisão do professor de "corresponder características" para "transferir a classe de equivalência da representação". Ele identifica a capacidade como um invariante de classe (a função de saída) em vez de uma propriedade de uma matriz de características específica.
2. Prova de Mal-posto: Prova formalmente que a correspondência de características absolutas é mal posta porque separa pontos dentro de uma única fibra funcional, penalizando reparametrizações válidas.
3. Taxonomia de Perda: Fornece uma conta geométrica unificada para correspondência de características, destilação relacional, alinhamento e enxerto, distinguindo-os pelo qual parte da estrutura da classe eles fixam.
4. Validação Empírica: Através de experimentos controlados de restauração e destilação de largura cruzada em Qwen2.5 e Llama-3.1, o artigo isola o mecanismo de transferência de capacidade.

4. Resultados Experimentais

4.1 Estudo de Restauração (Qwen2.5, Llama-3.1)

Os autores corromperam um modelo professor reinicializando uma fração de suas camadas e tentaram restaurá-lo usando diferentes objetivos.

• Resultado 1: Treinar apenas com uma perda relacional invariante à base ($L_{CKA}$) restaurou com sucesso a geometria da representação (CKA $\approx$ 0,99), mas falhou em restaurar a capacidade (razão de perplexidade $10^2$–$10^4$ pior, top-1 $\approx$ 0).
• Resultado 2: Treinar apenas com uma perda de logit ($L_{logit}$) restaurou a capacidade quase perfeitamente (razão de perplexidade $\approx$ 1,01, top-1 $\approx$ 0,98) sem alinhar as representações ocultas (CKA permaneceu baixo).
• Conclusão: Alinhar representações e restaurar a função são tarefas quase ortogonais. A capacidade é impulsionada exclusivamente pelo termo da função de saída.

4.2 O Papel do Vínculo de Pesos (Weight Tying)

• Em modelos com embeddings de entrada/saída vinculados (Qwen2.5-0.5B), o cabeçalho de saída é fixo, portanto, a correspondência de logit por si só é suficiente para restaurar a função.
• Em modelos com cabeçalhos não vinculados (Qwen2.5-7B, Llama-3.1-8B), restaurar a capacidade exigiu o treinamento explícito do cabeçalho de saída juntamente com a perda de logit. Isso confirma que o "leitor" deve ser alinhado ao novo quadro de coordenadas da representação.

4.3 Destilação de Largura Cruzada (Cross-Width)

Em um cenário real de destilação de largura cruzada (Professor: 1.5B, Aluno: 0.5B):

• A correspondência apenas de características (mesmo com uma projeção aprendida $W$) causou o colapso do modelo aluno (perplexidade $> 10^6$).
• A correspondência apenas de logits preservou e melhorou ligeiramente o desempenho do aluno.
• Adicionar um termo de característica à correspondência de logit não proporcionou benefício e foi frequentemente levemente prejudicial.
• Um experimento substituto com um mapa de alinhamento otimamente resolvido confirmou que a supervisão apenas de características falha estruturalmente, não devido a dificuldades de otimização.

4.4 Enxerto (Grafting) e Sobreposição de Subespaço

O artigo valida que o sucesso do enxerto de módulos é governado pela sobreposição dos subespaços de fronteira (medida por CKA ou resíduo de Procrustes) entre o doador e o hospedeiro. Alta sobreposição é necessária, mas não suficiente; enxertos próximos à camada de saída falham mesmo com alta sobreposição devido à sensibilidade a pequenos desajustes.

5. Significância e Alegações

O artigo afirma que a intuição de que a destilação acontece "na base" está "certa em espírito, mas errada em letra".

• Alegação Central: A supervisão do professor deve visar a classe de equivalência, não as coordenadas. A capacidade é transferida através do invariante da função de saída.
• Implicação Prática: Para transferir capacidade, a correspondência de logit é o único objetivo nativamente definido no quociente correto. A correspondência de características (mesmo a relacional ou alinhada) é insuficiente para a transferência de capacidade e é útil apenas para transferir a estrutura geométrica ou para tarefas específicas como enxerto, onde o alinhamento de coordenadas é explicitamente requerido.
• Limitação de Escopo: O artigo enfatiza que a destilação é replicação, não criação. Ela transfere a função de saída do professor no subespaço coberto pelo corpus de treinamento. Não pretende gerar novas capacidades além da função existente do professor ou resolver a transferência entre famílias distintas com tokenizadores incompatíveis.

O artigo conclui que "o que o professor sabe vive na classe; o que é transferido é a parte dessa classe que o objetivo e o corpus realmente visam".