Knowledge Distillation Must Account for What It Loses

1. Declaração do Problema

O artigo aborda uma lacuna crítica na avaliação da Distilação de Conhecimento (KD). Atualmente, a pesquisa e a implementação de KD dependem fortemente de métricas primárias (por exemplo, acurácia, pass@k, taxa de vitória) para reivindicar sucesso. A suposição predominante é que, se um modelo aluno corresponder ao modelo professor nessas pontuações principais, ele preservou fielmente as capacidades relevantes do professor.

O autor argumenta que essa "Suposição de Retenção" é logicamente falha e praticamente perigosa.

• A Falha: A correspondência de uma métrica escalar $m(S) \approx m(T)$ não implica equivalência em outras dimensões críticas ($c_i$), como calibração de incerteza, comportamento de limites, privacidade, segurança ou processos de raciocínio.
• A Consequência: Modelos distilados estão sendo cada vez mais implantados como substitutos de modelos de ponta em ambientes de alto risco. No entanto, as métricas principais podem ocultar "perdas fora da métrica", onde o modelo aluno se torna menos confiável, menos seguro ou menos robusto do que o professor, mesmo mantendo alta acurácia.
• A Questão Central: A distilação é tratada como uma "cópia fiel", mas é, na verdade, uma projeção com perdas. As estruturas de avaliação atuais falham em contabilizar o que é perdido durante essa projeção, levando a uma erosão de capacidades não examinada.

2. Metodologia e Estrutura Teórica

O artigo emprega uma reestruturação conceitual e uma síntese da literatura existente para propor um novo paradigma de avaliação.

A. Reenquadramento da Distilação como uma Projeção com Perdas

O autor formaliza a distilação não como uma transferência total de capacidade, mas como uma projeção sobre um subconjunto de observáveis.

• Seja $\Phi(M, x)$ um vetor de todos os observáveis relevantes para o professor (métrica primária, calibração, traços de raciocínio, etc.).
• A distilação otimiza uma projeção $P_A$ sobre um subconjunto de observáveis $A$ (geralmente a métrica primária).
• A Desigualdade: A correspondência da projeção $P_A\Phi(S) \approx P_A\Phi(T)$ não implica $\Phi(S) \approx \Phi(T)$.
• Perda Fora da Métrica: A discrepância em dimensões não projetadas é definida como uma "perda de distilação fora da métrica" ($\Delta_c$). Um aluno pode satisfazer os critérios padrão de retenção de pontuação enquanto incorre em perdas massivas em capacidades críticas fora da métrica.

B. Síntese de Evidências

O autor revisa a literatura existente para demonstrar que a divergência entre professor e aluno não é hipotética, mas uma realidade empírica recorrente. As evidências são sintetizadas em vários domínios:

• Distribuições Preditivas: Alunos frequentemente falham em corresponder às probabilidades suaves ou formas de incerteza do professor.
• Representações Internas: Recursos intermediários e relações de atenção nem sempre são preservados.
• Limites: Robustez, equidade de subgrupos e comportamento de cauda frequentemente degradam, mesmo quando a acurácia média se mantém.
• Privacidade e Memorização: A distilação pode alterar perfis de memorização e riscos de vazamento de associação.
• Processo e Segurança: Fidedignidade do raciocínio, limites de recusa e fundamentação (seleção de citações/evidências) são frequentemente comprometidos.

C. Estrutura Proposta: Preservação Específica de Cenário

Em vez de uma lista de verificação universal, o artigo propõe uma abordagem dependente do contexto:

1. Identificar Capacidades Críticas: Determinar quais capacidades fora da métrica são essenciais para o cenário de implantação específico (por exemplo, calibração para IA médica, limites de recusa para segurança).
2. Definir Alvos de Preservação: Selecionar sinais ou proxies específicos do professor para preservar (por exemplo, estimativas de confiança, traços de ferramentas).
3. Testes de Estresse: Avaliar o aluno em distribuições onde essas capacidades importam (por exemplo, entradas adversariais, consultas ambíguas, dados fora da distribuição).

3. Contribuições Principais

A. Taxonomia de Perdas de Distilação Fora da Métrica

O artigo introduz uma taxonomia abrangente (Tabela 1) que categoriza perdas que as métricas primárias frequentemente ignoram:

• Perda de distribuição preditiva: Perda de probabilidades suaves/entropia.
• Perda de representação/relação: Perda de recursos intermediários ou invariâncias.
• Perda de limite de capacidade: Degradação na robustez OOD ou equidade de subgrupos.
• Perda de privacidade/memorização: Alterações nos riscos de inferência de associação.
• Perda de calibração/abstenção: Perda de confiabilidade da confiança ou capacidade de dizer "não sei".
• Perda de estabilidade de processo/na política: Falha em traços de raciocínio ou recuperação de erros auto-gerados.
• Perda de fundamentação/proveniência: Divergência na seleção de evidências ou fidelidade de citação.
• Perda de limite de segurança: Deslocamentos no limite de recusa/aceitação (recusa excessiva vs. recusa insuficiente).
• Perda de cauda longa/diversidade: Perda de modos raros ou cobertura de minorias em dados sintéticos.

B. Alvos de Preservação Específicos de Cenário (Tabela 2)

O artigo mapeia cenários específicos de distilação para as capacidades fora da métrica que devem ser preservadas:

• Alunos de Raciocínio: Devem preservar a auto-verificação e a confiabilidade do processo, não apenas as respostas finais.
• Agentes de Código/Ferramentas: Devem preservar trajetórias de depuração e recuperação de tentativas falhas.
• Sistemas RAG: Devem preservar políticas de recuperação e fidelidade de citação.
• Modelos de Segurança/Recusa: Devem preservar o limite preciso entre recusas seguras e inseguras.

C. A Declaração de Perda de Distilação

Para operacionalizar isso, o autor propõe um modelo de relatório padronizado (Tabela 3) chamado Declaração de Perda de Distilação. Esta declaração exige que os autores relatem explicitamente:

• Contexto de Implantação: Onde o modelo será usado.
• Capacidades Críticas Fora da Métrica: O que importa além da pontuação primária.
• Alvos de Preservação e Distribuições de Estresse: Como a preservação foi testada.
• Perdas Observadas vs. Aceitas: O que foi perdido e uma justificativa para por que a perda restante é aceitável (ou se é uma divergência corretiva).

4. Resultados e Descobertas

Como um artigo de posição, os "resultados" são a síntese de evidências existentes e o argumento lógico para uma nova norma:

• Prova Lógica: O artigo demonstra que $m(S) \approx m(T) \nRightarrow c_i(S) \approx c_i(T)$.
• Síntese Empírica: Agrega descobertas de diversos subcampos (robustez, privacidade, equidade, raciocínio) mostrando que as perdas fora da métrica são concretas, mensuráveis e recorrentes.
• Viabilidade: O artigo cita trabalhos existentes (por exemplo, testes metamórficos em modelos de código) que medem com sucesso essas perdas, provando que a "contabilidade de perdas" é tecnicamente viável, mesmo que exija mais do que apenas pontuações de acurácia.

5. Significado e Impacto

• Mudança de Retenção de Pontuação para Responsabilidade: O artigo argumenta pela mudança do marco do campo de "quanto de pontuação mantivemos?" para "quais capacidades perdemos e é aceitável?".
• Segurança e Confiabilidade: Ao forçar a contabilidade explícita de perdas em segurança, privacidade e calibração, a proposta visa prevenir a implantação de modelos distilados que são "menores, mas quebrados" de maneiras críticas.
• Padronização: A Declaração de Perda de Distilação fornece um mecanismo para padronizar relatórios, permitindo que revisores e implantadores distinguam entre compressão útil e erosão de capacidades não examinada.
• Avaliação Consciente do Contexto: Rejeita métricas "tamanho único", defendendo estratégias de avaliação adaptadas aos riscos e requisitos específicos do ambiente de implantação pretendido (por exemplo, médico vs. escrita criativa).

Em conclusão, o artigo não exige distilação "sem perdas" (o que é frequentemente impossível ou indesejável). Em vez disso, exige distilação responsável, onde as compensações são tornadas explícitas, medidas onde possível e justificadas com base no caso de uso pretendido.