Prediction-Only Distillation in Linear and Logistic Regression

Resumo Técnico: Destilação Apenas de Predição em Regressão Linear e Logística

Problema
A autodestilação (SD) padrão geralmente envolve o retreinamento de um modelo estudante nos dados de treinamento originais rotulados do professor. No entanto, em muitos cenários práticos de implantação, os dados de treinamento rotulados originais não estão disponíveis devido a restrições de privacidade, armazenamento ou segurança. Nestes regimes de "apenas predição", os profissionais têm acesso apenas a um preditor treinado (o professor) e a um fluxo de novas covariáveis não rotuladas, potencialmente fora da distribuição (OOD). A questão central abordada é se tais novas covariáveis não rotuladas podem ser aproveitadas para melhorar um preditor fixo quando os dados de treinamento originais e os parâmetros de regularização específicos do professor são desconhecidos.

Metodologia
Os autores propõem uma estrutura de Destilação de Autopredição Mista (PMSD). O procedimento envolve três estágios:

1. Destilação Pura (PD): Um modelo estudante é treinado em novas covariáveis não rotuladas usando as predições do professor como pseudo-rótulos. Isso gera um estudante "puramente destilado".
2. Mistura Afim: Em vez de implantar apenas o estudante PD, o preditor final é construído como uma combinação afim das predições do professor e das predições do estudante PD: $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$. O peso de mistura $\xi$ é um parâmetro de valor real que não precisa ser restrito ao intervalo $[0, 1]$.
3. Calibração: Como o peso de mistura ideal depende de quantidades populacionais desconhecidas, os autores propõem estimá-lo usando um pequeno conjunto de calibração rotulado independente. Esta estimativa é realizada em uma única etapa pós-treinamento sem retreinar os modelos.

A análise teórica é conduzida sob assintótica proporcional ($n, p \to \infty$ com $p/n$ constante) para dois cenários:

• Regressão Ridge: Analisada sob estruturas de covariância anisotrópicas gerais e sinais determinísticos. Os autores derivam equivalentes determinísticos para o peso de mistura ideal e o risco de predição resultante.
• Regressão Logística: Analisada em um cenário de classificação binária com pseudo-rótulos rígidos (hard), estendendo a análise para cenários onde a taxa de erro do professor é alta (mesmo excedendo 50%).

Principais Contribuições

1. Caracterização Teórica do Risco PMSD: O artigo deriva identidades ótimas exatas e equivalentes determinísticos para o peso de mistura ideal de PMSD e o risco na regressão ridge. Estes resultados sustentam-se para covariâncias anisotrópicas gerais onde as novas covariáveis podem ter uma distribuição (mas matrizes de covariância comutativas) diferente da dos dados de treinamento do professor.
2. Garantias de Melhoria Estrita: Os autores provam que, para quase todo par de níveis de regularização do professor e do estudante, o estudante PMSD misturado de forma ótima supera estritamente o professor. Isso ocorre mesmo quando:
   • As novas covariáveis são fora da distribuição (ex: amostradas de uma distribuição Gaussiana isotrópica).
   • O nível de regularização do professor é desconhecido ou subótimo.
   • A regularização do estudante não é otimizada.
     As únicas exceções ocorrem em pontos específicos de "degenerescência" finitos onde os riscos coincidem.
3. Não-Monotonicidade de Dados Não Rotulados: Contrariando a intuição, o artigo demonstra que aumentar a quantidade de dados não rotulados frescos não melhora monotonicamente o desempenho. No cenário de mesma-$\lambda$ isotrópica, o risco ótimo de PMSD é unimodal em relação ao tamanho da amostra não rotulada; adicionar mais dados além de um certo ponto pode degradar o desempenho.
4. Calibração Consistente sem Retreinamento: Os autores mostram que o peso de mistura ideal não pode ser identificado apenas a partir de dados não rotulados (uma limitação informacional). No entanto, eles provam que um pequeno conjunto de calibração rotulado independente permite a estimativa consistente do peso ideal em uma única etapa pós-hoc, exigindo nenhum ajuste de modelo adicional.
5. Ganhos de Regressão Logística: Estendendo além da perda quadrática, o artigo mostra que a mistura de predição pode superar estritamente tanto o professor quanto o estudante puramente destilado na regressão logística. Notavelmente, mesmo quando o professor e o estudante PD falham em recuperar os rótulos reais (alcançando 0% de acurácia em regimes de alto ruído), o estudante PMSD pode alcançar 100% de acurácia populacional através da extrapolação apropriada via peso de mistura.

Resultados

• Validação Empírica: Experimentos em conjuntos de dados do mundo real (UCI Blog Feedback, Communities and Crime, Airfoil) e dados sintéticos confirmam as previsões teóricas. O estudante PMSD alcança consistentemente um risco de predição quadrático inferior tanto ao professor quanto ao estudante PD através de vários níveis de regularização e estruturas de covariância (incluindo isotrópica e AR1).
• Robustez a OOD: O método permanece eficaz mesmo quando as novas covariáveis são amostradas de uma distribuição isotrópica, distinta da distribuição de treinamento do professor.
• Desempenho de Classificação: Em experimentos de sondagem linear em Caltech-101, Caltech-256 e CIFAR-100 com rótulos corrompidos, o PMSD consistentemente melhora a acurácia de teste sobre o professor e o estudante PD. Os pesos de mistura ideais frequentemente residem fora de $[0, 1]$, validando o uso de combinações afins em vez de convexas.

Significância e Alegações
O artigo afirma que a destilação apenas de predição oferece um método teoricamente fundamentado e praticamente viável para melhorar preditores fixos em ambientes com restrição de dados. Sua significância reside em:

• Preencher a Lacuna de Dados: Fornecer um mecanismo para adaptar modelos quando os dados de treinamento originais são inacessíveis, uma restrição comum em implantações do mundo real.
• Melhoria Genérica: Estabelecer que a melhoria estrita sobre o professor é uma propriedade genérica do esquema PMSD, não dependente de hiperparâmetros finamente ajustados ou alinhamentos distributivos específicos.
• Eficiência Operacional: Demonstrar que os benefícios da destilação podem ser realizados com overhead computacional mínimo (calibração de etapa única) e sem acesso a rótulos de verdade fundamental para os dados frescos.
• Novidade Teórica: Desafiar a suposição de que mais dados não rotulados sempre ajudam, revelando uma relação não-monotônica entre o tamanho da amostra e o risco no cenário de X-fresco.

Os autores posicionam este trabalho como um complemento à literatura existente de autodestilação "same-X", destacando que, enquanto métodos "same-X" podem recuperar o desempenho ótimo dado os dados originais, o PMSD fornece a melhor melhoria possível dados apenas as predições do professor e covariáveis frescas.