Resumo Técnico: Aprendizado Supervisionado como um Procedimento Não Supervisionado de Dois Estágios

Declaração do Problema

O artigo aborda uma questão fundamental no aprendizado de máquina: os rótulos de saída ($y$) são estritamente necessários para treinar modelos supervisionados, ou a estrutura do modelo pode ser aprendida inteiramente de maneira não supervisionada? Enquanto o aprendizado não supervisionado opera sem acesso a $y$, o aprendizado supervisionado tradicionalmente depende de $y$ para otimizar os parâmetros do modelo. Os autores investigam se o aprendizado supervisionado pode ser decomposto em um procedimento de dois estágios onde (1) todos os parâmetros do modelo (especificamente o "suavizador" ou representação do espaço de entrada) são selecionados sem acesso a $y$, e (2) as saídas $y$ são adicionadas apenas após os parâmetros serem fixados para gerar previsões.

Metodologia

1. O Framework do Suavizador (Smoother)

A principal contribuição teórica é a formulação de modelos supervisionados como suavizadores lineares. Um modelo é expresso como:
$$\hat{f}^* = s^{*\top} y$$
onde $\hat{f}^*$ é a previsão para um novo covariável $x^*$, e $s^*$ é um vetor suavizador (ou matriz $S$ para dados intra-amostra) que depende dos covariáveis de treinamento $X$ e potencialmente de hiperparâmetros do modelo, mas não depende das saídas $y$.

• Para modelos lineares (ex: Regressão Ridge), $s^*$ é derivado diretamente da solução de forma fechada.
• Para modelos não lineares (ex: Redes Neurais, Florestas Aleatórias), os autores demonstram como expressá-los como suavizadores. Para Redes Neurais, isso utiliza o framework do Kernel de Tangente Neural (NTK), tratando a rede como um suavizador linear onde a matriz suavizadora é atualizada iterativamente durante o treinamento, mas permanece independente do verdadeiro $y$ se os rótulos de treinamento forem substituídos.

2. Seleção de Modelo Sem $y$ (MSV)

Para selecionar hiperparâmetros do modelo (ex: força de regularização $\lambda$, largura de banda do kernel ou tempo de parada) sem acesso a $y$, os autores propõem um critério baseado na variância das previsões fora da amostra.

• Premissa: Para um modelo que generaliza bem, a distribuição das previsões fora da amostra $\hat{f}^*_v$ deve corresponder aproximadamente à distribuição dos dados observados $y$.
• Critério: O método minimiza a diferença entre a variância da amostra de $y$ e a variância da amostra das previsões em um conjunto de covariáveis de validação $X^*_v$ (que são geradas a partir da distribuição de treinamento, mas não possuem rótulos associados).
• Implementação livre de $y$: A função objetivo envolve um termo da forma $|y^\top A y|$. Para torná-lo independente de $y$, os autores substituem $y$ por um vetor aleatório $y_R$ (ou o vetor zero). Ao tirar a esperança sobre $y_R$, o objetivo simplifica-se para minimizar uma norma da matriz $A$ (especificamente a seminorma de traço ou norma de Frobenius), denominada MSV-Tr (Correspondência de Variâncias de Amostra - Traço).
  $$\text{Minimizar } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  Isso permite a seleção de hiperparâmetros usando apenas $X$ e $X^*_v$ gerados, contornando completamente a necessidade de $y$ durante a fase de seleção.

3. Análise Teórica

O artigo fornece uma análise de decomposição viés-variância para regressão ridge linear no limite assintótico ($n, d \to \infty$).

• Proposição 1: Mostra que o MSV-Tr seleciona o modelo tal que a variância da função inferida é igual à variância do ruído de medição ($\sigma^2_\epsilon$).
• Teorema 1: Para regressão ridge linear, os autores derivam uma expressão de forma fechada para o parâmetro de regularização ótimo $\lambda$ selecionado pelo MSV-Tr. Eles provam que o risco assintótico fora da amostra deste método é limitado em relação ao risco teoricamente ótimo (que requer conhecimento da razão sinal-ruído). Especificamente, para razões sinal-ruído (SNR) em $[1, 80]$, a razão de risco é limitada por 2,45.
• Teorema 2: Demonstra que métodos alternativos "livres de $y$", como a Validação Cruzada Generalizada (GCV) e o MSV intra-amostra, falham para a regressão ridge. Eles selecionam ou regularização infinita (zero treinamento) ou regularização zero (overfitting), tornando-os inúteis para a seleção de parâmetros. Apenas o MSV fora da amostra produz uma regularização ótima finita e não nula.

Principais Contribuições

1. Decomposição do Aprendizado Supervisionado: O artigo demonstra que modelos supervisionados padrão (regressão ridge linear/kernel, splines de suavização, k-NN, florestas aleatórias e redes neurais) podem ser treinados em um processo de dois estágios onde a estrutura do modelo é aprendida de forma não supervisionada, e os rótulos são introduzidos apenas na fase de previsão.
2. Novo Critério de Seleção de Modelo (MSV): Introdução de um critério de seleção de modelo baseado na correspondência da variância das previsões fora da amostra com a variância dos dados, que pode ser computado sem acesso a $y$ ao substituir $y$ por ruído aleatório.
3. Limites Teóricos: Estabelecimento de limites de risco assintótico para regressão ridge linear treinada via MSV-Tr, mostrando que ela opera dentro de um fator constante do risco ótimo.
4. Validação Empírica: Experimentos extensos em conjuntos de dados sintéticos e reais (MNIST, CIFIA-10, Produção de Aço, Tempo de Execução de CPU, Supercondutores, Consumo de Energia) mostrando que modelos treinados sem $y$ (usando rótulos aleatórios ou zero durante a fase de seleção de parâmetros) alcançam desempenho comparável ao treinamento padrão baseado em $y$.

Resultados

• Paridade de Desempenho: Nos experimentos, modelos treinados sem $y$ (usando MSV para seleção) alcançaram pontuações de acurácia e $R^2$ muito próximas de seus equivalentes padrão treinados com $y$. Por exemplo, no MNIST, o Classificador de Rede Neural padrão alcançou 0,82 de acurácia, enquanto a versão MSV livre de $y$ alcançou 0,75.
• Falha de Alternativas: O GCV livre de $y$ performou ao nível de um palpite aleatório (ex: 0,1 de acurácia para problemas de 10 classes), confirmando os achados teóricos de que o GCV não pode tornar-se efetivamente livre de $y$ para esses modelos.
• Florestas Aleatórias: Embora o treinamento livre de $y$ tenha funcionado bem para a maioria dos modelos, as Florestas Aleatórias mostraram uma lacuna de desempenho maior em comparação ao treinamento baseado em $y$. Os autores atribuem isso à dependência das divisões de árvores de decisão em relação à variância de $y$, que é perdida quando $y$ é substituído por ruído aleatório.

Significância e Alegações

O artigo afirma que a diferença entre aprendizado supervisionado e não supervisionado é "menos fundamental do que pode parecer". Os resultados sugerem que o principal desafio no aprendizado supervisionado é encontrar uma boa representação do espaço de entrada $x$ (o suavizador $s^*$), o que pode ser alcançado sem rótulos. Os rótulos $y$ são necessários apenas para atribuir valores a essas representações pré-construídas.

Modéstia das Alegações:
Os autores declaram explicitamente que não sugerem excluir $y$ do processo de treinamento em aplicações práticas. Eles reconhecem que:

• A formulação do suavizador escala mal com o tamanho dos dados, particularmente para redes neurais onde o NTK deve ser recalculado iterativamente.
• Seu método não pretende superar as abordagens existentes baseadas em $y$.
• O objetivo é demonstrar a viabilidade e destacar os paralelos teóricos entre aprendizado supervisionado e não supervisionado, em vez de propor um novo padrão para implantação industrial.

O trabalho serve como uma demonstração teórica e empírica de que a seleção de modelos e o aprendizado de representação podem ser desacoplados da informação de rótulo, desafiando a necessidade convencional de rótulos para todo o pipeline de treinamento.