S2MAM: Semi-supervised Meta Additive Model for Robust Estimation and Variable Selection

Resumo Técnico: S2MAM

1. O Problema

A aprendizagem semi-supervisionada (SSL) com regularização de variedade (manifold regularization) é um framework clássico que utiliza grandes quantidades de dados não rotulados junto com dados rotulados limitados. A premissa fundamental é que a distribuição marginal dos dados possui uma estrutura geométrica de uma variedade Riemanniana.

No entanto, os métodos existentes (como LapRLS e LapSVM) enfrentam desafios críticos:

• Sensibilidade a Variáveis Ruinosas: A matriz de Laplaciano do gráfico, usada para regularização, depende de uma métrica de similaridade pré-especificada. Quando os dados contêm variáveis redundantes ou ruidosas, essa métrica torna-se enviesada, degradando severamente a estimativa da estrutura da variedade e a capacidade preditiva.
• Falta de Interpretabilidade e Robustez: Modelos atuais focam apenas na precisão preditiva, ignorando a necessidade de selecionar automaticamente as variáveis informativas e de ser robusto a corrupções nos dados.
• Dificuldade de Validação: É difícil validar a suposição de variedade intrínseca em dados com ruído, e a seleção de variáveis tradicional (em duas etapas) não considera a estrutura da variedade, sendo ineficiente devido à escassez de dados rotulados.

2. Metodologia

O artigo propõe o S2MAM (Semi-Supervised Meta Additive Model), um novo modelo que integra meta-learning, modelos aditivos esparsos e regularização de variedade em um framework de otimização bilevel.

• Modelo Aditivo Esparsos: O modelo assume que a função de decisão é uma soma de funções univariadas ($f(x) = \sum f^{(j)}(x^{(j)})$), permitindo a seleção de variáveis e interpretabilidade.
• Otimização Bilevel com Máscaras:
  • Nível Inferior: Otimiza os parâmetros da função de decisão e a matriz de Laplaciano com base em um conjunto de dados total (rotulados e não rotulados), utilizando uma máscara binária ($m \in \{0,1\}^p$) para filtrar variáveis. A similaridade entre amostras é calculada apenas sobre as variáveis selecionadas pela máscara.
  • Nível Superior: Aprende a máscara ótima minimizando a perda em um conjunto de meta-dados (geralmente os dados rotulados). O objetivo é identificar quais variáveis devem ser mantidas para melhorar a estrutura da variedade.
• Abordagem Probabilística (Solução do NP-Difícil): Como aprender máscaras discretas diretamente é NP-difícil, o S2MAM relaxa o problema para um espaço contínuo de probabilidade. As máscaras são tratadas como variáveis de Bernoulli, onde a probabilidade de seleção é aprendida via estimativa de gradiente de política (policy gradient).
• Algoritmo Eficiente: O método evita o cálculo pesado de Hessianas ou inversões implícitas (comuns em otimização bilevel) utilizando estimadores de gradiente não viesados e projeções estocásticas. Para dados de alta dimensão, utiliza Random Fourier Features (RFF) para reduzir a complexidade computacional.

3. Principais Contribuições

1. Novo Modelo Estatístico: O S2MAM é o primeiro método de meta-learning para modelos aditivos com regularização de variedade. Ele realiza seleção de variáveis automática e estimativa robusta simultaneamente através de um esquema de otimização bilevel.
2. Suporte Computacional e Teórico:
   • Desenvolvimento de um algoritmo de otimização bilevel probabilístico eficiente que resolve o problema de seleção de máscaras discretas.
   • Garantias teóricas de convergência para o algoritmo de gradiente de política.
   • Estabelecimento de limites superiores para o risco excessivo (generalização), provando que o erro de generalização decai polinomialmente, aproveitando a estrutura geométrica dos dados não rotulados.
3. Robustez e Interpretabilidade: Diferente de modelos anteriores, o S2MAM não apenas prevê, mas identifica quais variáveis são informativas, tornando-se robusto a variáveis irrelevantes e ruidosas.

4. Resultados Experimentais

Os autores avaliaram o S2MAM em 4 conjuntos de dados sintéticos e 12 conjuntos de dados do mundo real (incluindo registros clínicos de Alzheimer - ADNI, imagens COIL-20, CelebA-HQ e AgeDB), com diversos níveis de ruído e variáveis irrelevantes.

• Desempenho em Dados Sintéticos: O S2MAM superou consistentemente baselines tradicionais (LapSVM, LapRLS) e métodos esparsos supervisionados (SpAM, Lasso) na presença de variáveis ruidosas, mantendo alta precisão e baixa variância.
• Dados Reais (ADNI): Em tarefas de regressão com dados clínicos de alta dimensão, o S2MAM alcançou o menor Erro Quadrático Médio (MSE), superando métodos de SSL profundos e tradicionais, demonstrando capacidade de isolar a estrutura de variedade informativa mesmo com ruído.
• Imagens de Alta Dimensão: Em tarefas de classificação (COIL-20, CelebA-HQ), o S2MAM (e sua versão acelerada S2MAM-F) alcançou a maior acurácia, superando métodos profundos como FlexMatch e SemiReward, mas com um custo computacional significativamente menor (ex: 2.4 min vs 35 min no CelebA-HQ).
• Interpretabilidade: O modelo consegue identificar corretamente as variáveis relevantes, enquanto outros métodos sofrem com a distorção causada por variáveis ruidosas na construção do gráfico de similaridade.

5. Significado e Impacto

O S2MAM representa um avanço significativo na aprendizagem semi-supervisionada ao resolver o dilema entre robustez, interpretabilidade e eficiência.

• Quebra de Paradigma: Move-se da dependência de métricas de similaridade pré-definidas para uma construção adaptativa e orientada por dados da estrutura da variedade.
• Aplicabilidade Prática: Oferece uma solução viável para cenários reais onde os dados são frequentemente ruidosos e de alta dimensão, permitindo que modelos complexos sejam interpretáveis e confiáveis.
• Futuro: O trabalho abre caminho para o uso de otimização bilevel em seleção de variáveis para SSL e sugere extensões para cenários ultra-dimensionais.

Em suma, o S2MAM demonstra que a integração de meta-learning com modelos aditivos esparsos em um framework de variedade pode superar as limitações de robustez e interpretabilidade dos métodos de estado da arte atuais.