Resumo Técnico: Hypernetworks para Seleção Dinâmica de Recursos

Definição do Problema

A Seleção Dinâmica de Recursos (DFS, do inglês Dynamic Feature Selection), também conhecida como aprendizado ativo de recursos, aborda cenários de aprendizado de máquina onde os recursos devem ser adquiridos sequencialmente sob restrições orçamentárias. Diferentemente do aprendizado supervisionado padrão, onde um conjunto fixo de recursos está disponível, a DFS exige que um modelo selecione um subconjunto de recursos para cada amostra individual com base nas informações disponíveis.

O desafio central reside no crescimento exponencial dos possíveis caminhos de aquisição de recursos ($2^M$ para $M$ recursos). As abordagens existentes geralmente dependem de um único preditor compartilhado treinado para performar bem em média em todos os possíveis estados de observação. Os autores argumentam que essa abordagem de "amortização" força um compromisso estrutural: um único conjunto de parâmetros não pode ser simultaneamente ótimo para cada subconjunto possível de recursos. Isso leva a desempenho subótimo em subconjuntos específicos, decisões sequenciais pouco confiáveis e sobreajuste a pequenos subconjuntos de recursos, particularmente quando as políticas de aquisição são enviesadas. Além disso, métodos existentes que condicionam uma rede compartilhada a uma máscara binária (métodos de incorporação) sofrem com limites de complexidade estrutural elevados que escalam com a soma das dimensões de entrada e tarefa, em vez de independentemente.

Metodologia: Hyper-DFS

Para abordar essas limitações, o artigo propõe Hyper-DFS, um framework que utiliza uma hypernetwork para gerar parâmetros de classificador específicos de subconjuntos sob demanda.

1. Arquitetura da Hypernetwork

Em vez de treinar um único preditor compartilhado, o Hyper-DFS emprega uma hypernetwork $g_\phi$ que recebe o "estado de conhecimento" (o conjunto de recursos observados) como entrada e produz os pesos $\theta$ para uma rede preditora principal $f_\theta$. Isso permite que o modelo mantenha um conjunto de parâmetros distinto e ótimo para cada subconjunto de recursos, sem a sobrecarga de memória de armazenar $2^M$ modelos separados.

2. Codificação Suave de Subconjuntos de Recursos (Set Transformer)

Uma inovação crítica é a codificação do subconjunto de recursos. Os autores argumentam que máscaras binárias padrão são sinais de condicionamento pobres porque tratam todas as posições de recursos como intercambiáveis, falhando em capturar relações semânticas entre os recursos.

• Codificador Set Transformer: O método utiliza um Set Transformer (especificamente Blocos de Atenção de Conjunto Induzido) para codificar o subconjunto observado.
• Incorporações de Presença/Ausência: Para cada recurso $i$, o modelo aprende duas incorporações distintas: $e^1_i$ (presente) e $e^0_i$ (ausente). A entrada para o codificador é construída somando essas incorporações com base na máscara binária.
• Espaço de Condicionamento Contínuo: Essa abordagem mapeia máscaras de recursos discretas em uma representação contínua onde subconjuntos funcionalmente similares (aqueles que induzem preditores ótimos similares) estão geometricamente próximos. Essa suavidade ajuda a hypernetwork a generalizar para subconjuntos não vistos, satisfazendo restrições de Lipschitz, garantindo que pequenas mudanças na máscara de entrada não resultem em mudanças drásticas e instáveis nos pesos gerados.

3. Estratégias de Estabilização do Treinamento

Os autores identificam e mitigam duas instabilidades de treinamento específicas inerentes às hypernetworks no cenário de DFS:

• Deriva de Variância: A norma dos pesos gerados pode variar significativamente com a cardinalidade do subconjunto. Isso é resolvido usando o esquema de incorporação de presença/ausência (que mantém o número total de tokens constante em $M$) combinado com normalização $L_2$ do vetor de condicionamento.
• Diluição e Colapso de Gradientes: A mistura de muitos subconjuntos diferentes em um único lote pode causar cancelamento de gradientes, e a rede compressor (usada para reduzir a dimensão de entrada para dados de imagem) é propensa ao colapso de representação. Os autores empregam:
  • Pré-treinamento com Máscaras Restritas: Inicialmente, os lotes usam um número fixo e pequeno de vetores de estado de conhecimento (efetivamente um único subconjunto por lote) para estabilizar a rede principal e o compressor.
  • Aquecimento Linear da Taxa de Aprendizado: Impede que o otimizador dê passos grandes antes que a hypernetwork e o compressor tenham co-adaptado.
  • Perdas Auxiliares: Um regularizador de escala garante que os pesos gerados mantenham variância apropriada, e uma penalidade de variância impede que o codificador ou a hypernetwork colapsem em mapas constantes.

Contribuições Principais

1. Análise Estrutural: O artigo demonstra que as abordagens existentes de DFS com concatenação de máscaras são instâncias de métodos de incorporação com limites de complexidade estrutural elevados ($\Omega(\epsilon^{-(m_1+m_2)})$), enquanto as hypernetworks oferecem um limite mais eficiente ($O(\epsilon^{-m_1/r})$) ao desacoplar a dimensão de condicionamento.
2. Framework Hyper-DFS: Introdução de uma DFS baseada em hypernetwork que gera classificadores específicos de subconjuntos, utilizando Set Transformers para criar um espaço de condicionamento suave e consciente de função.
3. Soluções de Treinamento: Identificação e resolução da deriva de variância e instabilidade de gradientes no treinamento de hypernetworks para DFS por meio de incorporações de ausência, normalização e mascaramento controlado de lotes.
4. Avaliação Abrangente: Avaliação em conjuntos de dados sintéticos, tabulares do mundo real e de imagem, demonstrando desempenho superior e generalização.

Resultados Experimentais

Os autores avaliaram o Hyper-DFS contra oito métodos de DFS mais avançados (incluindo abordagens gananciosas, de aprendizado por reforço e multi-modelo) em diversos conjuntos de dados.

• Dados Tabulares: O Hyper-DFS (e sua variante de ensemble, HyperEns) alcançou a melhor classificação média e a maior média de AUAC-F1 em benchmarks tabulares sintéticos e do mundo real (por exemplo, Diabetes, Metabric, MiniBooNE). Consistentemente superou fortes baselines de modelo único como RePa e VIP.
• Dados de Imagem: Em benchmarks de patches de imagem (MNIST, FashionMNIST, SVHN, Imagenette, PCam), as variantes do Hyper-DFS alcançaram as maiores pontuações em quatro de cinco conjuntos de dados, superando abordagens dedicadas de múltiplos modelos.
• Generalização Zero-Shot: Uma descoberta significativa é a capacidade do Hyper-DFS de generalizar para subconjuntos de recursos nunca vistos durante o treinamento. Em subconjuntos retidos, o Hyper-DFS superou significativamente as baselines de modelo único (como VIP) e foi competitivo ou superior às baselines de múltiplos modelos (como MoE). Isso sugere que o espaço de condicionamento suave captura efetivamente a relação entre subconjuntos de recursos e preditores ótimos.
• Eficiência: Embora treinar uma hypernetwork seja mais caro do que uma única rede, permanece computacionalmente viável e escala melhor do que armazenar centenas de classificadores distintos.

Significado e Alegações

O artigo afirma que a especialização por subconjunto é um requisito fundamental para uma DFS ótima, o que preditores compartilhados não podem alcançar. Ao usar uma hypernetwork, o método proposto preenche a lacuna entre a solução ideal (mas intratável) de ter um preditor único para cada subconjunto e o preditor compartilhado tratável, mas subótimo.

Os autores enfatizam que o espaço de condicionamento suave criado pelo Set Transformer permite que o modelo generalize para combinações de recursos não vistas, uma capacidade crítica para implantação no mundo real onde orçamentos de aquisição podem variar ou novas combinações de recursos podem surgir. Os resultados sugerem que o Hyper-DFS fornece um meio-termo robusto entre abordagens de modelo único amortizadas e métodos caros padrão a padrão, oferecendo melhorias substanciais tanto no desempenho preditivo quanto na generalização zero-shot entre modalidades.