Permutation-Invariant Representation Learning for Robust and Privacy-Preserving Feature Selection

Esta versão estendida do artigo apresenta um framework aprimorado de seleção de características que integra representações invariantes a permutações e estratégias de fusão de conhecimento preservadoras de privacidade, permitindo a seleção robusta e eficiente em cenários de aprendizado federado com dados heterogêneos e desbalanceados sem a necessidade de compartilhar informações sensíveis.

O essencial

Imagine que você é um chef de cozinha tentando criar o prato perfeito para um grande evento. Você tem uma despensa gigante com 1.000 ingredientes (os dados). O problema é que usar todos eles deixaria o prato confuso, caro e difícil de cozinhar. Você precisa escolher apenas os melhores ingredientes (a seleção de características) para fazer o prato ficar incrível.

Este artigo apresenta uma nova "inteligência artificial" que ajuda a fazer essa escolha, tanto em uma cozinha centralizada quanto em uma rede de cozinhas espalhadas pelo mundo que não podem compartilhar seus ingredientes secretos.

Aqui está a explicação simplificada:

1. O Problema: A Bagunça na Despensa

Antes, os métodos de escolher ingredientes tinham dois grandes defeitos:

• A Ordem Importava (e não deveria): Se você colocasse "sal" antes de "pimenta" ou vice-versa, o computador achava que era um prato diferente. Mas na vida real, a ordem não muda o sabor! Os métodos antigos ficavam confusos com isso.
• O Mapa Era Falso: Eles tentavam encontrar o melhor caminho em um mapa que parecia uma montanha lisa, mas na verdade era cheia de buracos e picos. Eles ficavam presos em "picos falsos" (soluções ruins) achando que eram o topo da montanha.

2. A Solução Centralizada: O "Chef Robô" (CAPS)

Os autores criaram um sistema chamado CAPS. Pense nele como um robô chef superinteligente:

• O Tradutor Perfeito (Embedding Permutação-Invariante): O robô aprendeu que a ordem dos ingredientes não importa. Ele transforma a lista de ingredientes em um "cheiro" ou "sabor" único. Se você misturar os ingredientes de qualquer jeito, o "cheiro" continua o mesmo. Isso elimina a confusão.
• O Explorador Corajoso (Busca Guiada por Política): Em vez de seguir um mapa falso, o robô usa um agente de "Reforço" (como um jogador de videogame aprendendo a jogar). Ele testa combinações, erra, acerta e aprende a encontrar o caminho mais curto e saboroso, sem se prender a regras rígidas.

Resultado: O robô escolhe menos ingredientes, mas o prato fica muito mais gostoso do que quando usamos os métodos antigos.

3. O Desafio do Mundo Real: Cozinhas Secretas (FedCAPS)

Agora, imagine que você não tem uma única cozinha gigante. Você tem 100 cozinhas diferentes (hospitais, bancos, escolas) espalhadas pelo mundo.

• O Problema da Privacidade: O Hospital A tem receitas de pacientes com câncer, mas não pode enviar os nomes dos pacientes para o Hospital B. É ilegal e antiético.
• O Problema do Desequilíbrio: O Hospital A tem 1 milhão de receitas, mas o Hospital B tem apenas 10. Se misturarmos tudo igualmente, as 10 receitas do Hospital B vão se perder no meio das 1 milhão do Hospital A.

4. A Solução Federada: O "Chef Mestre" (FedCAPS)

Para resolver isso, eles criaram o FedCAPS. É como se cada cozinha tivesse seu próprio assistente, mas todos enviavam apenas "anotações de sabor" para um Chef Mestre, sem enviar os ingredientes reais.

• Troca de Sabores, não de Ingredientes: Cada cozinha envia apenas uma lista de "quais ingredientes funcionaram bem" e "como ficou o prato". Ninguém vê os dados brutos (nomes, fotos, números de cartão de crédito). O Chef Mestre junta essas anotações para criar uma "receita mestra" global.
• O Peso da Voz (Agregação Ponderada): O Chef Mestre é esperto. Ele sabe que a opinião do Hospital A (com 1 milhão de receitas) é mais confiável do que a do Hospital B (com 10 receitas). Então, ele dá mais peso às anotações dos grandes e menos aos pequenos, para que a receita final seja precisa e justa.

5. Por que isso é importante?

• Privacidade: Você pode melhorar a inteligência artificial de um banco ou hospital sem nunca ver os dados sensíveis dos clientes.
• Eficiência: O sistema descobre que você não precisa de 1.000 ingredientes, mas sim de 50 essenciais. Isso economiza tempo e dinheiro.
• Robustez: Funciona bem mesmo quando os dados são bagunçados, desiguais ou vêm de lugares diferentes.

Resumo em uma Metáfora Final

Imagine que você quer descobrir qual é a combinação perfeita de cores para pintar um quadro.

• Método Antigo: Tentava todas as cores em todas as ordens, ficava confuso e demorava anos.
• CAPS (Centralizado): Um pintor genial que entende que "Vermelho + Azul" é o mesmo que "Azul + Vermelho" e usa uma bússola mágica para achar a cor perfeita rapidamente.
• FedCAPS (Federado): Milhares de pintores em casas diferentes, cada um com sua própria paleta secreta. Eles não mostram suas paletas, apenas dizem: "Se eu misturar o azul com o amarelo, fica lindo". Um coordenador junta todas essas dicas, dando mais importância aos pintores que têm mais experiência, e cria a paleta perfeita para o mundo todo, mantendo o segredo de cada um.

O artigo mostra que essa nova abordagem é mais rápida, mais segura e produz resultados melhores do que tudo o que tínhamos antes.

Resumo técnico

Resumo Técnico: FedCAPS e CAPS

1. Problema Abordado

A seleção de características (Feature Selection - FS) é crucial para eliminar redundância, melhorar o desempenho de tarefas subsequentes e reduzir o custo computacional. No entanto, os métodos existentes enfrentam desafios significativos:

• Viés de Permutação: Métodos baseados em aprendizado profundo frequentemente falham em reconhecer que a ordem das características selecionadas não deve impactar o desempenho do modelo. Isso introduz viés no espaço de incorporação (embedding), limitando a eficácia da busca.
• Suposições de Convexidade: Muitos métodos assumem que o espaço de incorporação é convexo, o que leva a buscas baseadas em gradiente que convergem para ótimos locais em vez de globais, devido às complexas interações entre características.
• Desafios em Cenários Federados e Privados: Em cenários reais (como saúde e finanças), os dados estão distribuídos entre vários clientes com restrições de privacidade rigorosas. Além disso, os dados são frequentemente heterogêneos (não-IID) e desbalanceados. Métodos tradicionais de Aprendizado Federado (FL) focam na agregação de parâmetros de modelos, ignorando a fusão de conhecimento de seleção de características, o que pode levar a embeddings globais enviesados por clientes com grandes volumes de dados ou ruídos de clientes pequenos.

2. Metodologia Proposta

Os autores propõem dois frameworks: CAPS (cenário centralizado) e FedCAPS (cenário federado). Ambos utilizam uma abordagem generativa que integra incorporações invariantes à permutação com uma estratégia de busca guiada por política.

A. Framework Centralizado (CAPS)
O CAPS consiste em dois componentes principais:

1. Aprendizado de Incorporação Invariante à Permutação:

   • Utiliza um codificador-decodificador (encoder-decoder) para mapear subconjuntos de características (índices) para um espaço contínuo.
   • Codificador: Emprega blocos de atenção multi-cabeça (Multihead Attention Blocks - MAB) e blocos de atenção de conjunto induzido (Induced Set Attention Blocks - ISAB). O uso de pontos induzidos (inducing points) reduz a complexidade computacional de $O(N^2)$ para $O(NM)$, onde $M \ll N$. A arquitetura garante que qualquer permutação dos índices de entrada resulte no mesmo embedding, eliminando o viés de ordem.
   • Decodificador: Utiliza Pooling by Multihead Attention (PMA) com vetores semente (seed vectors) para reconstruir os índices originais a partir do embedding.
   • Treinamento: O modelo é treinado minimizando a perda de verossimilhança negativa (reconstrução).

2. Busca Multi-objetivo Guiada por Política:

   • Após o treinamento do codificador, um agente de Aprendizado por Reforço (RL), baseado em PPO (Proximal Policy Optimization), explora o espaço de embeddings.
   • Objetivo: Maximizar o desempenho da tarefa downstream e minimizar o tamanho do subconjunto de características.
   • Vantagem: Ao contrário de métodos baseados em gradiente, o RL não assume convexidade, permitindo a exploração de espaços não convexos e a fuga de ótimos locais.

B. Framework Federado (FedCAPS)
O FedCAPS estende o CAPS para cenários distribuídos preservando a privacidade:

1. Agregação de Conhecimento Preservando Privacidade:
   • Os clientes não compartilham dados brutos. Em vez disso, cada cliente coleta registros de seleção de características (índices das características e seu desempenho local) e os envia ao servidor central.
   • O servidor agrega esses registros em um espaço de embedding global unificado usando o módulo codificador-decodificador invariante à permutação.
2. Estratégia de Agregação Ponderada Consciente da Amostra (Sample-Aware Weighted Aggregation):
   • Para mitigar o viés causado por dados desbalanceados (onde clientes com muitos dados dominariam), o sistema atribui pesos aos clientes proporcionalmente ao tamanho de seus conjuntos de dados ($W_c = |D_c| / \sum |D_j|$).
   • O agente de RL avalia as ações (novos embeddings) calculando um desempenho global ponderado, onde o critic (crítico) estima recompensas com base em feedback esparsos dos clientes, reduzindo a sobrecarga de comunicação.

3. Principais Contribuições

• Invariância à Permutação: Introdução de uma arquitetura de codificador-decodificador baseada em atenção que garante que a ordem das características não afete a representação aprendida, resolvendo um viés fundamental em métodos anteriores.
• Busca sem Suposições de Convexidade: Substituição de otimizadores baseados em gradiente por um agente de RL (PPO), permitindo a exploração eficaz de espaços de características complexos e não convexos.
• Fusão de Conhecimento Federada: Desenvolvimento de um mecanismo que agrega conhecimento de seleção de características (e não apenas parâmetros de modelo) de múltiplos clientes sem expor dados sensíveis.
• Robustez a Heterogeneidade: Implementação de uma estratégia de ponderação consciente da amostra para lidar com distribuições de dados desbalanceadas e não-IID em ambientes federados.

4. Resultados Experimentais

Os autores realizaram extensos experimentos em 14 conjuntos de dados públicos (UCI, OpenML, etc.), cobrindo classificação binária, multiclasse e regressão.

• Desempenho no Cenário Centralizado (CAPS): O CAPS superou consistentemente 12 métodos de base (incluindo filtros, wrappers e métodos embutidos como LASSO, mRMR, e outros baseados em RL como SARLFS e MARLFS) em métricas como F1-Score e Micro-F1.
• Desempenho no Cenário Federado (FedCAPS): O FedCAPS obteve o melhor desempenho na maioria dos conjuntos de dados, superando algoritmos padrão de FL como FedAvg, FedProx, FedNTD e MOON.
• Estudos de Ablação:
  • A remoção da invariância à permutação ou da busca guiada por RL resultou em queda significativa de desempenho, confirmando a importância desses componentes.
  • A visualização via t-SNE mostrou que embeddings de subconjuntos permutados permanecem agrupados próximos aos originais, validando a invariância.
• Eficiência e Robustez:
  • O modelo selecionou subconjuntos de características significativamente menores que o conjunto original, mantendo ou melhorando o desempenho.
  • O desempenho foi robusto ao variar o modelo de aprendizado de máquina downstream (Random Forest, XGBoost, SVM, KNN, Decision Tree).
  • A análise de sensibilidade mostrou que o modelo é estável em relação ao hiperparâmetro de trade-off ($\lambda$) entre desempenho e tamanho do subconjunto.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre Seleção de Características Automatizada, Aprendizado por Reforço e Aprendizado Federado.

• Privacidade: Oferece uma solução viável para cenários onde a colaboração de dados é necessária, mas a privacidade é inegociável (ex: hospitais, instituições financeiras).
• Generalização: A capacidade de aprender representações invariantes à permutação e explorar espaços não convexos torna o método mais adaptável a cenários dinâmicos e complexos do mundo real.
• Eficiência: Ao reduzir a dependência de dados brutos e otimizar o número de características, o framework reduz custos computacionais e de armazenamento, facilitando a implantação de modelos de IA em larga escala e em dispositivos com recursos limitados.

Em suma, o FedCAPS estabelece um novo paradigma para a seleção de características colaborativa, superando as limitações de viés de ordem e suposições de convexidade, enquanto garante a privacidade dos dados dos participantes.