Resumo Técnico: Inferência Federada Baseada em Consenso de Embeddings (CE-FI)

1. Declaração do Problema

O artigo aborda o desafio de habilitar inferência cooperativa entre múltiplos modelos de aprendizado de máquina implantados independentemente em ambientes distribuídos. Embora haja uma demanda crescente para aproveitar múltiplos modelos a fim de melhorar o desempenho da inferência, os frameworks existentes enfrentam limitações significativas em cenários sensíveis à privacidade ou entre organizações:

• Aprendizado Federado (FL) tipicamente exige a compartilhamento de atualizações de modelo ou parâmetros, o que arrisca ataques de inversão de modelo e viola restrições de propriedade intelectual.
• Inferência Federada (FI) Padrão frequentemente assume que todos os clientes compartilham os mesmos dados de entrada brutos ou utilizam uma arquitetura de codificador comum para gerar representações intermediárias compatíveis.
• Abordagens de Ensemble de Borda dependem de um codificador compartilhado, o que é frequentemente inviável quando os modelos são heterogêneos (arquiteturas diferentes) ou quando até mesmo a divulgação parcial do modelo é proibida.

Consequentemente, não existe um framework existente que permita que modelos heterogêneos e pré-treinados cooperem no momento da inferência sem compartilhar entradas brutas, parâmetros de modelo ou assumir um codificador comum, e sem exigir dados rotulados para a fase cooperativa.

2. Metodologia: Framework CE-FI

Os autores propõem a Inferência Federada Baseada em Consenso de Embeddings (CE-FI), um framework projetado para conectar espaços de características heterogêneos usando apenas representações intermediárias e dados não rotulados.

Modelo de Sistema

• Ambiente: Um cenário cross-silo com $K$ dispositivos, cada um mantendo um modelo pré-treinado local $M_k$ (composto por uma rede de cabeça $M^H_k$ e uma rede de cauda $M^T_k$).
• Restrições: Os dispositivos não podem compartilhar entradas brutas $x$, parâmetros de modelo ou arquiteturas. Eles podem apenas compartilhar características intermediárias.
• Suposição de Dados: Um conjunto de dados não rotulados compartilhado $D_{share}$ é acessível a todos os dispositivos (por exemplo, dados de log públicos ou dados de sensores), mas nenhum dado rotulado está disponível para a fase de treinamento cooperativo.

Componentes Principais

O CE-FI introduz duas camadas aprendíveis por dispositivo, treinadas de maneira auto-supervisionada:

1. Camada de Embedding de Consenso (CE) ($F_k$):

   • Função: Mapeia a característica intermediária específica do dispositivo $z_k = M^H_k(x)$ para um espaço de embedding compartilhado e agnóstico ao dispositivo $z'_k = F_k(z_k)$.
   • Treinamento: Otimizado via aprendizado contrastivo (especificamente uma aproximação da perda NT-Xent) usando os dados não rotulados compartilhados. O objetivo é alinhar embeddings de diferentes dispositivos para a mesma amostra de entrada em direção a um centróide comum, minimizando a distância entre $z'_i$ e $z'_j$ para o mesmo $x$.
   • Privacidade: Apenas os embeddings de consenso são trocados; as entradas brutas e as características intermediárias originais permanecem locais.

2. Camada de Saída Cooperativa (CO) ($G_k$):

   • Função: Mapeia o embedding de consenso $z'_k$ de volta para logits de saída específicos da tarefa $m'_k = G_k(z'_k)$.
   • Treinamento: Otimizado via distilação de conhecimento usando o modelo pré-treinado local como um "professor". A camada CO minimiza a divergência de Kullback–Leibler (KL) entre sua saída e os logits produzidos pela rede de cauda do modelo local ($M^T_k$) nos dados não rotulados compartilhados.
   • Objetivo: Permite que o dispositivo gere previsões precisas baseadas exclusivamente no embedding de consenso compartilhado.

Inferência e Agregação

Durante a inferência, um dispositivo processa uma entrada $x$ através de suas camadas de cabeça e CE para gerar um embedding de consenso, que é compartilhado com outros dispositivos. Cada dispositivo destinatário processa esse embedding através de sua camada CO para gerar logits.

• Estratégia de Ensemble: O artigo avalia vários métodos de agregação. Destaca-se que Energia Mínima (selecionar o dispositivo com a pontuação de energia mais baixa derivada dos logits) é eficaz para lidar com amostras Fora de Distribuição (OOD) e discrepâncias graves de rótulos, frequentemente superando a média simples ou votação em configurações altamente não-IID.

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Inferência Cooperativa sem Compartilhamento de Entradas ou Modelos: O CE-FI alcança cooperação entre modelos pré-treinados heterogêneos sem compartilhar parâmetros, entradas brutas ou assumir um codificador comum. Ele depende exclusivamente da troca de características intermediárias e aprendizado auto-supervisionado.
2. Treinamento Auto-Supervisionado: O framework introduz uma camada de embedding baseada em aprendizado contrastivo e uma camada de predição baseada em distilação de conhecimento, ambas treinadas exclusivamente em dados não rotulados, reduzindo custos de anotação.
3. Caracterização Teórica: Os autores analisam formalmente a relação entre CE-FI e FI com compartilhamento de entrada convencional. Eles demonstram que, sob condições ideais de alinhamento, o CE-FI é teoricamente equivalente à FI com compartilhamento de entrada, e derivam limites mostrando que a degradação de desempenho é proporcional ao erro no alinhamento do embedding de consenso.
4. Avaliação Abrangente: Experimentos extensivos em tarefas de imagem (CIFAR-10/100), texto (IMDB) e séries temporais (UCI-HAR) sob diversas condições não-IID (incluindo conjuntos de rótulos disjuntos) validam a eficácia do framework.

4. Resultados Experimentais

• Desempenho vs. Baselines: O CE-FI supera consistentemente a Inferência Solo em todas as modalidades e condições não-IID. Em muitos cenários, ele se aproxima do desempenho da FI com Compartilhamento de Entrada e do Ensemble de Borda, apesar de operar sob restrições mais rigorosas.
• Heterogeneidade: O framework permanece eficaz mesmo quando os dispositivos utilizam diferentes arquiteturas de codificador (por exemplo, ViT, ResNet, ConvNeXt) e diferentes objetivos de pré-treinamento (Supervisionado, CLIP, DINOv3).
• Sensibilidade do Ensemble: A escolha da estratégia de ensemble é crítica. Embora a votação suave funcione bem em configurações não-IID leves, a seleção por Energia Mínima melhora significativamente a robustez em condições não-IID severas (Distorcidas/Disjuntas) filtrando previsões não confiáveis de dispositivos que carecem de classes específicas.
• Do Zero vs. Pré-treinado: O CE-FI funciona mesmo quando os modelos são treinados do zero, embora os ganhos de desempenho sejam mais pronunciados com codificadores pré-treinados. O estudo identifica que a qualidade da estrutura semântica subjacente nos espaços de características locais limita o desempenho em configurações do zero.
• Análise de Gargalo: Estudos de ablação revelam que o alinhamento de representações na camada CE é o principal gargalo. Forçar um espaço de embedding de consenso unificado melhora significativamente a precisão, particularmente em configurações do zero, enquanto excluir dados OOD do treinamento tem impacto negligenciável.
• Privacidade e Reconstrução: Ataques de reconstrução (usando DCGAN) em embeddings de consenso produziram reconstruções de baixa qualidade (RMSE ~0,22, SSIM ~0,16), sugerindo que compartilhar embeddings de consenso não revela trivialmente entradas brutas, embora não seja imune a todos os riscos de privacidade.
• Custo de Comunicação: Em tarefas de classificação de imagem, transmitir embeddings de consenso de 256 dimensões (2,1 KB) foi mais eficiente do que transmitir imagens brutas (4,6–6,2 KB).

5. Significado e Alegações

O artigo afirma que o CE-FI representa um passo significativo em direção a uma IA distribuída prática e preservadora de privacidade. Ao remover as suposições de entradas compartilhadas e codificadores comuns, ele habilita a cooperação em cenários onde a Inferência Federada tradicional é inviável (por exemplo, diagnósticos médicos com modelos proprietários e leis estritas de privacidade de dados).

Os autores mantêm um tom modesto em relação aos resultados:

• Eles reconhecem que, embora o CE-FI se aproxime do desempenho da FI convencional, uma lacuna permanece, principalmente devido ao alinhamento imperfeito de representações.
• Eles observam que a estratégia de ensemble ótima depende fortemente da modalidade e do grau de não-IID, sugerindo que um método de agregação "tamanho único" é subótimo.
• Eles identificam o alinhamento de representações como o desafio central para melhoria futura, e não apenas filtragem de dados ou seleção de ensemble.

Em última análise, o trabalho fornece uma prova de conceito de que a inferência cooperativa é alcançável sob as restrições mais estritas de privacidade de dados e modelos, aproveitando apenas dados não rotulados compartilhados e representações intermediárias.