Expected Gain-based Escalation in Vertical Federated Learning

Resumo Técnico: Escalonamento Baseado em Ganho Esperado em Aprendizado Federado Vertical

Definição do Problema
No Aprendizado Federado Vertical (VFL), múltiplos clientes detêm diferentes visões do mesmo exemplo, e um servidor agrega essa informação para melhorar o desempenho preditivo. Embora a inferência colaborativa (fusão de representações intermediárias de todos os clientes) geralmente resulte em uma acurácia maior do que a inferência local, ela incorre em um overhead significativo de comunicação e computação. O desafio central abordado neste trabalho é determinar quando invocar essa rota colaborativa dispendiosa. Aplicar a fusão a cada amostra é ineficiente, pois muitos inputs são facilmente resolvidos por predições locais leves. O objetivo é desenvolver uma política de roteamento por amostra que decida se o melhoria esperada na correção justifica o custo adicional de comunicação, especificamente dentro de um protocolo de inferência de duas rodadas.

Metodologia
Os autores propõem uma regra de roteamento analítica baseada na estimativa de ganho esperado, evitando a necessidade de uma rede de roteamento treinada separadamente. O sistema opera em duas rodadas:

1. Rodada 1 (Local): Os clientes transmitem posteriors locais de baixa dimensão para o servidor. O servidor forma uma predição agregada via pooling médio.
2. Rodada 2 (Colaborativa): Se uma amostra for escalonada, os clientes transmitem embeddings de alta dimensão, que são fundidos por um modelo VFL mais forte no lado do servidor.

A decisão de roteamento é modelada como uma política baseada em limiar: escalone se o ganho esperado $E[G | \bar{p}]$ exceder um limiar $\tau$, onde $G$ é a diferença na correção entre as predições da Rodada 2 e da Rodada 1.

Para calcular esse score analiticamente sem treinar um roteador, os autores derivam uma aproximação de plug-in usando dois componentes estimados a partir de dados de calibração retidos (held-out):

1. Posterior Agregado Calibrado: O posterior agregado bruto da Rodada 1 é frequentemente não calibrado. Os autores aplicam um mapa de calibração Dirichlet multiclasse para estimar o posterior de classe condicional $P(y=k | \bar{p})$.
2. Confiabilidade por Classe: Os autores aproximam a correção condicional do modelo da Rodada 2, $P(\hat{y}_{VFL}=k | y=k, \bar{p})$, usando um coeficiente de confiabilidade por classe (a entrada diagonal da matriz de confusão da Rodada 2, $CVFL[k,k]$). Isso assume que, uma vez fixada a classe verdadeira, o desempenho do modelo da Rodada 2 é relativamente estável, independentemente do posterior da Rodada 1.

O score de roteamento final $\hat{s}(\bar{p})$ é calculado como:
$$\hat{s}(\bar{p}) = \sum_{k=0}^{K-1} \hat{m}_{\hat{\phi}}(\bar{p})[k] \cdot (CVFL[k,k] - \mathbb{1}[\hat{y}_{loc} = k])$$
onde $\hat{m}_{\hat{\phi}}$ é o posterior calibrado e $\hat{y}_{loc}$ é a predição da Rodada 1. Uma amostra é escalonada se este score for positivo (ou exceder um limiar controlado por orçamento).

Principais Contribuições

1. Escalonamento Seletivo em Tempo de Inferência: O trabalho formaliza o problema de invocar seletivamente uma rota de VFL colaborativa custosa em um protocolo de duas rodadas, equilibrando acurácia com orçamentos de comunicação.
2. Regra de Roteamento Analítica: Os autores propõem um método que estima o ganho esperado do escalonamento usando apenas o posterior agregado da Rodada 1 e estatísticas de confiabilidade por classe. Esta abordagem não requer o treinamento de um roteador dedicado, tornando-a interpretável e leve.
3. Validação Empírica: O método é validado em benchmarks de classificação multi-view (CIFAR-10, CIFAR-100, ModelNet40), incluindo cenários com degradação controlada de visão no teste (ruído Gaussiano).

Resultados
Experimentos demonstram que o roteador analítico proposto alcança um trade-off superior entre acurácia e escalonamento em comparação com diversas linhas de base:

• vs. Baseado em Confiança: O método proposto supera simples limiares de confiança, indicando que a confiança sozinha é insuficiente para prever o benefício do escalonamento.
• vs. Ganho Aprendido (DIFF-01): A abordagem analítica supera consistentemente um roteador aprendido treinado para regredir o ganho realizado, sugerindo que a aproximação analítica captura efetivamente o sinal essencial de roteamento.
• vs. Learning-to-Defer (L2D): Em orçamentos de escalonamento equivalentes, o roteador proposto alcança maior acurácia e melhor precisão de escalonamento (EP), capturando uma fração maior de escalonamentos benéficos enquanto evita os neutros.
• vs. Oracle: Embora o método proposto não atinja o limite teórico de um oracle (que conhece o ganho real), ele reduz significamente a lacuna, particularmente em regimes de escalonamento moderados (40–60%).

Os resultados também destacam que uma grande parte das amostras de teste são "neutras" em relação ao escalonamento (ou seja, a Rodada 1 e a Rodada 2 produzem a mesma correção). O roteador proposto filtra esses casos efetivamente, enquanto baselines agressivos frequentemente escalonam excessivamente, incorrendo em custos de comunicação sem ganhos de acurácia.

Significância e Alegações
O artigo afirma que tratar o escalonamento como uma decisão de ganho esperado permite um mecanismo de roteamento prático, interpretável e eficiente em VFL. Ao confiar em dados de calibração em vez de roteadores aprendidos complexos, o método oferece um caminho de implantação direto. Os autores enfatizam que sua abordagem melhora o trade-off entre comunicação e acurácia em relação às existentes bases de confiança, ganho aprendido e deferência.

O trabalho reconhece limitações, especificamente que a aproximação de confiabilidade por classe ignora a variação intra-classe no comportamento do modelo da Rodada 2 e que o desempenho depende da representatividade do conjunto de calibração. No entanto, os autores afirmam que o método permanece robusto mesmo sob mudanças de distribuição (simuladas por degradação de visão), desde que os dados de calibração sejam razoavelmente representativos. O estudo conclui que o escalonamento seletivo é uma estratégia viável para reduzir custos de inferência em VFL sem sacrificar o desempenho preditivo.