Fed-FBD: Federated Functional Block… — Explicação em linguagem simples

Imagine que você está administrando uma competição de culinária massiva onde chefs de diferentes hospitais (os "clientes") querem criar a melhor receita do mundo para diagnosticar doenças, mas não podem compartilhar seus ingredientes secretos (dados de pacientes) uns com os outros devido às leis de privacidade.

No método padrão atual (chamado FedAvg), todos os chefs enviam suas notas para um juiz central, que as mistura todas em uma única e gigante "Receita Mestre".

O Problema: Se um chef for um sabotador (um "cliente adversário") ou apenas cometer um erro enorme, eles estragam a inteira Receita Mestre. Se um chef quiser sair e ter sua contribuição removida, você tem que jogar fora a Receita Mestre inteira e começar a cozinhar do zero.

O artigo apresenta um novo sistema chamado FED-FBD. Em vez de uma única Receita Mestre gigante, este sistema constrói um Armazém de Seis Diferentes Receitas de "Cores".

Eis como funciona, usando analogias simples:

1. A Cozinha Modular (Diversificação de Blocos Funcionais)

Imagine que um ResNet (o modelo de IA) não é um único bloco de argila, mas um carro composto por seis partes distintas: o motor, o chassi, as rodas, o interior, a eletrônica e a pintura.

No FED-FBD, o sistema cria seis versões (ou "cores") diferentes do carro final.

A Cor A pode ter um motor do Chef 1, rodas do Chef 2 e pintura do Chef 3.
A Cor B pode ter um motor do Chef 2, rodas do Chef 3 e pintura do Chef 4.

O armazém rastreia exatamente qual chef contribuiu para qual parte de qual carro colorido.

2. O "Firewall" contra Sabotadores (Isolamento)

Este é o superpoder do sistema.

O Cenário: O Chef 1 é um sabotador. Ele tenta colocar uma bomba no motor da Cor A.
O Resultado: Como o Chef 1 só teve acesso ao motor da Cor A, ele não pode tocar nas rodas, na pintura ou no motor da Cor B, C, D, E ou F.
O Desfecho: As "Cores Limpas" (B através de F) permanecem perfeitamente seguras e funcionais. O sabotador apenas estragou os carros específicos que ele tinha permissão para tocar. No sistema antigo, a bomba teria explodido na única Receita Mestre, arruinando tudo para todos.

3. O "Direito ao Esquecimento" (Desaprendizado Cirúrgico)

E se o Chef 2 decidir sair e exigir que sua contribuição seja apagada?

O Jeito Antigo: Você tem que treinar todo o modelo do zero, o que leva dias.
O Jeito FED-FBD: O sistema olha para o armazém, encontra as partes específicas (blocos) que o Chef 2 construiu e simplesmente as substitui pela média das partes dos outros chefs.
A Velocidade: Isso acontece em menos de um segundo. É como trocar um pneu de um carro enquanto ele está estacionado, em vez de reconstruir toda a fábrica.

4. Privacidade Integrada (Privacidade por Design)

No sistema antigo, a Receita Mestre memorizava detalhes sobre pacientes específicos, o que poderia ser hackeado para revelar quem estava nos dados de treinamento.

FED-FBD: Como os dados são divididos de forma tão fina (cada "parte" do carro só vê uma pequena fatia dos dados), nenhuma parte individual aprende o suficiente para memorizar um paciente específico.
O Resultado: Mesmo antes de adicionar quaisquer medidas extras de segurança, o sistema é naturalmente "cego" a identidades individuais. É como tentar adivinhar o rosto de uma pessoa específica olhando para um único pixel de uma foto; é impossível.

5. O Trade-off (O Custo)

Isso é perfeito? Quase, mas há um pequeno preço a pagar.

O Custo: Em conjuntos de dados muito grandes e bem equilibrados, o novo sistema é ligeiramente menos preciso (cerca de 0,3% a 3% menor) do que o método da "Receita Mestre" antiga.
O Benefício: Você troca um pouco de precisão por segurança total contra sabotadores, remoção instantânea de agentes maldosos e privacidade integrada.
A Ressalva: Se os dados forem muito bagunçados ou se os chefs tiverem muito poucos dados (conjuntos de dados pequenos), o sistema pode ter dificuldade em concordar sobre uma boa receita, e a precisão cai significativamente.

Resumo

O FED-FBD muda o jogo de "misturar tudo em uma panela" para "construir uma biblioteca de componentes modulares e rastreáveis".

Se um componente for envenenado, apenas esse componente específico é estragado; o restante da biblioteca está seguro.
Se um chef sair, você apenas substitui seus componentes específicos instantaneamente.
O sistema é naturalmente privado porque nenhum componente individual vê dados suficientes para memorizar segredos.

O artigo prova que isso funciona bem em conjuntos de dados de imagens médicas (como raios-X e exames de pele), mantendo o sistema seguro e privado, mantendo um alto desempenho, desde que haja dados suficientes disponíveis.

Resumo Técnico: FED-FBD

Definição do Problema

O Aprendizado Federado (FL - Federated Learning) permite o treinamento colaborativo de modelos em dados médicos descentralizados sem compartilhar registros brutos de pacientes. No entanto, os métodos dominantes como FedAvg, FedProx e FedNova tratam os clientes como caixas pretas, levando a três vulnerabilidades críticas em implantações médicas realistas:

Falta de Isolamento: Um único cliente adversário ou com rótulos incorretos pode corromper todo o modelo global porque o gradiente de cada cliente contribui para cada parâmetro.
Garantias de Privacidade Fracas: O FL padrão não oferece privacidade inerente; a proteção depende de mecanismos "adicionados posteriormente", como privacidade diferencial ou agregação segura.
Desaprendizado Ineficiente: Honrar o "direito ao esquecimento" de um participante normalmente requer o retreinamento do modelo do zero ou o uso de aproximações dispendiosas.

Os autores argumentam que esses problemas derivam de uma raiz comum: cada peso é um recurso compartilhado. Se os parâmetros fossem, em vez disso, de propriedade de pequenos conjuntos conhecidos de clientes, a contaminação poderia ser contida por construção, a memorização seria estruturalmente limitada e a remoção de clientes seria reduzida a uma operação de conjunto.

Metodologia: FED-FBD

O artigo propõe o FED-FBD (Federated Functional Block Diversification), uma arquitetura modular que decompõe um backbone ResNet em seis blocos funcionais: o stem (caule), quatro grupos residuais e o cabeçalho de classificação.

Arquitetura Central

O Armazém (The Warehouse): O servidor mantém um armazém de $N$ "variantes de cores" (modelos completos). Cada cor é montada a partir de um bloco por posição funcional.
Carimbo de Contribuidor (Contributor Stamping): Cada tensor de peso de bloco recebe um hash exclusivo e um rastro de treinamento registrando os IDs de clientes específicos que o atualizaram.
Plano de Envio (Shipping Plan): Um plano predefinido restringe cada cliente a um subconjunto conhecido de cores. Por exemplo, em uma configuração de 6 clientes e 6 cores, o Cliente 0 pode ser permitido apenas a escrever nos blocos para as cores $M_0, M_1, M_2$ . Consequentemente, as cores $M_3, M_4, M_5$ estão arquiteturalmente isoladas do Cliente 0.
Objetivo de Treinamento: Os clientes minimizam uma função de perda que combina precisão de entropia cruzada e um termo de divergência de Kullback-Leibler (KL) para puxar as previsões de um cliente em direção a uma "cor irmã" escolhida aleatoriamente e parametrizada de forma diferente, a fim de incentivar a diversidade funcional e evitar o colapso.
Protocolo do Servidor: O servidor realiza a substituição direta dos pesos dos blocos em vez da média ponderada. Quando um cliente retorna um bloco atualizado, ele sobrescreve o tensor existente para aquela interseção específica entre bloco e cor.

Mecanismos Principais

Isolamento em Nível de Bloco: Como os blocos são sobrescritos diretamente, qualquer bloco excluído do plano de envio de um cliente é matematicamente garantido de nunca conter informações derivadas dos dados desse cliente.
Desaprendizado Cirúrgico: Para remover um cliente, o servidor identifica todos os blocos onde o cliente é um contribuidor e substitui esses blocos pela média das outras cores "limpas" naquelas posições. Isso não requer retreinamento.
Roteamento de Inferência: Na inferência, o sistema pode rotear previsões para a cor mais confiável por amostra ou fazer a média do ensemble, permitindo a exclusão de cores comprometidas post-hoc.

Principais Contribuições

Isolamento Arquitetural: O FED-FBD fornece isolamento perfeito ao nível de bloco. Experimentos mostram que, mesmo sob ataques adversários severos (inversão de rótulos, injeção de ruído), as "cores limpas" (aquelas que o atacante não pode tocar) desviam no máximo $\pm 0,01$ de AUC, enquanto as cores envenenadas degradam significativamente.
Privacidade por Design: O framework suprime estruturalmente a memorização. A vantagem do ataque de inferência de pertencimento (MIA) é indistinguível do acaso ( $0,50 \pm 0,01$ ) antes de qualquer mecanismo de privacidade explícito ser aplicado, pois nenhum bloco individual vê dados suficientes para memorizar amostras individuais.
Desaprendizado Sub-segundo: O artigo demonstra o desaprendizado de máquina "cirúrgico" via substituição de bloco agregada. Isso alcança a remoção exata da contribuição de um cliente em tempo de execução de sub-segundo com uma perda de utilidade de menos de $0,25\%$ de AUC, evitando a necessidade de retreinamento.
Caracterização de Transição de Fase: Os autores identificam uma transição de fase "dados-por-cliente $\times$ heterogeneidade". O FED-FBD apresenta desempenho competitivo (dentro de $\sim 4\%$ do FedAvg) quando os clientes possuem dados suficientes (ex: $\ge 15.000$ amostras), mesmo sob alta heterogeneidade ( $\alpha=0,25$ ), mas o desempenho colapsa em conjuntos de dados muito pequenos com alto desvio (skew).

Resultados Experimentais

Experimentos foram conduzidos em seis conjuntos de dados MedMNIST-2D, PathMNIST em resolução $224\times224$ e CIFAR-10 usando 6 clientes e 100 rodadas de comunicação.

Compromissos de Precisão: Em conjuntos de dados de tamanho adequado, o FED-FBD troca uma modesta lacuna de precisão de $0,3\%$ – $3,1\%$ contra o FedAvg por suas garantias de segurança. No PathMNIST ( $224\times224$ ), a lacuna diminui para $1,2\%$ .
Desempenho Non-IID: Sob heterogeneidade leve ( $\alpha=1,0$ ), o FED-FBD permanece dentro de $0,8\%$ – $4,0\%$ do FedAvg em três de quatro conjuntos de dados. O desempenho degrada sob desvio extremo em conjuntos de dados pequenos, mas a lacuna diminui conforme o número de amostras por cliente aumenta.
Robustez Adversária: Em seis configurações de ataque, as cores limpas permaneceram isoladas. Um simples z-score do lado do servidor no erro de validação detectou $39\%$ – $76\%$ dos ataques com baixos falsos positivos.
Eficiência de Desaprendizado: Operações de desaprendizado foram concluídas em menos de 1 segundo com perda de AUC insignificante (pior caso $-0,0022$).

Significância e Alegações

O artigo afirma que o FED-FBD desloca o paradigma do aprendizado federado de uma segurança "probabilística" (dependente de agregação robusta ou ruído) para uma segurança estrutural. Ao tornar a propriedade dos parâmetros granular e explícita:

A contaminação torna-se impossível em vez de apenas improvável.
O desaprendizado torna-se uma operação de busca e agregação em vez de um problema de otimização.
A privacidade é inerente à arquitetura, não um adicional.

Os autores posicionam o FED-FBD como uma solução motivada especificamente pelas rigorosas necessidades de governança de dados de redes hospitalares, oferecendo uma maneira tratável de lidar com clientes envenenados e solicitações de exclusão sem retreinamento custoso. Eles reconhecem limitações, incluindo planos de envio fixos e o fato de que o desaprendizado exato é possível apenas para blocos de propriedade exclusiva, mas argumentam que o compromisso na precisão é justificado para aplicações médicas de alto risco, onde o isolamento e a auditabilidade são primordiais.

Fed-FBD: Federated Functional Block Diversification for Isolation, Privacy, and Surgical Unlearning