💻 computer science

Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification

Este artigo apresenta um benchmark abrangente de 130 combinações de aprendizado federado e destilação de conhecimento para classificação de nuvens de pontos 3D, revelando que, embora a destilação de conhecimento comprima modelos de forma eficaz, os métodos de avaliação padrão podem inflar erroneamente o desempenho ao vazar rótulos de proxy privados, tornando necessárias métricas de destilação livres de rótulos para refletir com precisão a qualidade do professor federado.

Autores originais: Aizierjiang Aiersilan

Publicado 2026-07-03

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aizierjiang Aiersilan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: Um Problema de Duas Partes

Imagine que você está tentando ensinar um robô a reconhecer diferentes objetos 3D (como uma cadeira, um carro ou uma cabeça humana) usando uma nuvem de pontos (uma nuvem de pontos). Você enfrenta dois grandes obstáculos:

A Barreira da Privacidade: Você não pode reunir todos os dados em um só lugar porque eles pertencem a diferentes hospitais ou empresas que não têm permissão para compartilhá-los.
O Computador Minúsculo: Mesmo que você treine um robô superinteligente, ele é pesado e lento demais para rodar em um dispositivo pequeno e portátil (como um scanner de mão).

Este artigo testa duas soluções trabalhando juntas:

Aprendizado Federado (FL - Federated Learning): Uma forma de treinar o robô enviando instruções de ida e volta sem nunca mover os dados privados.
Destilação de Conhecimento (KD - Knowledge Distillation): Uma forma de encolher o robô "superinteligente" em um robô "compacto" que caiba no dispositivo pequeno, mas que ainda se lembre do que aprendeu.

Os autores construíram um benchmark massivo (uma pista de teste gigante) para ver como bem esses dois métodos funcionam juntos em dados 3D. Eles não testaram apenas uma coisa; eles testaram 13 diferentes estratégias de treinamento combinadas com 10 diferentes estratégias de encolhimento, criando 130 combinações diferentes para ver o que funciona e o que falha.

Os Dois Conjuntos de Dados: A "Academia" e o "Hospital"

Para testar suas ideias, eles usaram dois campos de treinamento muito diferentes:

ModelNet40 (A Academia): Um conjunto de dados padrão com 40 tipos de objetos (cadeiras, aviões, etc.). É um bom teste geral, mas os dados são bagunçados e distribuídos de forma desigual.
Conjunto de Dados de Craniossinostose (O Hospital): Um conjunto de dados médicos do mundo real de formas de cabeças de pacientes. Este é o teste de "altos riscos". Aqui, a privacidade é crítica porque envolve pacientes reais, e os dispositivos precisam ser pequenos o suficiente para serem usados ao lado do leito de um médico.

A Configuração: Eles simularam um "cenário de pior caso" onde os dados são divididos de forma desigual. Imagine cinco estudantes (clientes) tentando aprender juntos. O Estudante A só vê cadeiras, o Estudante B só vê aviões, e assim por diante. Eles nunca veem o quadro completo. Isso é chamado de Non-IID (dados não são independentes e identicamente distribuídos).

Descoberta nº 1: O Problema da "Equipe Quebrada" (Aprendizado Federado)

Quando os estudantes tentam aprender juntos sem compartilhar suas notas privadas, o desempenho da equipe cai significamente.

O Resultado: Mesmo a melhor estratégia de equipe atingiu apenas cerca de 76% de precisão no conjunto de dados da Academia e 75% no do Hospital. Um único professor com acesso a todos os dados (Centralizado) obteve 92% e 100%, respectivamente.
A Analogia: Imagine um grupo de chefs tentando inventar uma nova receita. O Chef A só tem sal, o Chef B só tem açúcar e o Chef C só tem farinha. Eles tentam combinar suas ideias sem nunca ver os ingredientes uns dos outros. O prato final é ok, mas não chega nem perto de ser tão bom quanto se um mestre chef tivesse acesso a toda a despensa.
A Surpresa: Algumas estratégias que funcionam bem para imagens (fotos 2D) colapsaram completamente em dados 3D. Quatro estratégias específicas do "lado do servidor" (que tentam ser extras inteligentes sobre como combinar o trabalho dos estudantes) falharam tão mal que foram mal melhores do que um chute aleatório.
Conclusão: Não existe uma estratégia de "tamanho único". O que funciona para cadeiras pode falhar para formas de cabeças.

Descoberta nº 2: A "Máquina de Encolher" Funciona (Destilação de Conhecimento)

Uma vez que tiveram um modelo treinado (mesmo que seja um modelo ligeiramente imperfeito), eles tentaram encolhê-lo.

O Resultado: Eles conseguiram comprimir o modelo grande em um modelo minúsculo que era 74,5% menor e duas vezes mais rápido.
A Analogia: Pense no modelo grande como uma biblioteca enorme e pesada. O processo de encolhimento é como condensar essa biblioteca em um único guia de bolso leve. O guia de bolso é muito mais rápido de carregar e ler, mas ainda sabe quase tudo o que a biblioteca sabia.
Conclusão: Encolher o modelo funciona muito bem se o modelo professor original for bom.

Descoberta nº 3: A Ilusão do "Truque de Mágica" (O Grande Aviso)

Esta é a descoberta mais importante do artigo. Os autores encontraram uma armadilha na forma como as pessoas costumam testar esses sistemas combinados.

A Armadilha:
Ao testar o modelo "encolhido", muitos pesquisadores usam uma folha de cola rotulada (um conjunto de dados com as respostas corretas) para ajudar o aluno a aprender.

A Ilusão: Se o "modelo professor" (aquele treinado via método de preservação de privacidade) era terrível (colapsou para um nível próximo ao chute aleatório), o "modelo aluno" ainda poderia obter 99% de precisão.
Por quê? O aluno não estava realmente aprendendo com o professor terrível. Ele estava ignorando o professor e apenas memorizando a folha de cola (os rótulos) fornecida durante o processo de encolhimento.
A Metáfora: Imagine um aluno fazendo uma prova. O professor está dormindo e dá conselhos ruins. Mas o aluno tem permissão para dar uma espiada no gabarito sobre a mesa enquanto faz a prova. O aluno tira 100 na prova, mas não é porque ele aprendeu algo com o professor; é porque ele colou usando o gabarito.
O Perigo: No mundo real, em um ambiente de privacidade (como o hospital), se você usar este método, pode pensar que seu sistema de preservação de privacidade está funcionando perfeitamente (100% de precisão), mas, na realidade, seu sistema de privacidade falhou completamente e o modelo está apenas memorizando as respostas que deveria proteger.

A Solução:
O artigo recomenda um teste "Sem Rótulos" (Label-Free). Ao encolher o modelo, não dê ao aluno a folha de respostas. Force o aluno a depender apenas do professor.

Se você fizer isso, a pontuação do aluno cai para corresponder à pontuação do professor. Se o professor falhou, o aluno falha. Isso lhe dá um boletim honesto sobre se o seu sistema de privacidade realmente funcionou.

Resumo

Privacidade + 3D é difícil: Treinar modelos 3D sem compartilhar dados causa uma grande queda de desempenho, e alguns métodos populares falham completamente.
Encolher funciona: Você pode tornar os modelos muito menores e mais rápidos sem perder muita precisão.
Não se deixe enganar: Se você testar o modelo encolhido usando as respostas corretas (rótulos), pode pensar que o sistema é perfeito mesmo quando o treinamento de privacidade falhou. Você deve testar sem a folha de respostas para ver a verdade.

Os autores disponibilizaram seu código e todas as 504 execuções de teste online para que outros possam verificar esses resultados e construir sistemas de IA 3D melhores e mais seguros.

Resumo Técnico: Avaliação de Referência de Aprendizado Federado e Destilação de Conhecimento para Classificação de Nuvens de Pontos

Declaração do Problema

A implantação da análise de nuvens de pontos 3D em ambientes sensíveis à privacidade (ex: imagens médicas) e com recursos limitados (ex: dispositivos de borda/edge) enfrenta duas barreiras acopladas:

Privacidade de Dados: Dados brutos de sensores não podem ser centralizados devido a restrições regulatórias ou competitivas, o que torna necessário o Aprendizado Federado (FL), onde os modelos são treinados entre clientes sem a troca de dados brutos. No entanto, o desempenho do FL degrada-se significamente sob heterogeneidade estatística (dados não-IID), particularmente quando os clientes possuem subconjuntos disjuntos de rótulos de classes.
Eficiência Computacional: Modelos 3D de escala total (ex: PointNet++) são frequentemente grandes demais para o hardware de borda. A Destilação de Conhecimento (KD) oferece uma solução ao comprimir um modelo "professor" de grande escala em um modelo "aluno" menor.

Embora tanto o FL quanto o KD sejam bem estudados individualmente, há uma falta de benchmarks sistemáticos e reproduzíveis que avaliem seu pipeline combinado para a classificação de nuvens de pontos 3D. Especificamente, não está claro como os objetivos de KD interagem com professores federados sob condições extremas de não-IID, e se a precisão reportada de um aluno comprimido reflete verdadeiramente a qualidade do modelo federado subjacente ou apenas os rótulos de proxy utilizados durante a destilação.

Metodologia

Os autores apresentam um benchmark de múltiplas sementes (multi-seed) avaliando o produto cruzado de 13 algoritmos de Aprendizado Federado e 10 objetivos de Destilação de Conhecimento através de dois conjuntos de dados:

Datasets:
- ModelNet40: Um benchmark de 40 classes usado para caracterizar a degradação federada e isolar falhas de pipeline contra uma referência centralizada forte.
- Clinical Craniosynostosis Dataset: Um conjunto de dados do mundo real de formas de cabeça de pacientes (4 classes) que representa um cenário crítico de privacidade onde a tarefa centralizada está essencialmente resolvida (1ação de 100%), permitindo uma medição inequívoca da qualidade do professor.
Configuração Não-IID: Uma estratégia de particionamento de desvio de rótulo (label-skew) de pior caso é empregada, onde os dados de treinamento são ordenados por classe e divididos em cinco fatias disjuntas, atribuindo a cada cliente um subconjunto único de classes.
Arquiteturas:
- Professor (Teacher): PointNet++ com Agrupamento de Escala Única (SSG).
- Aluno (Student): Uma variante compacta (SmallPointNet2) com 74,51% menos parâmetros.
Pipeline: Um processo de duas etapas:
1. Etapa 1 (FL): Treinar um professor federado em uma partição não-IID usando um dos 13 algoritmos.
2. Etapa 2 (KD): Destilar o melhor checkpoint federado para o modelo aluno usando um dataset de proxy centralizado e um dos 10 objetivos de KD.
Escala de Avaliação: O benchmark compreende 504 execuções de treinamento através de três sementes aleatórias, cobrindo a grade completa de 130 pares professor-objetivo no dataset clínico.

Principais Contribuições

Design de Benchmark: A primeira avaliação sistemática do produto cruzado completo de algoritmos de FL e objetivos de KD para nuvens de pontos 3D, incluindo um protocolo padronizado de múltiplas sementes e um framework de código aberto.
Degradação Quantificada sob Desvio de Rótulo: O estudo demonstra que o FL isolado degrada-se drasticamente sob desvio extremo de rótulo. No ModelNet40, o melhor método de FL (FedNova) atinge apenas 76,32% comparado a uma linha de base centralizada de 92,26%. No dataset clínico, o melhor (FedProx) atinge 75,83% contra 100%. Notavelmente, quatro otimizadores do lado do servidor (FedAvgM, FedAdam, FedYogi, FedAdagrad) colapsam para níveis próximos ao acaso em ambos os datasets. Nenhum algoritmo é universalmente robusto; os rankings dependem do dataset.
Compressão Eficaz: A destilação consegue comprimir o professor em um aluno que é ~74,5% menor e aproximadamente duas vezes mais rápido na inferência. Sob um professor centralizado forte, cinco dos sete objetivos avaliados igualam ou superam a precisão do professor.
Diagnóstico do Problema de Pipeline Combinado: O artigo identifica um artefato crítico de avaliação:
- A Ilusão: Objetivos de KD que retêm um termo de entropia cruzada de rótulo rígido (hard-label) (usando rótulos de verdade fundamental do dataset de proxy) podem recuperar a precisão do aluno para níveis próximos aos centralizados (ex: ~92-100%) mesmo quando o professor federado colapsou (ex: 8,5% de precisão).
- O Mecanismo: O termo de rótulo rígido permite que o aluno aprenda diretamente dos rótulos de proxy, efetivamente contornando o conhecimento do professor federado. Isso mascara a falha da etapa de FL e reutiliza os próprios rótulos que a federação pretendia proteger.
- A Solução: Objetivos sem um termo de rótulo rígido (objetivos de transferência pura como Feature KD, Attention Transfer, RKD e SP) rastreiam perfeitamente a qualidade do professor (correlação $r \approx 0,99$ ). Se o professor colapsa, o aluno colapsa.

Resultados

Desempenho de FL: Sob desvio não-IID extremo, a extração de características hierárquicas 3D é altamente sensível. Otimizadores adaptativos do lado do servidor são particularmente frágeis, provavelmente devido a estimativas de segundo momento mal condicionadas em atualizações heterogêneas.
Desempenho de KD:
- Com Rótulos Rígidos (Hard Labels): A precisão do aluno é desacoplada da qualidade do professor. Um professor colapsado (8,5%) pareado com Logit-MSE gera um aluno de 92,94%, uma lacuna de 84,4 pontos impulsionada inteiramente pelos rótulos de proxy.
- Sem Rótulos Rígidos: A precisão do aluno correlaciona-se linearmente com a qualidade do professor. Um professor colapsado resulta em um aluno colapsado.
Validação Clínica: A "ilusão de recuperação" persiste em dados reais de pacientes. Um aluno destilado com rótulo rígido alcançou ~100% de precisão a partir de um professor federado com desempenho ao nível do acaso, enquanto a destilação sem rótulos relatou corretamente a falha do professor.

Significância e Alegações

O artigo afirma que o pipeline combinado FL-KD introduz um problema específico de avaliação onde a precisão reportada reflete os rótulos de proxy em vez da capacidade do modelo federado. Os autores argumentam que:

Avaliações atuais são enganosas: Reportar alta precisão para um aluno comprimido não garante que o professor federado seja funcional se a perda de destilação incluir um termo de rótulo rígido.
Recomendação: Pipelines de FL-KD devem ser avaliados usando destilação sem rótulos (label-free distillation) (removendo o termo de entropia cruzada ou usando um split de proxy não rotulado). Isso garante que a precisão reportada reflita genuinamente a qualidade do professor federado.
Impacto Amplo: Este benchmark fornece uma base robusta para o avanço de sistemas de nuvem de pontos 3D preservadores de privacidade e implantáveis em borda, destacando que a seleção de algoritmos para FL é dependente do dataset e que as estratégias de compressão devem ser cuidadosamente projetadas para evitar mascarar falhas de federação.

Os autores declaram explicitamente que seu estudo é limitado a arquiteturas específicas (PointNet++ SSG) e um regime não-IID extremo (desvio de rótulo disjunto), deixando o comportamento de backbones baseados em Transformers e estratégias de particionamento mais suaves como questões abertas para trabalhos futuros.