An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models

Título: Uma Abordagem de Ajuste Fino sem Adaptadores para Sintonizar Modelos de Fundação 3D

Autores: Sneha Paul, Zachary Patterson e Nizar Bouguila (Universidade Concordia, Montreal, Canadá).

---

1. Problema e Motivação

Os modelos de fundação (foundation models) para nuvens de pontos (3D) demonstraram capacidades notáveis de generalização. No entanto, adaptá-los para tarefas específicas em cenários com poucos dados (low-data regimes) permanece um desafio significativo:

• Ajuste Fino Total (Full Fine-Tuning - FFT): Frequentemente leva ao overfitting (sobreajuste) e a um desvio significativo das representações pré-treinadas, especialmente nas camadas mais profundas, resultando em perda de generalização.
• Ajuste Fino Eficiente em Parâmetros (PEFT): Métodos existentes (como adaptadores, prompts ou LoRA) mitigam o sobreajuste ao introduzir componentes treináveis adicionais. Contudo, eles aumentam o número de parâmetros do modelo e a latência de inferência, o que é um gargalo para dispositivos com recursos limitados (ex.: móveis). Além disso, em cenários de poucos dados para 3D, o ganho de desempenho do PEFT é marginal (ordem de 1%) comparado ao custo computacional.

O objetivo é preencher a lacuna entre o ajuste fino total e o PEFT, mantendo a eficiência do modelo original sem adicionar parâmetros extras, mas evitando o sobreajuste.

---

2. Metodologia: MCFT (Momentum-Consistency Fine-Tuning)

Os autores propõem o MCFT, uma abordagem de ajuste fino sem adaptadores (adapter-free). A metodologia baseia-se nos seguintes pilares:

A. Ajuste Fino Seletivo com Consistência de Momento

• Sem Parâmetros Adicionais: Diferente do PEFT, o MCFT não insere módulos de adaptador ou tokens aprendíveis no codificador (encoder) pré-treinado. Apenas uma cabeça de tarefa padrão (ex.: camada de classificação) é adicionada.
• Estratégia de Treinamento: Apenas uma porção definida das camadas do codificador pré-treinado é ajustada (fine-tuned).
• Regularização por Distilação de Auto-Momento: Para evitar o sobreajuste e o desvio das representações originais, o método impõe uma restrição de consistência baseada em momento:
  • Um modelo "aluno" (o modelo sendo ajustado) e um modelo "professor" (uma versão do encoder) são utilizados.
  • O professor é atualizado como uma Média Móvel Exponencial (EMA) dos parâmetros do aluno: $\theta_t = \alpha \cdot \theta_t + (1 - \alpha) \cdot \theta_s$.
  • Uma função de perda de alinhamento ($L_{align}$) baseada na distância cosseno é aplicada entre os embeddings [CLS] do aluno e do professor, garantindo que o modelo ajustado mantenha a consistência com as representações pré-treinadas.

B. Variante Semi-Supervisionada

Para melhorar o desempenho em cenários de few-shot (poucos exemplos), o MCFT é estendido para utilizar dados não rotulados:

• Adota o protocolo do AllMatch, combinando dados rotulados e não rotulados.
• Utiliza minimização de entropia e pseudo-labeling (rótulos falsos) onde previsões de alta confiança em amostras aumentadas fracamente supervisionam as versões aumentadas fortemente.
• A perda total combina a perda supervisionada, a perda de alinhamento e a perda não supervisionada.

C. Variante com Pruning (Poda)

Para maximizar a eficiência computacional:

• Utiliza uma função de pontuação de saliência baseada no gradiente da perda para identificar camadas menos importantes.
• Remove seletivamente blocos de camadas do encoder durante o ajuste fino (pruning estruturado).
• O processo é iterativo, recalculando a saliência a cada $K$ épocas para adaptar a importância das camadas dinamicamente.

---

3. Contribuições Principais

1. Abordagem sem Adaptadores: O MCFT é a primeira abordagem para modelos de fundação 3D que evita a introdução de parâmetros de aprendizado de representação extras, mantendo o custo de inferência idêntico ao do modelo base.
2. Mecanismo de Consistência de Momento: Introduz uma técnica de regularização que permite o ajuste fino seletivo sem perder a generalização do modelo pré-treinado, superando as limitações do ajuste fino total e do PEFT.
3. Extensões para Eficiência e Dados: Propõe variações semi-supervisionadas (para melhorar com poucos dados) e com poda (para reduzir custo computacional), tornando o modelo viável para dispositivos móveis e de borda.
4. Desempenho Superior: Demonstra que é possível superar métodos SOTA (State-of-the-Art) sem o custo de latência adicional.

---

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks de reconhecimento de objetos (ModelNet40, ScanObjectNN) e segmentação de partes (ShapeNetPart).

• Few-Shot Learning (Poucos Dados):
  • No cenário de 5-shot (5 exemplos por classe), o MCFT superou os métodos anteriores em 3,30% de precisão.
  • Em configurações de full few-shot (todas as classes), o MCFT manteve a superioridade em todos os cenários (5, 10 e 20 shots).
• Aprendizado Semi-Supervisionado:
  • A variante com dados não rotulados (MCFT-SSL) alcançou um ganho adicional de 6,13% sobre o ajuste supervisionado padrão, atingindo 84,49% de precisão no ModelNet40 (5-shot), superando significativamente outros métodos SSL.
• Eficiência e Poda:
  • A variante podada (MCFT Pruned) reduziu os parâmetros de 22,7M para 20,9M e os FLOPs de 4,8G para 4,4G.
  • Resultou em um aumento significativo no throughput (taxa de quadros por segundo), passando de 323 para 350,75 frames/s, com uma queda mínima de desempenho (apenas 3,7% em relação à versão não podada, mas ainda superior aos SOTA).
• Comparação com PEFT:
  • O MCFT superou consistentemente métodos como IDPT, DAPT e PointGST, que introduzem milhões de parâmetros extras e aumentam a latência de inferência em até 50%.

---

5. Significado e Conclusão

O trabalho apresenta uma solução prática e eficiente para o dilema atual no ajuste de modelos 3D de grande escala: como adaptar modelos complexos com poucos dados sem sacrificar a eficiência de inferência ou a generalização.

• Equilíbrio Ideal: O MCFT posiciona-se como um "meio-termo" ideal, oferecendo a estabilidade do ajuste fino total (sem parâmetros extras) com a robustez contra sobreajuste típica de métodos avançados de regularização.
• Viabilidade de Implantação: Ao não aumentar o tamanho do modelo e permitir a poda estruturada, o método torna a implantação de modelos de fundação 3D em dispositivos com recursos limitados (como robôs móveis ou sensores IoT) uma realidade viável.
• Futuro: Os autores sugerem que o sucesso do método depende da sintonização de hiperparâmetros (momento e poda), abrindo caminho para futuras pesquisas em estratégias adaptativas automáticas e aplicações em raciocínio de cenas em grande escala.

Em resumo, o MCFT demonstra que é possível obter ganhos significativos de desempenho em tarefas 3D complexas com poucos dados, mantendo a eficiência computacional original do modelo pré-treinado.