🤖 machine learning

Towards Building Non-Fine-Tunable Foundation Models

Este artigo propõe o Private Mask Pre-Training (PMP), um framework que protege modelos de fundação contra o ajuste fino não autorizado ao liberar apenas os pesos densos enquanto mantém uma máscara de sub-rede esparsa crítica privada, criando assim um desajuste geométrico intrínseco que desestabiliza a adaptação enquanto preserva o desempenho do modelo base.

Autores originais: Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

Publicado 2026-02-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você passou anos e milhões de dólares assando um pão gigante e perfeito (um Modelo de Fundação). Você quer compartilhar a receita com o mundo para que todos possam aprender com ela e fazer seus próprios sanduíches deliciosos. No entanto, você tem um receio: e se alguém pegar o seu pão, tentar "re-assar" com seus próprios ingredientes estranhos (ajuste fino não autorizado/unauthorized fine-tuning) e acabar fazendo algo tóxico ou prejudicial? Ou pior, e se alguém pegar todo o crédito pelo sabor que você tanto se esforçou para desenvolver?

Este artigo propõe uma maneira inteligente de compartilhar o seu pão que permite que as pessoas o desfrutem como ele é, mas torna muito difícil para elas conseguirem "re-assá-lo" sem a sua permissão.

Aqui está como a solução dos autores, chamada Private Mask Pre-Training (PMP), funciona, usando analogias simples:

1. O Problema: O Dilema da "Receita Aberta"

Atualmente, quando as empresas de IA lançam seus modelos, elas entregam os "pesos" (as configurações finais do cérebro). Qualquer pessoa pode pegar esses pesos e ajustá-los para tarefas específicas.

O Bom: Ajuda a ciência e a inovação.
O Ruim: O criador original perde o controle. Alguém poderia ajustar o modelo para ser perigoso, ou poderia adaptá-lo de forma barata para uma tarefa que o criador pretendia vender como um serviço, roubando o valor econômico do criador.

2. A Solução: O "Esqueleto Secreto"

Os autores propõem uma nova maneira de treinar o modelo. Em vez de treinar todo o cérebro igualmente, eles treinam apenas um "esqueleto" específico e esparso do cérebro, enquanto mantêm o resto do cérebro congelado no lugar.

Pense no modelo como uma academia massiva e complexa.

Treinamento Padrão: Todos trabalham todos os músculos da academia.
Treinamento PMP: O treinador (a empresa de IA) identifica secretamente um conjunto específico de 10% das máquinas (o "Bilhete da Loteria"/Lottery Ticket) que estão realmente fazendo todo o trabalho pesado. Eles travam os outros 90% das máquinas para que ninguém possa tocá-las. Eles treinam apenas os 10% que importam.

3. O Lançamento: Entregando a Academia, Mas Escondendo o Mapa

Quando o modelo termina, a empresa libera a academia para o público.

O que eles liberam: O estado final da academia (os pesos). Parece uma academia normal e totalmente funcional.
O que eles escondem: O Mapa Secreto (a máscara binária) que diz a você quais máquinas foram realmente treinadas e quais são apenas acessórios congelados.

4. O Resultado: Dois Resultados Diferentes

Cenário A: O Usuário Autorizado (Você tem o Mapa)
Se você for um parceiro de confiança, a empresa lhe dá o Mapa Secreto. Você sabe exatamente quais máquinas usar. Você pode entrar, ajustar essas 10% de máquinas específicas, e a academia funciona perfeitamente para sua nova tarefa. Você obtém ótimos resultados.

Cenário B: O Usuário Não Autorizado (Sem o Mapa)
Se um estranho tentar ajustar o modelo sem o mapa, ele não sabe quais máquinas são as "reais" treinadas e quais são apenas acessórios congelados.

Ele tenta ajustar tudo.
Como ele está tocando os 90% de máquinas congeladas, ele está essencialmente empurrando contra paredes que nunca foram feitas para se mover.
A Analogia: Imagine tentar dirigir um carro virando as rodas, mas alguém secretamente soldou a coluna de direção ao painel. Se você tentar forçar, você não apenas falha em dirigir; você quebra o mecanismo.
A Alegação do Artigo: Esse "descompasso" faz com que o modelo se torne instável. Quanto mais o usuário não autorizado tenta o ajuste fino, pior é o desempenho. O modelo efetivamente "quebra" quando alguém tenta adaptá-lo sem a chave secreta.

5. O Truque do "Madrugador" (Early Bird)

Como eles encontraram esse 10% específico de máquinas para treinar?
Eles usaram um método chamado "Early-Bird Lottery Ticket."

Imagine que você começa a treinar o modelo por apenas alguns minutos.
Você observa quais partes do cérebro estavam "acordando" e aprendendo mais rápido durante esses primeiros minutos.
Você trava essas partes específicas como seu "Esqueleto Secreto" e ignora o resto pelo restante do treinamento.
O artigo afirma que essa seleção precoce é crucial. Se você apenas escolhesse partes aleatórias para treinar, o modelo não seria tão bom, e não seria tão difícil de quebrar.

Resumo das Alegações

O artigo demonstra que:

Você ainda pode usar o modelo: O modelo base (o pão) tem um sabor tão bom quanto um modelo normal. Ele ainda pode escrever, raciocinar e conversar.
O ajuste fino não autorizado falha: Se você tentar fazer o ajuste fino dele sem o mapa secreto, o desempenho do modelo cai significativamente em muitas tarefas diferentes.
O ajuste fino autorizado funciona: Se você tiver o mapa, ainda pode realizar o ajuste fino com sucesso.
É um recurso de "Pré-Treinamento": Isso não é um patch que você adiciona depois; é incorporado à forma como o modelo é treinado desde o início.

Em resumo, o artigo oferece uma maneira de compartilhar modelos de IA que são robustos por design: eles funcionam muito bem para todos, mas estão "trancados" contra mudanças não autorizadas, a menos que você tenha a chave específica (a máscara) que foi escondida durante a sua criação.

Resumo Técnico: Rumo à Construção de Modelos de Fundação Não-Ajustáveis (Non-Fine-Tunable)

1. Definição do Problema

A disponibilização de pesos abertos de Modelos de Fundação (FMs), particularmente Modelos de Linguagem de Grande Escala (LLMs), facilita o reúso amplo e a inovação científica, mas expõe os treinadores de modelos a riscos econômicos e de segurança significativos. Uma vez que os pesos são liberados, os usuários podem realizar ajustes finos (fine-tuning) de baixo custo e não autorizados em tarefas subsequentes. Isso cria dois problemas primários:

Risco Econômico: Usuários podem capturar valor de adaptações subsequentes que, de outra forma, pertenceriam ao treinador original.
Risco de Segurança: Os treinadores perdem o controle sobre o ciclo de vida do modelo. O ajuste fino não autorizado em dados prejudiciais (ex: violência, extremismo, discriminação) pode gerar saídas nocivas enquanto retém a reputação do modelo pré-treinado original, potencialmente levando a responsabilidades legais e regulatórias.

Defesas existentes, como imunização de modelos ou desaprendizado (unlearning) específico de tarefas, dependem do conhecimento das tarefas ou distribuições de dados específicas a serem restringidas. Essas abordagens são impraticáveis para liberações de pesos abertos gerais, onde os treinadores carecem de visibilidade sobre como os modelos serão reaproveitados. O artigo aborda a necessidade de um mecanismo que permita a liberação de código aberto, enquanto limita intrinsecamente a eficácia do ajuste fino não autorizado e agnóstico à tarefa.

2. Metodologia: Pré-Treinamento de Máscara Privada (PMP)

Os autores propõem o Pré-Treinamento de Máscara Privada (PMP), um paradigma de pré-treinamento projetado para tornar a não-ajustabilidade uma propriedade intrínseca da geometria do modelo. A ideia central é concentrar o aprendizado de representação em uma subrede esparsa identificada precocemente durante o treinamento, mantendo a máscara binária definidora privada.

O Procedimento PMP

O PMP opera em três estágios:

Descoberta de Máscara de "Early-Bird" Privada:
- O modelo passa por uma fase curta de "aquecimento" (warm-up) de pré-treinamento em um pequeno subconjunto de dados.
- Utilizando um critério de "bilhete de loteria early-bird" (early-bird lottery ticket), o método identifica uma máscara binária esparsa e estável ( $M$ ) com base na magnitude dos gradientes durante esta fase.
- A máscara é selecionada quando as máscaras consecutivas se estabilizam (medido por Interseção sobre União, IoU).
- Esta máscara $M$ é mantida privada e fixa para todo o treinamento subsequente.
Pré-Treinamento de Máscara Privada:
- O modelo é treinado no conjunto de dados completo de pré-treinamento, mas a otimização é estritamente restrita aos parâmetros definidos pela máscara ( $\theta_M$ ).
- Os parâmetros complementares ( $\theta_{\bar{M}}$ ) permanecem congelados durante todo o processo de pré-treinamento.
- Embora o passo de propagação direta (forward pass) utilize o vetor de parâmetros denso completo, todas as atualizações de gradiente são confinadas à subrede esparsa.
Liberação Sem a Máscara:
- Após a convergência, o treinador libera apenas os pesos densos finais.
- A máscara privada $M$ não é divulgada.

Mecanismo de Defesa

Quando um usuário não autorizado tenta realizar o ajuste fino do modelo liberado sem a máscara, ele deve atualizar o vetor de parâmetros completo. Isso cria um descompasso de otimização intrínseco:

Pré-treinamento: Otimizou um objetivo condicional onde as atualizações foram restritas a $\theta_M$ , enquanto $\theta_{\bar{M}}$ permaneceu fixo.
Ajuste Fino Não Autorizado: Otimiza um objetivo conjunto atualizando tanto $\theta_M$ quanto $\theta_{\bar{M}}$ .
Resultado: O processo de ajuste fino força atualizações nos parâmetros complementares congelados ( $\theta_{\bar{M}}$ ), que nunca foram adaptados durante o pré-treinamento. A análise teórica sugere que o cenário de perda ao longo dessas direções congeladas exibe curvatura positiva (nitidez/sharpness). Atualizar essas direções desestabiliza a solução pré-treinada, levando a ganhos de adaptação limitados ou degradação de desempenho.

3. Análise Teórica

O artigo fornece uma justificativa teórica de por que o PMP induz a não-ajustabilidade:

Geometria Local Assimétrica: O modelo pré-treinado atinge um ótimo condicional onde o cenário de perda é plano ao longo do subespaço treinado ( $\theta_M$ ), mas exibe curvatura positiva ao longo das direções congeladas ( $\theta_{\bar{M}}$ ).
Instabilidade: Ao realizar o ajuste fino sem a máscara, o gradiente descendente estocástico atualiza ambos os subespaços. A análise teórica (Proposição 1) demonstra que atualizações nas direções congeladas introduzem perturbações desestabilizadoras. Especificamente, a perda esperada do pré-treinamento aumenta (ou falha em diminuir) devido à curvatura positiva nas direções não adaptadas, contrapondo-se a quaisquer ganhos de gradientes específicos da tarefa.
Conclusão: O ajuste fino não autorizado é matematicamente propenso à desestabilização, limitando os ganhos alcançáveis de ajuste fino.

4. Resultados Experimentais

Os autores avaliaram o PMP nas arquiteturas GPT-2 e TinyLlama (1.1B), pré-treinados no SlimPajama-6B e ajustados finamente no benchmark GLUE.

Desempenho do Modelo Base: O PMP preserva as capacidades principais do modelo base. Em muitos casos (ex: TinyLlama no CoLA e MRPC), os modelos PMP apresentaram desempenho comparável ou ligeiramente superior às linhas de base não-PMP antes do ajuste fino.
Ajuste Fino Não Autorizado: Quando ajustado finamente sem a máscara privada, os modelos PMP mostraram degradação substancial em diversas tarefas subsequentes (ex: SST-2, MRPC, QQP, MNLI). A queda de desempenho foi consistente entre arquiteturas e tarefas, indicando uma falha geral de adaptação eficaz em vez de fragilidade específica de uma tarefa.
Ajuste Fino Autorizado: Quando a máscara privada é fornecida a usuários confiáveis, eles podem realizar o ajuste fino atualizando apenas o subespaço mascarado. Neste cenário, os modelos PMP igualaram ou excederam o desempenho do ajuste fino não autorizado, demonstrando que o método não impede inerentemente a adaptação, mas sim a restringe a partes autorizadas.
Estudos de Ablação:
- Early-Bird vs. Máscara Aleatória: O uso da máscara de bilhete de loteria "Early-Bird" foi crítico. Máscaras aleatórias com a mesma esparsidade não induziram o mesmo nível de não-ajustabilidade, confirmando que a estabilidade da subrede early-bird é a chave.
- Razão de Máscara: Uma razão de máscara de 0.7 (70% de esparsidade) ofereceu o melhor equilíbrio entre desempenho base e supressão de ajuste fino não autorizado.
- Hiperparâmetros: A variação de taxas de aprendizado e épocas de ajuste fino não recuperou o desempenho para usuários não autorizados, sugerindo que a limitação é fundamental ao descompasso de otimização, e não um problema de ajuste de hiperparâmetros.
- Visualização do Cenário de Perda: As visualizações confirmaram que o cenário de perda é plano na direção autorizada (subespaço mascarado), mas íngreme na direção não autorizada (espaço de parâmetros completo), validando a hipótesagem teórica da "parede íngreme" (steep wall).
- Robustez: O artigo argumenta que as magnitudes de gradiente sozinhas não revelam a localização da máscara devido à sobreposição de distribuição, tornando difícil para adversários inferir a máscara.

5. Principais Contribuições

Identificação do Problema: O artigo articula a não-ajustabilidade como um problema fundamental de nível de pré-treinamento, destacando a falta de mecanismos para os treinadores controlarem a adaptação não autorizada em liberações de pesos abertos.
Estrutura PMP: Propõe o Pré-Treinamento de Máscara Privada, um paradigma geral que preserva a utilidade base enquanto restringe o ajuste fino não autorizado em um cenário agnóstico à tarefa e de caixa-preta.
Insight Teórico: Fornece uma análise mostrando que o PMP induz um descompasso intrínseco entre os objetivos de pré-treinamento e ajuste fino, injetando perturbações desestabilizadoras durante atualizações não autorizadas.
Validação Empírica: Demonstra que o PMP suprime consistentemente os ganhos de adaptação em diversos benchmarks e arquiteturas, mantendo um desempenho pré-treinado competitivo.

6. Significância e Alegações

O artigo afirma que recontextualiza a não-ajustabilidade não como um problema de desaprendizado específico de tarefa, mas como uma propriedade induzida durante o pré-treinamento. Ao concentrar o aprendizado em uma subrede esparsa privada, o PMP permite que os treinadores de modelos disponibilizem modelos de fundação enquanto retêm controle significativo sobre a adaptação subsequente.

Os autores enfatizam que esta abordagem:

Não requer conhecimento prévio de dados ou tarefas subsequentes.
Preserva o valor econômico e de segurança do modelo original para o treinador.
Permite a adaptação "autorizada" por usuários confiáveis que possuem a máscara privada.
Oferece um mecanismo prático para conciliar a abertura do ecossistema de IA com a necessidade de controle econômico e de segurança, sem depender de suposições sobre como os modelos liberados serão reaproveitados.