Resumo Técnico: WARP – Análise do Espaço de Pesos para Recuperação de Portfólios de Dados de Treinamento

Declaração do Problema

Modelos de fundação são cada vez mais lançados ao público, mas as "receitas de dados" específicas — particularmente os pesos de mistura de domínios que determinam como fontes diversas (ex: texto da web, código, literatura científica) são amostradas durante o treinamento — permanecem proprietárias e opacas. Isso cria uma assimetria de acesso significativa: pesquisadores podem estudar os pesos resultantes do modelo, mas carecem de visibilidade sobre a distribuição de treinamento que os produziu.

Abordagens existentes para inferir dados de treinamento, como a Inferência de Membros (MI), operam ao nível de amostras individuais para detectar se um ponto de dado específico estava no conjunto de treinamento. No entanto, a MI não consegue caracterizar a composição global ou as proporções de domínio do corpus de treinamento. Além disso, métodos anteriores para recuperar trajetórias de treinamento frequentemente exigem acesso a checkpoints intermediários, que raramente estão disponíveis para modelos lançados (onde tipicamente apenas o modelo base e os pesos finais ajustados são públicos). O desafio central abordado por este trabalho é o problema inverso: dado apenas o modelo base lançado ($\theta_{base}$), o modelo ajustado ($\theta_{ref}$) e um pequeno conjunto de dados de sondagem, como se pode recuperar as proporções de mistura de domínios desconhecidas ($\pi^*$) usadas para treinar o modelo, sem acesso à verdadeira trajetória de treinamento ou a checkpoints intermediários?

Metodologia: O Framework WARP

Os autores propõem o WARP (Weight-space Analysis for Recovering Training Data Portfolios), um framework que recupera misturas de domínios diretamente dos pesos do modelo, explorando a estrutura geométrica do espaço de pesos. A metodologia procede em três estágios:

1. Simulando a Trajetória de Treinamento

Como o caminho verdadeiro de $\theta_{base}$ para $\theta_{ref}$ não é observado, o WARP utiliza técnicas de fusão de modelos (model merging) para interpolar entre os dois pontos finais. Ao aplicar operadores de fusão (como Interpolação Linear/LERP, Interpolação Esférica/SLERP ou TIES) com um cronograma de coeficientes de mistura $\alpha_t \in (0,1)$, o framework gera uma sequência de pseudo-checkpoints ($\tilde{\theta}_t$). Esses pseudo-checkpoints servem como proxies para a evolução não observada dos parâmetros, efetivamente reconstruindo uma trajetória de treinamento "simulada".

2. Destilando Pegadas Geométricas

A partir desses checkpoints simulados, o WARP extrai um sinal de nível de domínio usando uma métrica adaptada do Mimic Score. Para cada pseudo-checkpoint $\tilde{\theta}_t$, o método define um vetor de direção $v_t = \theta_{ref} - \tilde{\theta}_t$ apontando para o modelo alvo.

• Alinhamento de Amostras: Para um pequeno conjunto de dados de sondagem $D_{probe}$ (amostrado dos mesmos domínios de origem dos dados de treinamento), o método computa o gradiente negativo de cada amostra em $\tilde{\theta}_t$.
• Projeção: O Mimic Score ($m_{i,t}$) é calculado como a projeção deste gradiente negativo sobre o vetor unitário de $v_t$. Este score mede o quão fortemente uma amostra se alinha com a direção que o modelo realmente tomou durante o ajuste fino.
• Agrupamento (Pooling): Estes scores são normalizados e calculados pela média dentro de cada domínio $k$ em cada etapa $t$, resultando em uma matriz de características $M \in \mathbb{R}^{K \times T}$. Esta matriz representa a "pegada geométrica" dos dados de treinamento, rastreando o quão fortemente cada domínio se alinha com a direção do ajuste fino conforme o modelo evolui.

3. Mapeando a Geometria para a Mistura

O passo final traduz a pegada geométrica $M$ em uma mistura de domínios prevista $\hat{\pi}$. Os autores propõem duas variantes:

• Leitura Não Supervisionada (Unsupervised Readout): Uma abordagem sem parâmetros que calcula a média dos scores agrupados ao longo do tempo e aplica uma função softmax para estimar a mistura.
• Projeção Supervisionada: Um projetor MLP treinado em dados sintéticos. Os autores geram pares sintéticos ao realizar o ajuste fino de modelos base em misturas aleatórias para criar rótulos de verdade fundamental (ground-truth), então treinam o MLP para mapear a pegada geométrica $M$ para a mistura conhecida $\pi$. Isso permite que o modelo aprenda a ponderar diferentes estágios da trajetória simulada de forma adaptativa.

Principais Contribuições

1. Fechando a Assimetria de Acesso: O WARP formaliza a recuperação da mistura de domínios de um modelo ajustado usando apenas artefatos disponíveis para a maioria dos modelos lançados (pesos base e finais), contornando a necessidade de dados proprietários ou checkpoints intermediários.
2. Trajetórias de Treinamento Simuladas: O framework introduz um uso inovador de fusão de modelos não para fusão de capacidades, mas para simular caminhos de treinamento não observados para expor uma estrutura geométrica utilizável no espaço de pesos.
3. Forte Desempenho Empírico: Em experimentos controlados, o WARP supera as linhas de base de inferência de membros ao nível de amostra e até mesmo uma variante "oráculo" que possui acesso aos verdadeiros checkpoints intermediários de treinamento.
4. Robustez: O método permanece preciso em diferentes regimes de treinamento, incluindo checkpoints de parada precoce (early-stopped), convergidos e sobretreinados (overtrained).

Resultados Experimentais

O framework foi avaliado em modelos BERT e GPT-2 ajustados em quatro conjuntos de dados de texto (SNLI, AGNews, Yelp, Yahoo) com misturas de verdade fundamental conhecidas.

• Acurácia: O WARP alcançou um Erro Médio Absolto (MAE) de apenas 0,046 no BERT e 0,104 no GPT-2 (usando a variante de MLP supervisionada com fusão TIES).
• Comparação: Estes resultados superaram significativamente:
  • As linhas de base de Palpite Aleatório (Random Guess) e Palpite de Centróide (Centroid Guess).
  • Inferência de Membro ao nível de amostra (MI), que apresentou erros maiores (ex: 0,063 MAE no BERT vs. 0,046 para o WARP).
  • Variantes Oráculo: Surpreendentemente, o WARP usando trajetórias simuladas (LERP/TIES) frequentemente superou a variante que utiliza checkpoints reais intermediários. Os autores atribuem isso ao "gap de suavidade": caminhos de treinamento reais contêm ruído (mini-lotes estocásticos, warmup de taxa de aprendizado), enquanto os caminhos interpolados fornecem uma trajetória mais limpa e monotônica que torna a pegada geométrica mais fácil de decodificar.
• Não Supervisionado vs. Supervisionado: A leitura via softmax não supervisionada, sem parâmetros, foi competitiva, superando todas as linhas de base e fechando a maior parte da lacuna para a variante supervisionada, demonstrando que o sinal geomético é forte mesmo sem projetores aprendidos.

Significância e Alegações

O artigo afirma que o WARP demonstra a viabilidade de engenharia reversa da distribuição de treinamento de um modelo apenas a partir da geometria de seu espaço de pesos. Ao mostrar que o "caminho" entre um modelo base e um ajustado codifica uma pegada de distribuição, o trabalho oferece uma nova ferramenta para:

• Auditoria: Detectar contaminação de dados ou verificar a procedência do treinamento do modelo.
• Interpretabilidade: Entender por que os modelos exibem comportamentos específicos com base em suas misturas de treinamento.
• Transparência: Abordar a opacidade do desenvolvimento de modelos de fronteira onde os pesos são compartilhados, mas as receitas de dados não o são.

Os autores enfatizam que esta abordagem quebra o paradigma tradicional de otimização de mistura de domínios apenas para frente, fornecendo um método prático para inferir os "ingredientes" de um modelo quando apenas o "prato final" (pesos) está disponível.