Resumo Técnico: Impressão Digital de Rede Funcional (FNF) para Grandes Modelos de Linguagem

1. Declaração do Problema

O desenvolvimento de Grandes Modelos de Linguagem (LLMs) envolve custos financeiros e temporais significativos, criando um alto valor comercial e incentivando a apropriação não autorizada de modelos de código aberto. Um desafio crítico surge quando desenvolvedores alegam ter treinado modelos "originais" do zero, enquanto na verdade copiaram pesos de modelos existentes e aplicaram modificações superficiais, como o ajuste fino (fine-tuning) leve, ofuscação ou expansão estrutural (denominado "reempacotamento de pesos").

Os métodos de impressão digital existentes enfrentam diversas limitações:

• Métodos Invasivos: Técnicas como marcas d'água (watermarking) ou gatilhos de backdoor degradam o desempenho do modelo e não podem ser aplicadas a modelos já lançados.
• Métodos Não Invasivos: Abordagens baseadas em análise de saída ou similaridade de pesos frequentemente carecem de robustez. Especificamente, métodos que dependem da comparação direta de pesos falham contra simples permutações de parâmetros, enquanto aqueles baseados em representações de características estáticas (por exemplo, Alinhamento de Kernel Centrado - CKA) têm dificuldade em comparar modelos com diferentes arquiteturas, dimensões ocultas ou aqueles submetidos a expansão estrutural (por exemplo, adição de camadas ou expansão de dimensões de MLP).

Há uma necessidade de um método que não exija treinamento, seja eficiente em termos de amostras e robusto, capaz de detectar a linhagem de modelos através de diversas arquiteturas, escalas e técnicas de ofuscação sem comprometer a utilidade do modelo.

2. Metodologia: Impressão Digital de Rede Funcional (FNF)

O método proposto, Functional Network Fingerprint (FNF), é inspirado nas redes cerebrais funcionais (FBNs) na neurociência. Ele opera sob a premissa de que os LLMs, como análogos computacionais de sistemas neurais biológicos, exibem padrões estáveis de conectividade funcional onde grupos de neurônios coativam-se consistentemente como redes integradas.

Conceito Central: Consistência de Ativação Funcional (FAC)

Os autores postulam que modelos derivados da mesma linhagem de treinamento (mesmo com diferenças arquiteturais ou de escala) compartilam um "projeto neuroanatômico" comum. Consequentemente, eles exibem padrões altamente consistentes de atividade neuronal dentro de suas redes funcionais ao processar os mesmos estímulos de entrada. Em contraste, modelos treinados independentemente em dados distintos ou com objetivos diferentes carecem dessa conformidade.

Pipeline Técnico

1. Extração de Sinal: Para um conjunto de $N$ sequências de entrada, os sinais neuronais são extraídos da saída de blocos Transformer específicos tanto no modelo vítima quanto no modelo suspeito.
2. Identificação de Rede Funcional (CanICA): O método emprega a Análise de Componentes Independentes Canônicos (CanICA), uma ferramenta padrão na neurociência, para identificar redes funcionais.
   • Os dados de entrada são concatenados e branqueados usando PCA para remover correlações de segunda ordem.
   • A FastICA é aplicada para recuperar componentes espaciais independentes (redes funcionais), representados como mapas espaciais $A \in \mathbb{R}^{D \times K}$, onde $K$ é o número de redes funcionais alvo.
3. Geração de Séries Temporais: Para cada rede funcional identificada (mapa espacial), uma máscara binária é aplicada para selecionar os neurônios mais salientes. A atividade média desses neurônios ao longo da sequência de entrada é computada para gerar séries temporais funcionais 1D.
4. Medição de Similaridade: O método computa a correlação de postos de Spearman entre as séries temporais funcionais do modelo vítima e do modelo suspeito.
   • A correlação de Spearman é escolhida em vez da correlação de Pearson para focar na consistência das tendências de atividade funcional (ordens de postos) em vez de valores absolutos, tornando-a robusta a transformações monotônicas.
   • Uma pontuação de consistência média é calculada através de todas as amostras de entrada e pares de redes para produzir uma matriz de similaridade.

3. Principais Contribuições

• Novo Paradigma de Impressão Digital: O FNF introduz um método não invasivo e que não exige treinamento, que aproveita a atividade funcional dinâmica intrínseca dos LLMs em vez de pesos estáticos ou sinais incorporados.
• Robustez à Ofuscação: O método permanece eficaz contra modificações comuns de modelos, incluindo:
  • Ajuste Fino (Fine-tuning): Mesmo após ajuste fino extensivo em grandes conjuntos de dados.
  • Poda (Pruning): Tanto a poda estruturada (profundidade/largura) quanto a não estruturada.
  • Permutação e Escalonamento de Parâmetros: Rearranjo de pesos ou transformações de escala que alteram as dimensões dos parâmetros, mas preservam a lógica funcional.
  • Reempacotamento de Pesos: Detecção de linhagem em modelos onde a arquitetura foi expandida (por exemplo, adicionando camadas ou aumentando dimensões ocultas) enquanto os pesos principais são herdados.
• Compatibilidade Cross-Arquitetura: Diferente de métodos anteriores que exigem arquiteturas idênticas, o FNF pode comparar modelos com diferentes dimensões de camada oculta e configurações estruturais.
• Interpretabilidade: Ao decompor as ativações em redes funcionais, o método oferece insights sobre a organização funcional interna dos modelos.

4. Resultados Experimentais

Os autores avaliaram o FNF usando o conjunto de dados WikiText-2 através de várias famílias de modelos (LLaMA, Qwen, ChatGLM, Mistral, etc.) e o compararam com a linha de base de estado da arte, REEF (que utiliza Alinhamento de Kernel Centrado).

• Ajuste Fino (Fine-Tuning): O FNF manteve pontuações de correlação fortes (por exemplo, >0.9) entre modelos pré-treinados e suas variantes ajustadas (por exemplo, LLaMA2-7B vs. LLaMA2-7B-chat), mesmo após o treinamento em centenas de bilhões de tokens.
• Variantes de Dados de Treinamento: Modelos com arquiteturas idênticas, mas treinados do zero em dados diferentes (por exemplo, OpenLLaMA vs. LLaMA2), mostraram correlações fracas, indicando corretamente a ausência de linhagem compartilhada.
• Poda (Pruning): O FNF identificou com sucesso origens comuns em modelos podados por até 50% dos parâmetros. Em contraste, o REEF falhou em detectar relações em modelos fortemente podados (por exemplo, a poda Wanda-sp).
• Fusão de Modelos (Model Merging): O FNF identificou efetivamente os modelos constituintes de LLMs fundidos (por exemplo, Evollm-jp-7b), aproveitando a suposição de mistura linear do ICA.
• Reempacotamento de Pesos e Cross-Arquitetura:
  • O FNF identificou corretamente que o Mistral-11B (uma versão expandida do Mistral-7B) e o Solar-10.7B (derivado do Mistral-7B) compartilhavam uma origem comum, enquanto o REEF (CKA) falhou em fazer isso devido a incompatibilidades arquiteturais.
  • Em comparações cross-família (por exemplo, Qwen vs. GLM), o FNF produziu pontuações baixas, distinguindo corretamente modelos não relacionados, enquanto o CKA frequentemente produzia pontuações de similaridade espuriamente altas.

5. Significância e Alegações

O artigo afirma que o FNF fornece uma ferramenta simples, não invasiva e eficaz para proteger a propriedade intelectual de LLMs. Sua significância reside em:

• Abordagem da Lacuna de "Reempacotamento de Pesos": É o primeiro método explicitamente validado contra ataques de expansão estrutural, onde modelos são modificados para evitar a detecção enquanto retêm os pesos principais.
• Preservação da Utilidade: Como um método de análise post-hoc, ele não requer o retreinamento ou a incorporação de marcas d'água, preservando assim o desempenho original do modelo.
• Escalabilidade e Eficiência: O método requer apenas algumas amostras para verificação e é computacionalmente eficiente.
• Interpretabilidade: O FNF faz a ponte entre a neurociência e a IA, oferecendo um framework para entender os LLMs através da lente das redes cerebrais funcionais, potencialmente avançando a interpretabilidade de modelos além da mera impressão digital.

Os autores concluem que o FNF permite que proprietários de modelos e terceiros determinem de forma confiável se um modelo suspeito é um derivado de um modelo vítima, mesmo na presença de diferenças significativas de arquitetura e dimensão.