Resumo Técnico: Identificação e Reconstrução de Homologia de Pesos de LLM Baseada em Matrizes

1. Declaração do Problema

O artigo aborda o desafio de detectar a homologia de pesos entre Grandes Modelos de Linguagem (LLMs). À medida que os modelos crescem em escala e complexidade, as preocupações relativas ao reaproveitamento não atribuído, replicação ou "up-cycling" (ex: ajuste fino, poda, pré-treinamento contínuo) de pesos de modelos intensificaram-se. O problema central é formulado como uma tarefa de classificação binária: dados dois modelos $A$ e $B$ com parâmetros $\theta_A$ e $\theta_B$, determinar se eles compartilham uma linhagem de pesos (ou seja, se um é derivado do outro) baseando-se exclusivamente nas propriedades estatísticas de seus pesos.

Os autores definem homologia para incluir vários caminhos evolutivos:

• Ajuste Fino (Fine-tuning): Incluindo SFT e RL.
• Pré-treinamento Contínuo: Treinamento em dados adicionais.
• Upcycling: Expansão de um modelo menor para um maior (ex: MoE).
• Poda (Pruning): Redução do tamanho do modelo através da remoção de canais ou neurônios.
• Transformações: Incluindo permutações, escalonamento e transformações ortogonais/unitárias.

Crucialmente, o artigo distingue homologia (compartilhamento de inicialização/pesos) de homogeneidade (saídas semelhantes devido ao treinamento em dados semelhantes). Dois modelos treinados nos mesmos dados com sementes aleatórias diferentes não são considerados homólogos.

2. Metodologia: MDIR

Os autores propõem a Identificação e Reconstrução Baseada em Matrizes (MDIR), um método de caixa branca que opera exclusivamente nos pesos do modelo sem exigir inferência do modelo. O MDIR utiliza análise de matrizes, decomposição polar e Teoria das Grandes Desvios (LDT) para atingir três objetivos:

1. Identificar relações ortogonais entre matrizes de pesos.
2. Detectar permutações e fatores de escala.
3. Fornecer p-valores estatísticos rigorosos para a significância das relações detectadas.

2.1 Fundamentação Teórica: Transformações Invariantes

O método fundamenta-se na observação de que os LLMs modernos são superparametrizados, e muitas configurações distintas de parâmetros produzem comportamentos de entrada-saída idênticos. Essas configurações formam um espaço invariante $M_{inv}(\theta)$. Os autores identificam um grupo de Lie $G$ de transformações "totalmente invariantes" (ex: rotações ortogonais, permutações e escalonamentos) que preservam a função do modelo.

Sob condições idealizadas, a dinâmica de treinamento é confinada ao espaço quociente $M_{arch}/G$. Consequentemente, a componente dos parâmetros ao longo da órbita $G$ (as "coordenadas-G") permanece constante durante o treinamento. Se dois modelos são homólogos, sua transformação relativa $g_1^{-1}g_2$ deve ser próxima do elemento identidade $e$ do grupo $G$. Inversamente, modelos inicializados de forma independente terão uma transformação relativa distribuída aleatoriamente por $G$.

2.2 Etapas Algorítmicas

O processo MDIR envolve as seguintes etapas:

1. Estimativa de Relação Ortogonal:
   Para um par de matrizes de peso (ex: embeddings $E$ e $E'$), o método resolve um problema de otimização para encontrar a matriz ortogonal $U$ que minimiza $\|E' - EU^T\|_F$. Isso é equivalente a encontrar o fator ortogonal na decomposição polar de $E'^T E$.

   • Lidando com Diferentes Tokenizadores: Se os modelos utilizam tokenizadores diferentes, o método restringe a comparação a um conjunto de tokens de vocabulário comum $C$ para estimar a transformação.

2. Identificação de Permutação:
   A matriz ortogonal estimada $\tilde{U}$ é analisada para detectar padrões estruturais específicos, como permutações. O método resolve um Problema de Atribuição de Soma Linear (usando o algoritmo de Hungarian) para encontrar uma matriz de permutação $P$ que maximiza $\text{Tr}(P \tilde{U}^T)$. Esta etapa identifica se neurônios ou canais foram reordenados.

3. Significância Estatística (Estimativa de p-valor):
   Para determinar se o alinhamento observado é estatisticamente significativo ou uma coincidência aleatória, os autores aplicam a Teoria das Grandes Desvios (LDT).

   • Hipótese Nula: Os pesos não estão relacionados, e a matriz ortogonal estimada é distribuída uniformemente sobre o grupo ortogonal $O(n)$ de acordo com a medida de Haar.
   • Métrica: O traço do produto da permutação pela matriz ortogonal, $\text{Tr}(P \tilde{U}^T)$, serve como a estatística de teste.
   • Cálculo: Usando LDT, a probabilidade de observar um valor de traço tão alto quanto o encontrado por acaso decai exponencialmente com o quadrado do traço. O p-valor é estimado como $p \le n! \cdot K \exp(-c^2/2)$, onde $n$ é a dimensão do embedding e $c$ é o traço observado. Isso permite a geração de p-valores extremamente pequenos (ex: $10^{-1000}$), fornecendo evidência estatística rigorosa de homologia.

4. Reconstrução por Camada:
   Para modelos com arquiteturas diferentes (ex: diferentes contagens de camadas), o MDIR itera através das camadas para reconstruir o mapa de correspondência, identificando quais camadas no modelo base correspondem às camadas no modelo derivado.

3. Principais Contribuições

• Desempenho SOTA: O MDIR alcança pontuações perfeitas (1.000) tanto em Acurácia quanto em Área Sob a Curva (AUC) em diferentes modelos de origem no benchmark LeaFBench, superando métodos existentes como Gradient, REEF, HuRef e PDF.
• Rigor Estatístico: Ao contrário de métodos anteriores que fornecem escores de similaridade que exigem calibração de limiar arbitrário, o MDIR fornece p-valores estatísticos reais, eliminando a necessidade de ajuste de limiar heurístico.
• Sem Inferência e Baixo Recurso: O método não requer inferência do modelo e compara apenas pares únicos de matrizes, tornando-o viável para execução em dispositivos de baixo recurso.
• Robustez a Transformações: O método é invariante a permutações, escalonamento e transformações ortogonais. Ele permanece eficaz mesmo quando os modelos utilizam diferentes tokenizadores ou passaram por poda e upcycling.
• Capacidade de Reconstrução: O MDIR pode reconstruir os mapeamentos específicos de correspondência de pesos (ex: identificando exatamente quais camadas foram podadas ou como os neurônios foram permutados), oferecendo uma interpretabilidade que os métodos de fingerprinting não possuem.

4. Resultados Experimentais

O artigo avalia o MDIR em uma diversidade de modelos, incluindo:

• Ajuste Fino de Instrução e Pré-treinamento Contínuo: Identificou com sucesso a homologia entre modelos como Llama-3.1-8B e Llama-3.2-1B, e variantes do Qwen2.5.
• Poda (Pruning): Detectou corretamente que o Llama-3.2-1B e o 3B são versões podadas do Llama-3.1-8B, reconstruindo o mapeamento de camadas específico (ex: identificando que o Llama-3.2-1B retém camadas específicas do modelo 8B).
• Upcycling: Identificou relações em modelos MoE (ex: Qwen1.5-MoE-A2.7B derivado de Qwen1.5-1.8B).
• Diferentes Tokenizadores: Demonstrou eficácia ao treinar um modelo com um novo tokenizador (GPT-NeoX) enquanto mantinha os pesos originais. O MDIR detectou com sucesso a homologia conforme os novos embeddings convergiam, mesmo com um vocabulário alterado.
• Robustez Adversária:
  • Injeção de Ruído: O MDIR permaneceu robusto contra a injeção de ruído Gaussiano, mantendo alta confiança de detecção mesmo quando os níveis de ruído causaram o colapso do desempenho funcional do modelo (acurácia MMLU).
  • Modelos Independentes: Identificou corretamente a ausência de homologia entre modelos desenvolvidos independentemente (ex: DeepSeek-V3 e Kimi-K2) ou modelos treinados nos mesmos dados com sementes aleatórias diferentes.

5. Significância e Alegações

Os autores afirmam que o MDIR representa uma mudança fundamental na auditoria de modelos, movendo-se de métricas de similaridade heurísticas para testes de hipóteses estatisticamente rigorosos.

• P-valores Extremos: O artigo observa que os p-valores resultantes (ex: $10^{-104}$) não são artefatos numéricos, mas reflexos precisos da improbabilidade estatística de tais alinhamentos de pesos ocorrerem por acaso em espaços de alta dimensão, impulsionados pela Teoria das Grandes Desvios.
• Responsabilidade (Accountability): O método fornece uma ferramenta para promover a responsabilidade e a transparência no desenvolvimento de IA, podendo auxiliar na detecção de violações de propriedade intelectual e replicação não autorizada de modelos.
• Limitações: Os autores reconhecem modestamente que, embora o MDIR se destaque na detecção de homologia par a par, ele ainda não resolve questões filogenéticas complexas (ex: determinar a árvore evolutiva exata ou ancestrais comuns entre três ou mais modelos).

Em resumo, o MDIR oferece um framework matematicamente fundamentado, livre de inferência e altamente preciso para verificar a proveniência de pesos de LLMs, capaz de detectar relações evolutivas sutis que métodos anteriores baseados em similaridade ou de caixa preta não conseguem capturar.