Technische Samenvatting: Functionele Netwerkvingerafdruk (FNF) voor Large Language Models

1. Probleemstelling

De ontwikkeling van Large Language Models (LLM's) brengt aanzienlijke financiële en temporele kosten met zich mee, wat een hoge commerciële waarde creëert en het ongeoorloofde toe-eigenen van open-source modellen stimuleert. Een kritieke uitdaging ontstaat wanneer ontwikkelaars beweren "originele" modellen vanaf nul te hebben getraind, terwijl ze in werkelijkheid gewichten van bestaande modellen hebben gekopieerd en oppervlakkige wijzigingen hebben toegepast, zoals minimale fine-tuning, obfuscatie of structurele expansie (termed "weight repackaging").

Bestaande fingerprinting-methoden kampen met verschillende beperkingen:

• Invasieve Methoden: Technieken zoals watermarking of backdoor-triggers verslechteren de prestaties van het model en kunnen niet worden toegepast op reeds uitgebrachte modellen.
• Niet-invasieve Methoden: Benaderingen gebaseerd op output-analyse of gewicht-gelijkenis missen vaak robuustheid. Specifiek schieten methoden die vertrouwen op directe gewichtsvergelijking tekort tegen eenvoudige parameterpermutaties, terwijl methoden gebaseerd op statische feature-representaties (bijv. Centered Kernel Alignment) moeite hebben met het vergelijken van modellen met verschillende architecturen, verborgen dimensies of modellen die onderhevig zijn aan structurele expansie (bijv. het toevoegen van lagen of het uitbreiden van MLP-dimensies).

Er is behoefte aan een training-vrije, steekproef-efficiënte en robuuste methode die in staat is om de afstamming van modellen te detecteren over diverse architecturen, schalen en obfuscatie-technieken heen, zonder de bruikbaarheid van het model aan te tasten.

2. Methodologie: Functionele Netwerkvingerafdruk (FNF)

De voorgestelde methode, Functional Network Fingerprint (FNF), is geïnspireerd door functionele hersennetwerken (FBN's) in de neurowetenschap. Het werkt op de premisse dat LLM's, als computationele analogen van biologische neurale systemen, stabiele patronen van functionele connectiviteit vertonen waarbij groepen neuronen consistent co-activeren als geïntegreerde netwerken.

Kernconcept: Functionele Activatie Consistentie (FAC)

De auteurs stellen dat modellen afgeleid van dezelfde trainingslijn (zelfs met architecturale of schaalverschillen) een gemeenschappelijk "neuroanatomisch blauwdruk" delen. Bijgevolg vertonen zij zeer consistente patronen van neuronale activiteit binnen hun functionele netwerken wanneer zij dezelfde input-stimuli verwerken. In contrast hiermee missen modellen die onafhankelijk zijn getraind op verschillende data of met verschillende doelstellingen deze uitlijning.

Technische Pipeline

1. Signaalextractie: Voor een set van $N$ inputsequenties worden neuron-signalen geëxtraheerd uit de output van specifieke Transformer-blokken in zowel het slachtoffer-model als het verdachte model.
2. Identificatie van Functionele Netwerken (CanICA): De methode maakt gebruik van Canonical Independent Component Analysis (CanICA), een standaardinstrument in de neurowetenschap, om functionele netwerken te identificeren.
   • Inputdata wordt geconcateneerd en gewit met behulp van PCA om tweede-orde correlaties te verwijderen.
   • FastICA wordt toegepast om onafhankelijke ruimtelijke componenten (functionele netwerken) te herstellen, gerepresenteerd als ruimtelijke kaarten $A \in \mathbb{R}^{D \times K}$, waarbij $K$ het aantal doel-functionele netwerken is.
3. Generatie van Tijdreeksen: Voor elk geïdentificeerd functioneel netwerk (ruimtelijke kaart) wordt een binaire masker toegepast om de meest saillante neuronen te selecteren. Het gemiddelde van de activiteit van deze neuronen over de inputsequentie wordt berekend om 1D functionele tijdreeksen te genereren.
4. Gelijkenismeting: De methode berekent de Spearman rangcorrelatie tussen de functionele tijdreeksen van het slachtoffer-model en het verdachte model.
   • Spearman-correlatie is gekozen boven Pearson-correlatie om de nadruk te leggen op de consistentie van de functionele activatie-trends (rangordes) in plaats van absolute waarden, wat robuust maakt tegen monotone transformaties.
   • Een gemiddelde consistentiescore wordt berekend over alle input-samples en netwerkparen om een gelijkenismatrix te produceren.

3. Belangrijkste Bijdragen

• Nieuw Paradigma voor Fingerprinting: FNF introduceert een training-vrije, niet-invasieve methode die gebruikmaakt van de intrinsieke dynamische functionele activiteit van LLM's in plaats van statische gewichten of ingebedde signalen.
• Robuustheid tegen Obfuscatie: De methode blijft effectief tegen veelvoorkomende modelmodificaties, waaronder:
  • Fine-tuning: Zelfs na uitgebreide fine-tuning op grote datasets.
  • Pruning: Zowel gestructureerde (diepte/breedte) als ongestructureerde pruning.
  • Parameter Permutatie & Schaling: Het herordenen van gewichten of schalingstransformaties die parameterdimensies wijzigen maar de functionele logica behouden.
  • Weight Repackaging: Het detecteren van afstamming in modellen waarbij de architectuur is uitgebreid (bijv. het toevoegen van lagen, vergroten van verborgen dimensies) terwijl de kern-gewichten zijn overgenomen.
• Compatibiliteit tussen Architecturen: In tegen tegenstelling tot eerdere methoden die identieke architecturen vereisen, kan FNF modellen vergelijken met verschillende verborgen laag-dimensies en structurele configuraties.
• Interpreteerbaarheid: Door activaties te deconstrueren in functionele netwerken, biedt de methode inzichten in de interne functionele organisatie van de modellen.

4. Experimentele Resultaten

De auteurs hebben FNF geëvalueerd met de WikiText-2 dataset over diverse modelfamilies (LLaMA, Qwen, ChatGLM, Mistral, etc.) en vergeleken met de state-of-the-art baseline, REEF (die Centered Kernel Alignment gebruikt).

• Fine-Tuning: FNF behield sterke correlatiescores (bijv. >0.9) tussen pre-trained modellen en hun fine-tuned varianten (bijv. LLaMA2-7B vs. LLaMA2-7B-chat), zelfs na training op honderden miljarden tokens.
• Varianten van Trainingsdata: Modellen met identieke architecturen maar getraind vanaf nul op verschillende data (bijv. OpenLLaMA vs. LLaMA2) vertoonden zwakke correlaties, wat correct aangeeft dat er geen gedeelde afstamming is.
• Pruning: FNF identificeerde succesvol gemeenschappelijke oorsprongen in modellen die gepruned zijn met tot 50% van de parameters. In contrast hiermee faalde REEF om relaties te detecteren in zwaar geprunede modellen (bijv. Wanda-sp pruning).
• Model Merging: FNF identificeerde effectief de constituerende modellen van samengevoegde (merged) LLM's (bijv. Evollm-jp-7b), gebruikmakend van de lineaire meng-aanname van ICA.
• Weight Repackaging & Cross-Architecture:
  • FNF identificeerde correct dat Mistral-11B (een uitgebreide versie van Mistral-7B) en Solar-10.7B (afgeleid van Mistral-7B) een gemeenschappelijke oorsprong deelden, terwijl REEF (CKA) dit niet kon detecteren vanwege architecturale mismatches.
  • In vergelijkingen tussen modelfamilies (bijv. Qwen vs. GLM) leverde FNF lage scores, wat de ongerelateerde modellen correct onderscheidde, terwijl CKA vaak spuriële (schijnbaar hoge) gelijkenisscores produceerde.

5. Betekenis en Claims

Het artikel beweert dat FNF een eenvoudige, niet-invasieve en effectieve tool biedt voor de bescherming van het intellectueel eigendom van LLM's. De betekenis ligt in:

• Adresseren van de "Weight Repackaging" Kloof: Het is de eerste methode die expliciet gevalideerd is tegen structurele expansie-aanvallen waarbij modellen worden gemodificeerd om detectie te vermijden terwijl de kern-gewichten behouden blijven.
• Behoud van Bruikbaarheid: Als een post-hoc analyse methode vereist het geen hertraining of het inbedden van watermerken, waardoor de oorspronkelijke prestaties van het model behouden blijven.
• Schaalbaarheid en Efficiëntie: De methode vereist slechts enkele samples voor verificatie en is computationeel efficiënt.
• Interpreteerbaarheid: Het overbrugt de kloof tussen neurowetenschap en AI, en biedt een raamwerk om LLM's te begrijpen via de lens van functionele hersennetwerken, wat potentieel de interpreteerbaarheid van modellen verder kan bevorderen.

De auteurs concluderen dat FNF modeleigenaren en derden in staat stelt om betrouwbaar vast te stellen of een verdacht model een afgeleide is van een slachtoffer-model, zelfs in aanwezigheid van significante architecturale en dimensionale verschillen.