🤖 machine learning

modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

Questo articolo introduce modelDNA, uno strumento che verifica la linea di discendenza dei modelli e decompone le fusioni dei pesi utilizzando impronte digitali calibrate derivate da letture HTTP parziali, raggiungendo un'accuratezza perfetta su benchmark senza richiedere il download completo dei modelli.

Autori originali: Muhammad Awais Bin Adil, Saad Aamir

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Muhammad Awais Bin Adil, Saad Aamir

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Detective del DNA per i Modelli AI

Immaginate che la più grande biblioteca di cervelli artificiali di Internet (chiamata Hugging Face) sia una città caotica composta da quasi tre milioni di "case" di modelli. In questa città, chiunque può costruire una casa, ma il cartello sulla porta d'ingresso che dice "Costruita dai progetti della Casa X" è opzionale. Di fatto, oltre il 60% di queste case non ha alcun cartello. A volte, un costruttore sostiene di aver inventato una nuova casa da zero, ma in realtà ha solo copiato i progetti di qualcun altro, ha ridipinto i vecchi o ha mescolato due case insieme.

Per molto tempo, capire chi ha copiato chi richiedeva un detective con un supercomputer, un intero fine settimana e molta fortuna. Se scoppiava una disputa — come quando due aziende discutevano su chi possedesse un determinato cervello artificiale — non esisteva uno strumento neutrale per decidere chi avesse ragione.

Entra in scena modelDNA. Pensatelo come uno scanner forense che non ha bisogno di trasferirsi nella casa o anche solo di scaricare l'intero edificio. Invece, effettua una rapida "impronta digitale" dei file dei pesi del modello.

La Magia della "Scansione Rapida"

Normalmente, scaricare un modello AI standard da 7 miliardi di parametri è come cercare di bere un intero oceano; è un file enorme da 15 GB. modelDNA è più intelligente. Ha solo bisogno di sbirciare circa 100-300 MB del file.

Come? Immaginate che il file sia un libro gigante. Invece di leggere ogni singola parola, modelDNA ha una mappa segreta che gli dice esattamente quali pagine sfogliare. Legge solo i paragrafi giusti (parti specifiche della matematica all'interno del modello) per creare una tessera d'identità unica. Questo richiede circa due minuti su un normale laptop, senza bisogno di una scheda grafica.

Questo scanner cerca quattro diversi tipi di "indizi" (segnali) nascosti nella matematica:

Il Ritmo: Come "battono" i livelli di attenzione (deviazioni standard).
La Forma: La dimensione e la direzione complessiva dei numeri.
Il Pattern: Campioni specifici di numeri confrontati direttamente.
Lo Spettro: Le frequenze nascoste nei dati che sopravvivono anche se i numeri vengono rimescolati.

Il Verdetto: "Statisticamente Coerente", non "Colpevole"

Lo strumento è progettato per essere incredibilmente prudente. Preferisce dire "Non sono sicuro" piuttosto che accusare un modello innocente di essere un imitatore. Quando scansiona un modello, lo confronta con un database di 37 "genitori" noti (come Llama, Mistral, Qwen e altri).

Ti consegna quindi uno di otto verdetti:

Copia Esatta: "Questa è un clone."
Copia Quantizzata: "Questo è un clone, ma rimpicciolito per stare in una scatola più piccola."
Fine-Tune: "Questo è un figlio di quel genitore, addestrato su nuovi dati."
Probabile Merge: "Questo è un mix di due o più genitori."
Stessa Famiglia (Non Risolto): "Sono cugini, ma non riesco a capire quale sia il genitore diretto."
Nessuna Corrispondenza: "Questo sembra non correlato a nessuno nel nostro database."
Insufficiente: "Non ho ottenuto abbastanza indizi per decidere."
Astensione: "Non sono abbastanza sicuro per dire qualsiasi cosa."

Se lo strumento rileva una corrispondenza, fornisce un punteggio di probabilità. Ad esempio, potrebbe dire: "I pesi sono statisticamente coerenti con l'essere derivati da Mistral-7B con una probabilità di 0,99". Non dice mai semplicemente "Questa è una copia"; dice che la matematica si allinea con quella storia.

Il Mistero dello "Smoothie": Scomporre i Merge

Uno dei trucchi più affascinanti che modelDNA può compiere è la decomposizione del merge. Immaginate che qualcuno prenda uno smoothie alla fragola e uno allo mirtillo, li mescoli e dichiari che è un nuovo gusto "Berry Blast". È possibile capire quanto fragola e quanto mirtillo ci sono dentro?

Nel mondo dell'IA, le persone mescolano i modelli tra loro (usando strumenti come mergekit). modelDNA può guardare l'impronta digitale del "Berry Blast" e fare l'ingegneria inversa della ricetta. Poiché il processo di miscelazione è lineare (come sommare numeri), lo strumento può risolvere un puzzle per trovare le percentuali esatte.

Nei test, ha recuperato con successo la ricetta per un merge "slerp" (un tipo specifico di mix) con una correlazione di 0,999, e ha ottenuto le percentuali di un merge "dare_ties" entro un margine di 0,011 dalla ricetta originale. Ci è riuscito senza mai scaricare i modelli completi, usando solo le minuscole impronte digitali.

Ciò che Non Può Fare (Le Regole)

Il paper è molto onesto riguardo a ciò che questo strumento non può fare:

Nessuna "Lettura del Pensiero": Non può rilevare se un modello è stato "distillato" (insegnato tramite le risposte di un altro modello invece che attraverso i suoi pesi). Se l'insegnante non ha mai toccato i pesi dello studente, l'impronta digitale non lo mostrerà.
Nessuna "Lista di Candidati Magica": Per scomporre uno smoothie, devi sapere quali frutti potrebbero esserci dentro. Se chiedi a modelDNA di scomporre un modello ma non fornisci la lista dei possibili genitori, potrebbe indovinare l' "ascendenza" (i grandi-nonni) invece della ricetta immediata.
Nessuna "Prova Perfetta": Lo strumento ammette che un hacker determinato potrebbe tentare di falsificare le impronte digitali. Sebbene lo strumento utilizzi quattro diversi indizi per rendere difficile il falso, non sostiene di essere indistruttibile.
No "Deep Learning" al Volo: Non esegue il modello per vedere come risponde alle domande; guarda solo i file matematici statici.

Il Curriculum

Gli autori hanno testato questo strumento su 15 modelli reali che avevano genitori noti (verificati dalle organizzazioni che li hanno creati). Li hanno messi a confronto con 107 "hard negatives" (modelli che sembrano simili ma non sono correlati).

I risultati sono stati netti:

AUROC 1.0: Questo è un punteggio perfetto per distinguere i veri match dai falsi.
Zero Falsi Positivi: Non ha mai accusato un modello non correlato di essere un genitore.
13/13 Corretti: Ha identificato correttamente il genitore principale per ogni singolo caso di test.

Tuttavia, il paper nota che questo è un test in un "piccolo paese" (15 modelli). Sebbene i risultati siano perfetti finora, gli autori sono cauti nell'affermare che non sia mai possibile sbagliare. Stanno costruendo un test più ampio per esserne certi.

In Breve

modelDNA è uno strumento che porta ordine nella caotica città dell'IA. Non urla accuse; presenta prove. Dice: "In base alla matematica che abbiamo sbirciato, questo modello sembra al 99% un figlio di quello lì". Trasforma un internet disordinato e non verificato in un luogo dove la linea di discendenza può essere controllata, verificata e persino "smontata", il tutto nel tempo necessario per preparare una tazza di caffè.

Sintesi Tecnica: modelDNA – Verifica della Lineage Calibrata e Decomposizione dei Merge

Problematica
Il grafo della lineage (discendenza) dei modelli linguistici open-weight su Hugging Face è attualmente basato su auto-segnalazioni ed è ampiamente non verificato. Il campo dei metadati base_model è opzionale e spesso assente (oltre il 60% dei modelli), portando a una mancanza di trasparenzza riguardo alla genesi dei modelli. Sebbene esistano ricerche per il rilevamento della lineage tramite l'analisi dei pesi, gli attuali metodi sono frammentati, legati a esperimenti specifici e richiedono il download completo dei modelli o risorse GPU. Ciò crea un collo di bottiglia dove le dispute sulla provenienza (ad esempio, la controversia Pangu Pro vs. Qwen2.5) non possono essere risolte in modo neutrale o efficiente. Inoltre, gli strumenti esistenti faticano con i modelli "merge" (dove più genitori vengono combinati) e mancano di punteggi di confidenza calibrati, rischiando spesso accuse infondate.

Metodologia
modelDNA affronta queste problematiche attraverso uno strumento forense passivo, operante solo su CPU, che lavora su impronte digitali di pesi campionati anziché sul download completo del modello.

Fingerprinting Efficiente:
- Strategia di Campionamento: Invece di scaricare l'intero peso (ad esempio, 15 GB per un modello da 7B), modelDNA esegue letture HTTP a intervalli (100–300 MB) per estrarre elementi tensoriali specifici.
- Allineamento Deterministico: Le posizioni di campionamento sono derivate come funzioni pure di un seed globale, del ruolo canonico del tensore (es. attn.q, mlp.down), dell'indice dello strato e della dimensione del tensore. Ciò garantisce che le impronte di modelli diversi siano allineate sugli elementi senza dover prima ispezionare il contenuto.
- Supporto ai Formati: Supporta safetensors e GGUF (tramite dequantizzazione nelle posizioni di campionamento), gestendo il rumore di quantizzazione confrontandolo con i genitori a precisione intera.
Quattro Famiglie di Segnali:
L'impronta digitale raggruppa quattro distinte famiglie di segnali per rilevare la lineage attraverso varie trasformazioni (fine-tuning, merge, quantizzazione, ri-parametrizzazione):
- F1 (Curve $\sigma$ dell'attenzione): Deviazioni standard per strato delle proiezioni di attenzione/MLP.
- F2 (Vettori 1-D): Guadagni di norma e bias.
- F3 (Campioni PCS): Campioni di elementi seminati di proiezioni 2-D (similarità del coseno).
- F4 (Spettri): I primi 32 valori singolari per ogni strato campionato, invarianti rispetto a ri-parametrizzazioni ortogonali.
Motore di Verdetto Calibrato:
- Le evidenze dei quattro segnali vengono aggregate in un modello logistico.
- Astensione e Calibrazione: Il sistema privilegia la precisione rispetto al richiamo (recall). Imputa i segnali mancanti con medie di background di coppie non correlate per garantire che l' "assenza di evidenza" non venga mai trattata come evidenza.
- Classi di Verdetto: Restituisce una delle otto classi (es. EXACT_COPY, FINE_TUNE, LIKELY_MERGE, INSUFFICIENT). Viene imposto un limite di alta confidenza ( $p \ge 0.90$ ) per prevenire accuse errate.
Decomposizione dei Merge:
- Linearità dei Merge: Il sistema sfrutta il fatto che i principali metodi di merging (Slerp, Task Arithmetic, TIES, DARE) sono (quasi-)lineari per tensore.
- Regressione Vincolata: Poiché le impronte digitali dei modelli merge sono combinazioni lineari delle impronte dei genitori, i pesi di miscelazione possono essere recuperati tramite minimi quadrati vincolati alla somma unitaria.
- Spazio dei Vettori di Task: Vincolando i pesi affinché la loro somma sia pari a uno, la regressione si sposta dallo spazio dei pesi grezzi mal condizionato allo spazio dei vettori di task ben condizionato (delta rispetto a una base), permettendo il recupero delle curve di interpolazione e dei pesi di miscelazione senza l'accesso ai pesi completi.

Contributi Chiave

Uno Strumento di Fingerprinting Portatile: Un metodo per generare impronte digitali confrontabili da circa 100–300 MB di letture HTTP, consentendo la verifica della lineage su hardware standard senza download completi.
Sistema di Verdetto Calibrato: Un framework che mappa le evidenze in otto classi distinte con probabilità calibrate, gestendo esplicitamente i dati mancanti e astenendosi quando l'evidenza è insufficiente per evitare falsi positivi.
Decomposizione del Merge dalle Impronte Digitali: La prima dimostrazione che i pesi di miscelazione e le curve di interpolazione degli strati dei modelli merge possono essere recuperati algebricamente solo dalle impronte digitali campionate, validata contro configurazioni di merge pubbliche.
LineageBench: Un benchmark di 15 modelli reali del Hub con verità fondamentale documentata dalle organizzazioni (non basata su tag di metadati), accompagnato da cache di impronte digitali impegnate per la riproducibilità offline.

Risultati

Verifica della Lineage: Su LineageBench (13 casi positivi, 107 negativi difficili), il sistema ha raggiunto un AUROC di 1.0, zero falsi positivi alla soglia di segnalazione e 13/13 attribuzioni corrette del top-1 genitore.
Decomposizione dei Merge:
- Ha recuperato le curve di interpolazione degli strati Slerp con una correlazione $r = 0.999$ .
- Ha recuperato i pesi di miscelazione dare_ties entro un margine di 0.011 dai valori di verità fondamentale pubblicati.
- Ha identificato con successo i merge con variazione di profondità (es. SOLAR-10.7B) come NO_MATCH a causa di discrepanze nel numero di strati, evitando decomposizioni errate.
Performance: Il fingerprinting di un modello da 7B richiede circa due minuti su una connessione standard.

Significatività e Rivendicazioni
Il paper posiziona modelDNA non come uno strumento di scoperta di nuovi segnali, ma come uno strumento forense di classe produzione che risolve i gap ingegneristici "poco gloriosi" della ricerca esistente: calibrazione, astensione e riproducibilità.

Consistenza Statistica, Non Prova: Lo strumento inquadra esplicitamente gli output come "i pesi sono statisticamente coerenti con la derivazione da X", evitando accuse assolute.
La Sicurezza Prima di Tutto: La filosofia di design privilegia l'evitare false accuse (rischio di diffamazione) rispetto alla massimizzazione del richiamo, utilizzando soglie conservative e distribuzioni di background.
Trasparenza: Rendendo pubblici e riproducibili offline le impronte digitali, i benchmark e il grafo della lineage inferito di 55 modelli, lo strumento mira a fornire uno standard neutrale e verificabile per risolvere le dispute sulla provenienza nella comunità open-weight.
Limitazioni: Gli autori riconoscono che la distillazione è invisibile alla forense dei pesi, la ri-parametrizzazione avversaria può sconfiggere i segnali diretti di similarità (sebbene i segnali spettrali offrano contromisure), e le magnitudo delle probabilità sono meno validate rispetto ai ranking. Lo strumento attualmente rifiuta i merge con variazione di profondità e richiede una lista di candidati per la decomposizione.