Reference-Based Distillation Detection in LLMs

Technische Samenvatting: Referentie-gebaseerde Distillatie-detectie in LLM's

Probleemstelling
Modeldistillatie—het trainen van een studentmodel op de outputs gegenereerd door een sterker teacher-model—is een veelvoorkomende techniek voor het overdragen van capaciteiten zoals redeneren en instructie-opvolging. Deze praktijk roept echter aanzienlijke zorgen op met betrekking tot oneerlijke concurrentievoordelen, schendingen van intellectueel eigendom en beleidsinbreuken. Een kritieke uitdaging in modelauditing is het bepalen of een specifiek model gedistilleerd is van een ander model. Het paper stelt dat het identificeren van een teacher-model vanuit een student-model in isolatie (absolute detectie) zeer uitdagend is vanwege de moeilijkheid van membership inference in moderne Large Language Models (LLM's) en de opaakheid van distillatie-pipelines (bijv. onbekende prompts, datafiltering).

Methodologie
De auteurs stellen een referentie-gebaseerd distillatie-detectieframework voor. In plaats van te proberen distillatie in absolute zin te detecteren, werkt de methode op een relatieve basis: gegeven een studentmodel $S$ en een referentie-checkpoint uit een eerdere generatie $R$ uit dezelfde lineage (bijv. een base model of een eerdere instructie-getunede versie), bepaalt het systeem of $S$ getraind is met behulp van de outputs van een kandidaat-teacher $T$.

De kernmechanisme omvat referentie-genormaliseerde likelihoods:

1. Proxy Inputs: De detector construeert een set proxy-inputs $\hat{X}$ (disjunct van de originele trainingsdata) om kandidaat-teachers te bevragen.
2. Alignment Scoring: Voor elke kandidaat-teacher $T_k$ berekent de methode een alignment score op basis van hoe goed het studentmodel $S$ de outputs van $T_k$ verklaart in vergelijking met de referentie $R$. De score wordt gedefinieerd als:
   $$f(T_k(x_i), S) = -(\ell_S(x_i, y^{(k)}_i) - \ell_R(x_i, y^{(k)}_i))$$
   waarbij $\ell_M$ de gemiddelde token-niveau negatieve log-likelihood is.
3. Beslisregels: De methode identificeert de teacher door ofwel de kandidaat te selecteren met de hoogste gemiddelde alignment score, of door de kandidaat te selecteren die de grootste fractie van de rank-matched vergelijkingen over de samples wint.
4. Statistische Significantie: Om genuante distillatie-signalen van ruis te onderscheiden, maken de auteurs gebruik van statistische tests (exacte binomiale tests voor identificatie; eenzijdige t-tests of Wilcoxon signed-rank tests voor detectiemarges) en vereisen zij overeenstemming over twee afzonderlijke prompt-sets.
5. Omgaan met Onbekende Pipelines: Om verborgen prompts of instructiestijlen aan te pakken, kan de methode proxy prompt-templates afleiden of few-shot in-context exemplaren gebruiken om de outputs van de teacher af te stemmen op de stijl van de student.
6. Glyph-niveau Signaal: Het paper identificeert een specifiek signaal voor modellen gedistilleerd van de OpenAI o1/o3-serie: een ongewoon frequente het gebruik van non-ASCII Unicode-karakters. Dit wordt gedetecteerd via een referentie-genormaliseerde loss-gap tussen ASCII en Unicode-serialisaties.

Belangrijkste Bijdragen

• Referentie-gebaseerde Formulering: Het paper introduceert een hanteerbare aanpak voor distillatie-detectie door een student te vergelijken met een referentie-checkpoint in plaats van te vertrouwen op absolute likelihoods, die de auteurs als onbetrouwbaar beschouwen.
• Robuustheid tegen Opaakheid: De methode functioneert effectief, zelfs wanneer de distillatie-pipeline (prompts, databronnen) onbekend is, door gebruik te maken van proxy prompts en few-shot alignment-strategieën.
• Glyph-niveau Detectie: De identificatie van een onderscheidend "glyph-niveau" signaal (Unicode-gebruik) specifiek voor o1/o3-distillatie, wat een complementaire detectievector biedt.
• Hybride Evaluatieframework: De auteurs ontwikkelen een rigoureuze evaluatiestrategie die gecontroleerde distillatie-experimenten (met bekende grondwaarheid) combineert met real-world modelanalyse om de verstrengeling van moderne model-lineages aan te pakken.
• Statistisch Framework: De introductie van significantietests voor zowel teacher-attributie als binaire distillatie-detectie om fout-positieven te minimaliseren.

Resultaten
De methode werd geëvalueerd via gecontroleerde experimenten en real-world modellen:

• Gecontroleerde Experimenten: In single-teacher, SFT-stijl distillatie-scenario's bereikte de referentie-gebaseerde methode een bijna perfecte nauwkeurigheid (100% geaggregeerde nauwkeurigheid) bij het identificeren van de ware teacher, waarmee het baselines zoals raw likelihood, ZLIB-genormaliseerde likelihood en string-gebaseerde gelijkenis-metrieken aanzienlijk overtrof. Het signaal kwam snel naar voren, waarbij slechts enkele tientallen trainingsvoorbeelden nodig waren.
• Real-World Modellen: Toegepast op modellen zoals DeepSeek-R1 distillaten en s1.1-32B, identificeerde de methode DeepSeek-R1 correct als de teacher in 7 van de 7 gevallen.
• Open-World Attributie: In open-world settings waar de ware teacher mogelijk niet in de kandidaat-pool zit, slaagde de methode erin om waarschijnlijke teachers te rangschikken. Zo identificeerde het DeepSeek-R1 als de meest waarschijnlijke teacher voor QwQ-32B en suggereerde het een potentiële o1/o3 invloed op DeepSeek-R1 en GPT-OSS via het Unicode-signaal.
• Geobserveerde Beperkingen: De methode is afhankelijk van de beschikbaarheid van een geschikte referentie-checkpoint (wat moeilijk was voor GPT-OSS). Daarnaast daalde de nauwkeurigheid aanzienlijk wanneer reasoning traces verborgen waren (bijv. alleen eindantwoorden beschikbaar), en detectiedrempels gekalibreerd op reasoning teachers generaliseerden niet goed naar non-reasoning teachers.

Betekenis en Claims
Het paper claimt de haalbaarheid van model-niveau auditing voor distillatie in moderne LLM's vast te stellen. Het stelt dat hoewel absolute detectie moeilijk is, een referentie-gebaseerde setting de identificatie van teacher-modellen met hoge mate van vertrouwen mogelijk maakt. De auteurs presenteren dit werk als een "eerste stap" naar transparantie in steeds meer opaak wordende modelontwikkelingspipelines. Ze verklaren expliciet dat hun bevindingen empirisch bewijs leveren voor potentiële distillatie-relaties waarbij QwQ, DeepSeek-R1 en GPT-OSS betrokken zijn, maar waarschuwen dat deze als voorlopige exploraties moeten worden beschouwd vanwege de simplificerende aannames (single-teacher, final-stage SFT) en de complexe, verstrengelde aard van real-world model-lineages. Het werk beoogt toekomstig onderzoek naar attributie onder complexere regimes, zoals multi-teacher en multi-stage distillatie, te motiveren.