Technische Samenvatting: Terugvragen: Antidistillatie-watermerken op het interactieniveau

Probleemstelling

De proliferatie van geavanceerde taalmodellen die via black-box API's worden aangeboden, heeft een volwassen commerciële bedreiging gecreëerd: onbevoegde kennisdistillatie. Adversaria oogsten prompt-responsparen van een teacher-API, fine-tunen een kleiner studentmodel en zetten dit zonder toestemming in. Verdediging hiertegen is moeilijk omdat de verdediger noch de trainingspipeline van de aanval, noch de interne logits (volgende-tokenverdelingen) van de teacher controleert.

Bestaande antidistillatieverdedigingen opereren op drie primaire lagen, die allemaal een kwetsbaarheid delen voor herschrijven vóór distillatie:

1. Token-verdelingslaag: Verstoort de kansen voor de volgende token (bijv. groen-lijst-watermerken, cryptografische schema's).
2. Modellaag: Bewerkt het teacher-model zelf om handtekeningen in te bedden.
3. Redeneringssporen-laag: Herschikt of herschrijft chain-of-thought-sporen.

Recent werk toont aan dat aanvallers geoogste responsen kunnen parafraseren vóór training, waardoor deze oppervlakkige signalen effectief worden verwijderd terwijl de onderliggende kennisoverdracht behouden blijft. Dit laat een structurele kloof achter: zelfs als een signaal overleeft, specificeert het niet noodzakelijkerwijs een onderscheidend, bevraagbaar gedrag in de gedistilleerde student.

Methodologie

Dit artikel stelt een vierde, complementaire locus voor watermerken voor: de interactielayer. In plaats van tokenkansen of modelparameters te wijzigen, omhult de verdediger de teacher met een systeemprompt die intermitterend een specifiek gedragskenmerk ($B$) induceert.

Het Terugvragen-mechanisme

De verdediger implementeert een triggerbeleid ($\Pi_B$) dat voor een fractie ($\rho$) van de invoer een systeemprompt ($s_B$) selecteert. De systeemprompt instrueert de teacher om een specifiek interactiegedrag te vertonen, zoals:

• STERK (Expliciet): Een vervolgvraag toevoegen over het gebruiksscenario, de omgeving of de intentie van de gebruiker.
• ZACHT (Laag-dichtheid expliciet): Dezelfde vervolgvraag, maar alleen voor een subset van ongeveer 20% van de prompts.
• STIJL-CONTROLE (Impliciet): Een declaratieve herformulering of adviserende zin (bijv. "In de praktijk werkt dit het beste wanneer...") ingebed in de respons, eveneens met een dichtheid van ongeveer 20%.

Een onwetende distiller, die niet op de hoogte is van het triggerbeleid, traint een student op het geoogste corpus. Omdat het gedragskenmerk deel uitmaakt van de responstekst die de student moet nabootsen, erft de student dit gedrag. De verdediger kan later een verdachte student auditeren via black-box queries, waarbij een LLM als rechter wordt gebruikt om de aanwezigheid van het kenmerk te detecteren.

Formalisering

Het watermerk wordt gedefinieerd als een drietal $(B, \Pi_B, \rho)$, waarbij $B$ een merkerfunctie is, $\Pi_B$ het triggerbeleid is en $\rho$ de geïnduceerde merkerfrequentie is. Het artikel introduceert metrieken voor:

• Overdrachtsfrequentie ($\tau$): De frequentie waarmee een student het kenmerk vertoont op vastgehouden data.
• Relatieve Overdracht ($\tau_{rel}$): De frequentie van de student genormaliseerd naar de frequentie van de teacher.
• Parafrase-robustheid: Ontbonden in een teacher-eigen plafond ($R_T$, het behoud van de teacher bij prompt-zijde parafraseren) en een student-relatief behoud ($R_{rel}$, hoe goed de student het signaal behoudt ten opzichte van de degradatie van de teacher).

Belangrijkste Bijdragen

1. Probleemkader: De auteurs formaliseren het watermerk op het interactieniveau en definiëren gedrags tegenhangers voor bestaande token-niveau metrieken (groen-lijst, radioactieve data).
2. Schaal: De studie presenteert tot nu toe de breedste cross-family evaluatie van distillatie-watermerken, waarbij 63 LoRA-gedistilleerde studenten over drie model-families (Gemma, OLMo, Qwen) betrokken zijn, getraind op een Llama-3.3-70B-Instruct teacher, met 35.343 beoordeelde steekproeven.
3. Twee-niveau Parafrase-robustheid: Het werk karakteriseert robustheid niet als één getal, maar als een ontbinding van teacher-geërfd limieten en student-specifiek behoud, wat blootlegt dat sommige studenten watermerken onder specifieke omstandigheden betrouwbaarder kunnen behouden dan de teacher zelf.

Experimentele Resultaten

De evaluatie omvat vijf hypothesen ($H1$–$H5$) en verschillende bevindingen:

• Leerbaarheid ($H1$): Studenten getraind op gewatermerkte data vertonen het kenmerk met frequenties aanzienlijk boven de baseline. In een within-family case study bereikte een student getraind op "STERK" data een merkerfrequentie van 99,56% vergeleken met een baseline van 5,09%.
• Cross-Family Generalisatie ($H2$): Het effect geldt over drie verschillende model-families. De relatieve overdrachtsfrequenties voor het "STERK" kenmerk waren 88,9% (Gemma), 80,9% (OLMo) en 45,2% (Qwen).
• Parafrase-robustheid ($H3$): Wanneer de gebruikersprompt wordt parafraseerd (met DIPPER), daalt de merkerfrequentie van de teacher (bijv. van 90,9% naar 60,4% voor STERK, een 66,4% behoud). Dit stelt een plafond in. Het student-relatieve behoud varieert echter:
  • Gemma: 89% behoud van de gedegradeerde frequentie van de teacher.
  • Qwen: 65% behoud.
  • OLMo Anomalie: OLMo vertoonde 112% behoud, waarbij het watermerk boven de eigen gedegradeerde prestaties van de teacher werd behouden.
• Dichtheid-Detecteerbaarheid ($H4$): Zelfs bij lage dichtheden ($\rho \approx 20\%$) liggen de detectiefrequenties betrouwbaar boven de per-family ruisvloer. Bijvoorbeeld, OLMo-studenten getraind op data met 20% dichtheid toonden een detectiefrequentie van 31,99% (tegenover 0,65% baseline), wat de eigen frequentie van de teacher van 17,85% op dezelfde subset overtreft.
• Stilte ($H5$): Een in-lab studie ($N=20$) met een vooraf geregistreerd Latin-square protocol vond dat laag-dichtheid merkers (20% en 50%) de door de gebruiker waargenomen interactiekwaliteit niet significant verslechterden. Alle merkervarianten bleven binnen 0,22 Likert-stappen van de baseline.
• Impliciete Overdracht (F-Stijl): Het "STIJL-CONTROLE" kenmerk (declaratief, niet-interrogatief) werd ook betrouwbaar overgedragen (4,1x tot 7,9x baseline), wat aantoont dat het mechanisme rust op discours op interactieniveau in plaats van specifieke syntactische vormen zoals vraagtekens.

Betekenis en Claims

Het artikel claimt dat de interactielayer een levensvatbare ontwerplocus is voor antidistillatie-watermerken, en een complementair auditkanaal biedt voor verdedigingen op token-, model- en redeneringssporen-niveau.

• Complementaire Faalmodi: Waar token-niveau signalen kwetsbaar zijn voor herschrijven op respons-niveau, en redeneringssporen kwetsbaar zijn voor structurele herschikking, lijken signalen op het interactieniveau (gedragsneigingen) robuust te zijn tegen prompt-zijde parafraseren en overleven ze distillatie als geleerde discourscompetenties.
• Gedragsoverdracht: De resultaten suggereren dat distillatie structurele regulariteiten en discours-niveau competenties (zoals "terugvragen") bij voorkeur behoudt boven oppervlakkige token-statistieken.
• Praktische Levensvatbaarheid: De studie toont aan dat laag-dichtheid watermerken kunnen worden ingezet zonder de gebruikerservaring te verslechteren, en biedt een praktische methode voor het auditeren van onbevoegde distillatie via black-box queries.

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat het huidige threat model zich richt op niet-adaptieve, prompt-zijde parafraseren. Zij identificeren herschrijven aan de respons-zijde en adaptieve aanvallen als open problemen voor toekomstig werk. Bovendien wordt het "amplificatie"-effect dat bij OLMo werd waargenomen (waar de student de teacher overtreft) behandeld als een observatie binnen één familie die verdere empirische onderbouwing vereist, in plaats van een universele eigenschap.