🤖 AI

HarmonicAttack: An Adaptive Cross-Domain Audio Watermark Removal

Het artikel introduceert HarmonicAttack, een nieuwe adaptieve methode voor het verwijderen van audiowatermerken over domeinen heen die watermerken effectief verwijdert uit de meest geavanceerde schema's zonder toegang tot de doel-detectormodule, waarbij superieure generalisatie over onbekende datasets wordt aangetoond en een hoge perceptuele kwaliteit wordt behouden.

Oorspronkelijke auteurs: Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kexin Li, Xiao Hu, Ilya Grishchenko, David Lie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een geheim stempel op je stem hebt of een liedje dat je met AI hebt gemaakt. Dit stempel, een watermerk, is onhoorbaar voor het menselijk oor, maar fungeert als een digitaal vingerafdruk. De taak ervan is om te bewijzen: "Hé, dit is door een computer gemaakt, niet door een mens." Dit moet voorkomen dat kwaadwillenden nepstemmen gebruiken om mensen op te lichten of leugens te verspreiden.

Maar, net zoals een vervalser die probeert een stempel van een zeldzaam schilderij af te krabben, zijn er mensen die deze watermerken proberen te verwijderen om nepaudio er volledig echt uit te laten zien en klinken.

Dit artikel introduceert een nieuw hulpmiddel genaamd HarmonicAttack. Denk hierbij aan een hooggeschoolde, geautomatiseerde "wisser" die deze onzichtbare digitale stempels van audiobestanden kan wissen zonder het geluid te beschadigen.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het probleem met oude methoden

Vroeger was het proberen om deze watermerken te verwijderen, net als het raden van een wachtwoord door een vergrendelde deur steeds opnieuw te vragen: "Is dit de juiste sleutel?"

De oude manier: Aanvallers moesten de watermerkdetectie (het "slot") steeds opnieuw vragen of hun aanpassingen werkten. Dit was traag, vereiste toegang tot de detector, en klonk vaak als ruis of een kapotte radio wanneer het eindelijk werkte.
De nieuwe manier (HarmonicAttack): Dit hulpmiddel hoeft de detector niets te vragen. Het is als een meester-slotenmaker die duizenden foto's van het slot en de sleutel heeft bestudeerd. Het leert het patroon van het watermerk zelf en verwijdert het in één vloeiende beweging, zonder elke keer het slot te hoeven controleren.

2. Hoe HarmonicAttack het watermerk "ziet"

De auteurs realiseerden zich dat watermerken, ook al zijn ze verborgen, een specifiek "voetafdruk" achterlaten in de audio.

De analogie: Stel je voor dat een liedje een schilderij is. Het watermerk is een tiny, bijna onzichtbare laag verf die bovenop de originele kleuren is aangebracht.
De truc: Het artikel legt uit dat deze watermerken meestal verborgen zitten in de "drukke" delen van het geluid (waar de muziek of stem het hardst is), omdat onze oren de kleine veranderingen daar niet kunnen horen (dit heet psychoakoestische masking).
De oplossing: HarmonicAttack maakt gebruik van een Dual-Path Autoencoder. Denk hierbij aan een bril met twee lenzen:
1. Eén lens bekijkt het geluid als een golf in de tijd (zoals het kijken naar een hartslagmonitor).
2. De andere lens bekijkt het geluid als een kleurrijke kaart van frequenties (zoals een piano-roll die laat zien welke noten worden gespeeld).
  Door beide weergaven tegelijk te bekijken, kan de AI precies zien waar de "onzichtbare verf" (het watermerk) zich verbergt en deze precies wegkrabben, zodat het originele schilderij (de audio) onaangetast blijft.

3. De "Leraar en Student"-training

Om ervoor te zorgen dat de wisser niet per ongeluk de zangstem van de zanger verwijdert samen met het watermerk, maakt het systeem gebruik van een GAN (Generative Adversarial Network)-benadering.

De Generator (De Student): Dit is het deel dat probeert het watermerk te verwijderen.
De Discriminator (De Leraar): Dit is een strenge rechter die naar de "gereinigde" audio luistert en deze vergelijkt met het origineel. Als de gereinigde audio ook maar een beetje raar of robotachtig klinkt, zegt de leraar: "Nee, dat is niet natuurlijk! Probeer opnieuw."
Het resultaat: De student wordt steeds beter, totdat het het watermerk zo perfect kan verwijderen dat zelfs de leraar geen verschil kan zien tussen het origineel en de gereinigde versie.

4. Waarom dit een groot nieuws is (De resultaten)

Het artikel testte dit hulpmiddel tegen de sterkste, modernste watermerksystemen (zoals AudioSeal, WavMark en anderen) met zowel spraak (mensen die praten) als muziek.

Het werkt overal: Het team trainde de AI op één type data (spraak uit een specifieke dataset) en testte het vervolgens op volledig andere data (muziek en verschillende stemmen). Het werkte even goed. Het is alsof je leren autorijden op een rustig landweggetje en vervolgens direct perfect kunt rijden op een drukke stads snelweg zonder extra oefening.
Het is snel: Oude methoden kostten minuten of uren om één liedje te reinigen. HarmonicAttack doet dit in een fractie van een seconde (bijna real-time).
Het is effectief: Terwijl andere methoden het watermerk maar ongeveer 38% van de tijd wisten te verwijderen (en vaak de audio slecht lieten klinken), verwijderde HarmonicAttack ze 92% tot 100% van de tijd, terwijl de audio kristalhelder bleef klinken.

De conclusie

Het artikel concludeert dat de huidige "onzichtbare stempels" op AI-audio niet zo veilig zijn als we dachten. HarmonicAttack bewijst dat als je een AI kunt leren het vorm en de locatie van een watermerk te herkennen, je het gemakkelijk kunt verwijderen, zelfs als je niet weet hoe het watermerk in de eerste plaats is gemaakt.

Belangrijke opmerking: Het artikel richt zich strikt op de technische mogelijkheid om deze watermerken te verwijderen om hun sterkte te testen. Het beweert niet dat dit hulpmiddel gebruikt moet worden voor fraude, noch suggereert het hoe het probleem op te lossen, anders dan te zeggen dat toekomstige watermerkontwerpen slimmer moeten zijn om dit soort "op leren gebaseerde" aanvallen te overleven.

Technische Samenvatting: HarmonicAttack

Probleemstelling
De proliferatie van hoogwaardige door AI gegenereerde audio heeft aanzienlijke veiligheidsrisico's met zich meegebracht, waaronder desinformatie en fraude met stemkloon. Hoewel watermerken een primaire verdedigingsmechanisme zijn om synthetische audio te onderscheiden van authentieke inhoud, wordt de robuustheid van deze watermerken tegen verwijzing vaak geëvalueerd onder onrealistische aannames. Vorige technieken voor het verwijderen van watermerken vereisten doorgaans toegang tot de doelwit-watermerkdetectie tijdens het aanvalsproces (bijvoorbeeld via herhaalde queries voor betrouwbaarheidsscores). Deze "white-box"- of "gray-box"-aannames zijn in real-world scenario's vaak onpraktisch, waarbij detectoren eigendom zijn of ontoegankelijk zijn. Bijgevolg ontbreekt er een objectieve evaluatie van de ware robuustheid van audio-watermerken tegen black-box-adversaria die slechts gepaarde samples van originele en gewatermerkte audio bezitten.

Methodologie: HarmonicAttack
De auteurs introduceren HarmonicAttack, het eerste leer-gebaseerde black-box-systeem voor het verwijderen van audio-watermerken dat werkt zonder toegang tot het watermerking-algoritme of de detector. De methode vertrouwt uitsluitend op een dataset van gepaarde originele en gewatermerkte audiosamples om een algemeen verwijderingsmodel te trainen.

Architectuur: HarmonicAttack maakt gebruik van een dual-path convolutional autoencoder die werkt in zowel de tijds- als frequentiedomeinen.
- Waveform Encoder: Verwerkt 1D-ruwe audiosignalen met behulp van 1D-convoluties om multischaal-tijdspatronen vast te leggen.
- Spectrogram Encoder: Past een Short-Time Fourier Transform (STFT) toe en verwerkt de resulterende 2D-gegevens met behulp van 2D-convoluties om spectrale kenmerken vast te leggen.
- Decoder: Gebruikt een attention-mechanisme om selectief de audio te reconstrueren, waarbij rekenkracht wordt gericht op tijd-frequentie-bins die watermerkartefacten bevatten, terwijl authentieke inhoud behouden blijft.
Trainingsparadigma: Het systeem maakt gebruik van GAN-stijl adversariale training. Een discriminator wordt getraind om onderscheid te maken tussen originele audio en de "ongewatermerkte" uitvoer van de generator. Dit dwingt de generator om audio te produceren die statistisch niet te onderscheiden is van natuurlijke audio, waardoor de introductie van perceptuele artefacten wordt voorkomen.
Verliesfunctie: De generator wordt geoptimaliseerd met behulp van een nieuwe multi-component verliesfunctie die is ontworpen om drie specifieke doelen aan te pakken:
1. Precieze Verwijdering (Disentanglement Loss): Moedigt het model aan om expliciet de structuur van het watermerksignaal te leren en te modelleren om dit actief te verwijderen, in plaats van generieke ruisreductie toe te passen.
2. Locatiebepaling (Localization Loss): Leidt het model om zich te richten op tijd-frequentie-bins waar de watermerkenergie geconcentreerd is, waarbij gebruik wordt gemaakt van de psychoakoestische maskeringsprincipes (embedden in minder gevoelige gebieden) die door moderne watermerken worden gebruikt.
3. Kwaliteit (Reconstruction Loss): Zorgt ervoor dat de perceptuele fideliteit van de onderliggende audio behouden blijft met behulp van een hybride $L_1$ en $L_2$ verlies.

Belangrijkste Bijdragen

Black-Box Capaciteit: Het artikel presenteert het eerste leer-gebaseerde verwijderingssysteem dat geen toegang vereist tot de watermerkdetectie, maar in plaats daarvan vertrouwt op gepaarde gegevens om watermerkkenmerken onafhankelijk van de onderliggende audioverdeling te leren.
Dual-Path Ontwerp & Multi-Objective Loss: De auteurs ontwerpen een architectuur en verliesfunctie die gezamenlijk precieze signaalmodellering, locatiebepaling binnen gemaskerde tijd-frequentie-bins en hoge kwaliteitsbehoud aanpakken.
Cross-Domain en Cross-Scheme Generalisatie: De studie toont aan dat het model, getraind op één dataset (LibriSpeech) tegen één schema (AudioSeal), effectief generaliseert naar ongezette datasets (FMA, VCTK) en ongezette watermerkschema's (WavMark, SilentCipher, AudioMarkNet).

Experimentele Resultaten
De auteurs hebben HarmonicAttack geëvalueerd tegen vier state-of-the-art watermerkschema's: AudioSeal, WavMark, SilentCipher en AudioMarkNet.

Aanvals Succespercentage (ASR): HarmonicAttack behaalde aanzienlijk hogere succespercentages dan baselines (MP3/OGG-compressie, EnCodec en de op optimalisatie gebaseerde AudioSquareAttack).
- Op de FMA-dataset (muziek) behaalde HarmonicAttack 100% ASR tegen alle geëvalueerde watermerken, terwijl de beste baseline (AudioSquareAttack) slechts 2% behaalde tegen AudioSeal en 44% tegen WavMark.
- Op de VCTK-dataset (spraak) tegen AudioMarkNet behaalde HarmonicAttack een 92% ASR, wat aanzienlijk beter presteerde dan de beste baseline (38%).
Perceptuele Kwaliteit: De methode behield hoge audiokwaliteit, met ViSQOL-scores rond de 4,33 op de FMA-dataset en STOI-scores boven de 0,93 op LibriSpeech, wat aangeeft dat het verwijderingsproces geen hoorbare artefacten introduceerde of de verstaanbaarheid verslechterde.
Efficiëntie en Schaalbaarheid: In tegenstelling tot op optimalisatie gebaseerde aanvallen waarvan de kosten schalen met de invoerlengte, werkt HarmonicAttack in bijna real-time (ongeveer 0,03 seconde per sample) ongeacht de audiobewerking. Baseline-aanvallen vertoonden daarentegen ernstige prestatiedegradatie naarmate de audiolengte toenam (bijvoorbeeld ASR dalend van 38% naar 2% voor 30-seconden clips).

Betekenis en Claims
Het artikel beweert dat HarmonicAttack een kritieke kwetsbaarheid blootlegt in moderne audio-watermerkschema's. De auteurs betogen dat, omdat huidige watermerken door ontwerpprincipes beperkt zijn om perceptuele kwaliteit te behouden (specifiek door gebruik te maken van psychoakoestische masking), ze onbedoeld consistente, leerbare patronen creëren in het tijd-frequentiedomein. Door deze patronen expliciet te modelleren en te lokaliseren, kan een adversariaal watermerken effectief verwijderen zonder toegang tot de detector.

De betekenis van dit werk ligt in het verschuiven van het evaluatieparadigma van "kan een watermerk compressie overleven?" naar "kan een watermerk een geleerd, adaptief verwijderingsmodel overleven?". De auteurs concluderen dat toekomstige watermerkontwerpen verder moeten gaan dan robuustheid tegen eenvoudige signaalverstoringen en rekening moeten houden met adaptieve, leer-gebaseerde aanvallen die watermerksignalen kunnen modelleren, lokaliseren en onderdrukken.