Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation

Technische Samenvatting: Mental Damage – Caption Poisoning Attacks op Retrieval-Augmented Text-to-Music Generatie

Probleemstelling
Retrieval-Augmented Generation (RAG) systemen voor Text-to-Music (TTM) beogen de kloof te overbruggen tussen hoogwaardige, ondergespecificeerde gebruikersprompts (bijv. "rustige muziek voor het studeren") en de laagwaardige akoestische details die vereist zijn voor hoogwaardige generatie. Deze systemen halen gedetailleerde muziek-captions op uit een kennisbank om gebruikersprompts te verrijken vóór de synthese. Deze architectuur introduceert echter een kritieke integriteitsafhankelijkheid van de retrieval-corpus. Het artikel identificeert dat een aanvaller deze muziek-tekst kennisdatabase kan vergiftigen door een klein aantal vervaardigde captions te injecteren. Het doel is om het systeem te laten een kwaadaardige caption te extraheren die het prompt-augmentatieproces beïnvloedt, waardoor de gegenereerde muziek wordt gestuurd naar de door de aanvaller gekozen doelintentie (bijv. horror-muziek), terwijl de oorspronkelijke query van de gebruiker ongewijzigd en onschuldig blijft. In tegenstelling tot directe modelaanvallen, laat deze methode de gebruikersprompt, de retriever-architectuur en de generatorparameters onveranderd, wat de aanval moeilijk detecteerbaar maakt vanuit het perspectief van de gebruiker.

Methodologie
De auteurs stellen een dual-layer caption poisoning strategie voor, ontworpen om de inherente afweging tussen retrieval plausibiliteit (de vergiftigde caption moet worden opgehaald voor de onschuldige query) en stuurkracht (de caption moet de generatie effectief omleiden) te navigeren. De aanval wordt geformuleerd als het optimaliseren van een vergiftigde caption $c_p$ bestaande uit twee samengevoegde delen: $c_p = c_{anchor} \parallel c_{payload}$.

De strategie bestaat uit drie kerncomponenten:

1. Anchor Preservation (Retrieval Plausibiliteit):
   Om ervoor te zorgen dat de vergiftigde caption wordt opgehaald voor een onschuldige query, behoudt de aanval hoogwaardige semantische cues ($c_{anchor}$) die overeenstemmen met de oorspronkelijke intentie van de gebruiker. Als de gebruiker bijvoorbeeld vraagt om "studie-muziek", behoudt de vergiftigde caption zinnen als "rustige studie muziek" of "ontspannende achtergrondmuziek". Dit zorgt ervoor dat de caption een plausibele match blijft in de embedding space van de retriever.

2. High-level Functional Opposite Target Generation (Conflictbeheersing):
   De aanvaller selecteert een doelcategorie ($t^*$) die functioneel tegenovergesteld is aan de intentie van de gebruiker (bijv. verschuiving van "comfort/focus" naar "onbehagen/spanning") maar excessieve laagwaardige akoestische conflicten vermijdt. Het selectieproces maximaliseert functionele oppositie terwijl het descriptor-niveau incompatibiliteit minimaliseert. Bijvoorbeeld, "horror" wordt gekozen boven "rock" voor een "rustige studie"-query, omdat horror gemeenschappelijke laagwaardige kenmerken kan delen met rustige muziek (bijv. traag tempo, ijle textuur, aanhoudende drones), terwijl het toch een drastische verschuiving in de door de gebruiker waargenomen functie bereikt. Deze balans voorkomt dat de vergiftiging de retrieval of generatieprocedure destabiliseert.

3. Low-level Semantic Similar Target Generation (Stuurkracht):
   In plaats van uitsluitend te vertrouwen op hoogwaardige labels, injecteert de aanval een payload ($c_{payload}$) van gedetailleerde, laagwaardige akoestische descriptors afgeleid van de doelcategorie. Voorbeelden zijn "ver weg echoënde klokken", "holle reverberante ruimte" of "langzame pulserende drone". Aangezien TTM-modellen sterk vertrouwen op deze specifieke akoestische cues voor conditionering, stuurt deze payload de downstream generatie effectief naar de doelintentie van de aanvaller zonder de semantische link die door de anchor is gevestigd te verbreken.

Experimentele Opstelling en Resultaten
De auteurs evalueerden de aanval op een RAG-gebaseerde TTM-pipeline met behulp van de MusicCaps dataset als kennisbank, het CLAP model als retriever, en MusicGen (small) als generator.

• Opstelling: De aanvaller injecteerde een klein aantal vergiftigde captions in de database. Het systeem werd getest met onschuldige queries (bijv. "geef me rustige achtergrondmuziek voor het studeren") en geëvalueerd tegen een doelcategorie (bijv. "horror").
• Metrieken: Prestaties werden gemeten met CLAP-gelijkenis (cosine similarity tussen tekst- en audio-embeddings), Precisie, Recall en F1-scores voor retrieval.
• Belangrijkste Bevindingen:
  • Effectiviteit van Sturing: De aanval slaagde erin de gegenereerde muziek te verschuiven naar de doelcategorie. De CLAP-gelijkenis tussen de vergiftigde generatie en de doelcategorie nam aanzienlijk toe (ongeveer verdubbeling van ~0,21–0,28 naar ~0,41–0,48).
  • Stealth (Onopvallendheid): De CLAP-gelijkenis tussen de gegenereerde muziek en de oorspronkelijke gebruikersquery bleef grotendeels onveranderd (rond de 0,30), wat aangeeft dat de aanval de alignment met de prompt van de gebruiker niet verslechterde, waardoor het moeilijk te detecteren is op basis van query-relevantie alleen.
  • Retrieval Succes: De vergiftigde captions werden succesvol opgehaald met hoge precisie, recall en F1-scores over verschillende top-k settings, wat de effectiviteit van de anchor preservation strategie bevestigt.

Kernbijdragen

1. Identificatie van een Nieuw Aanvalsoppervlak: Het artikel identificeert caption poisoning in RAG-gebaseerde TTM-systemen als een nieuwe integriteitsdreiging, waarbij wordt aangetoond dat het manipuleren van metadata in de retrieval-corpus het proces van hoogwaardige-naar-laagwaardige prompt-translatie kan omleiden.
2. Dual-Level Poisoning Design: De auteurs stellen een specifieke aanvalarchitectuur voor die Anchor Preservation, Function-Opposed Targeting en Descriptor-Level Payload Injection combineert om gelijktijdig aan retrieval-beperkingen te voldoen en de kwaadaardige sturing te maximaliseren.
3. Empirische Validatie: De studie toont aan dat deze aanval de gelijkenis van gegenereerde muziek met een door de aanvaller gekozen doelintentie effectief kan verdubbelen, terwijl de alignment met de onschuldige gebruikersquery behouden blijft, wat een praktisch integriteitsrisico blootlegt in retrieval-augmented creatieve AI.

Betekenis en Claims
Het artikel claimt een praktisch integriteitsrisico bloot te leggen voor retrieval-augmented creatieve AI-systemen. Het betoogt dat de beveiliging van deze systemen niet uitsluitend kan rusten op de robuustheid van het generatieve model; de integriteit van de externe retrieval-corpus en de tekstuele labels die aan audio zijn gekoppeld, zijn even kritiek. De auteurs concluderen dat defensies de retrieval-corpus en caption-metadata moeten behandelen als onderdeel van de vertrouwde basis (trusted base), wat striktere ingestie-controles en robuustheidscontroles binnen de retrieval-pipeline noodzakelijk maakt. Het werk benadrukt dat in multimodale RAG-systemen het aanvalsoppervlak zich uitstrekt voorbij het generatieve model naar de embedding space en de externe kennisbron.