Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation

Sintesi Tecnica: Mental Damage – Attacchi di Caption Poisoning su Sistemi di Generazione Text-to-Music con Retrieval-Augmented Generation

Problema
I sistemi di Retrieval-Augmented Generation (RAG) per il Text-to-Music (TTM) mirano a colmare il divario tra i prompt dell'utente ad alto livello e sotto-specificati (ad es., "musica calma per studiare") e i dettagli acustici a basso livello necessari per una generazione di alta qualità. Questi sistemi recuperano didascalie musicali dettagliate da una base di conoscenza per potenziare i prompt dell'utente prima della sintesi. Tuttavia, questa architettura introduce una critica dipendenza dall'integrità del corpus di recupero. Il documento identifica che un attaccante può avvelenare questo database di conoscenza musica-testo iniettando un piccolo numero di didascalie progettate. L'obiettivo è indurre il sistema a recuperare didascalie malevole che influenzino il processo di potenziamento del prompt, indirizzando la musica generata verso l'intento target scelto dall'attaccante (ad es., musica horror) mentre la query originale dell'utente rimane benigna e invariata. A differenza degli attacchi diretti ai modelli, questo metodo lascia invariati il prompt dell'utente, l'architettura del retriever e i parametri del generatore, rendendo l'attacco difficile da rilevare dal punto di vista dell'utente.

Metodologia
Gli autori propongono una strategia di caption poisoning a doppio livello progettata per navigare il compromesso intrinseco tra plausibilità del recupero (la didascalia avvelenata deve essere recuperata per la query benigna) e forza di indirizzamento (la didascalia deve reindirizzare efficacemente la generazione). L'attacco è formulato come l'ottimizzazione di una didascalia avvelenata $c_p$ composta da due parti concatenate: $c_p = c_{anchor} \parallel c_{payload}$.

La strategia consiste in tre componenti principali:

1. Preservazione dell'Ancora (Plausibilità del Recupero):
   Per garantire che la didascalia avvelenata venga recuperata per una query benigna, l'attacco preserva indizi semantici di alto livello ($c_{anchor}$) che si allineano con l'intento originale dell'utente. Ad esempio, se l'utente richiede "musica per studiare", la didascalia avvelenata mantiene frasi come "musica calma per studiare" o "musica di sottofondo rilassante". Ciò assicura che la didascalia rimanga un match plausibile nello spazio di embedding del retriever.

2. Generazione di Target Funzionalmente Opposti ad Alto Livello (Controllo del Conflitto):
   L'attaccante seleziona una categoria target ($t^*$) che è funzionalmente opposta all'intento dell'utente (ad es., passare da "comfort/concentrazione" a "inquietudine/tensione") ma evita un eccessivo conflitto acustico a basso livello. Il processo di selezione massimizza l'opposizione funzionale minimizzando al contempo l'incompatibilità dei descrittori. Ad esempio, "horror" viene scelto rispetto a "rock" per una query di "studio calmo" perché l'horror può condividere tratti a basso livello con la musica calma (ad es., tempo lento, tessitura rada, droni sostenuti), pur riuscendo a ottenere uno spostamento drastico nella percezione funzionale dell'utente. Questo equilibrio evita che il poisoning destabilizzi il processo di recupero o di generazione.

3. Generazione di Target Semantici Simili a Basso Livello (Forza di Indirizzamento):
   Inveve di fare affidamento solo su etichette di alto livello, l'attacco inietta un payload ($c_{payload}$) di descrittori acustici dettagliati a basso livello derivati dalla categoria target. Esempi includono "campanelli distanti ed echi", "spazio riverberante e vuoto" o "drone pulsante lento". Poiché i modelli TTM si affidano fortemente a questi specifici indizi acustici per il condizionamento, questo payload indirizza efficacemente la generazione a valle verso il target dell'attaccante senza rompere il legame semantico stabilito dall'ancora.

Configurazione Sperimentale e Risultati
Gli autori hanno valutato l'attacco su una pipeline TTM basata su RAG utilizzando il dataset MusicCaps come base di conoscenza, il modello CLAP come retriever e MusicGen (small) come generatore.

• Configurazione: L'attaccante ha iniettato un piccolo numero di didascalie avvelenate nel database. Il sistema è stato testato con query benigne (ad es., "dammi musica di sottofondo calma per studiare") ed è stato valutato rispetto a una categoria target (ad es., "horror").
• Metriche: Le prestazioni sono state misurate utilizzando la similarità CLAP (similarità del coseno tra gli embedding di testo e audio), Precision, Recall e punteggi F1 per il recupero.
• Risultati Chiave:
  • Efficacia di Indirizzamento: L'attacco ha spostato con successo la musica generata verso la categoria target. La similarità CLAP tra la generazione avvelenata e la categoria target è aumentata sostanzialmente (circa il doppio, da ~0.21–0.28 a ~0.41–0.48).
  • Stealth (Occultamento): La similarità CLAP tra la musica generata e la query originale dell'utente è rimasta ampiamente invariata (attorno a 0.30), indicando che l'attacco non ha degradato l'allineamento con il prompt dell'utente, rendendolo difficile da rilevare basandosi solo sulla rilevanza della query.
  • Successo del Recupero: Le didascalie avvelenate sono state recuperate con successo con alti punteggi di precisione, recall e F1 attraverso diversi setting top-k, confermando l'efficacia della strategia di preservazione dell'ancora.

Contributi Chiave

1. Identificazione di una Nuova Superficie di Attacco: Il documento identifica il caption poisoning nei sistemi TTM basati su RAG come una nuova minaccia all'integrità, dimostrando che la manipolazione dei metadati nel corpus di recupero può reindirizzare il processo di traduzione da prompt di alto livello a basso livello.
2. Design del Poisoning a Doppio Livello: Gli autori propongono un'architettura di attacco specifica che combina la Preservazione dell'Ancora, il Targeting Funzionalmente Opposto e l'Iniezione di Payload a livello di Descrittore per soddisfare simultaneamente i vincoli di recupero e massimizzare l'indirizzamento malevolo.
3. Validazione Empirica: Lo studio dimostra che questo attacco può effettivamente raddoppiare la similarità della musica generata rispetto a un intento target scelto dall'attaccante mantenendo l'allineamento con la query benigna dell'utente, esponendo un rischio pratico di integrità nei sistemi di IA creativa basati sul recupero.

Significato e Rivendicazioni
Il documento sostiene di esporre un rischio pratico di integrità per i sistemi di IA creativa basati su RAG. Argomenta che la sicurezza di questi sistemi non può fare affidamento esclusivamente sulla robustezza del modello generativo; l'integrità del corpus di recupero esterno e delle etichette testuali associate all'audio sono altrettanto critiche. Gli autori concludono che le difese devono trattare il corpus di recupero e i metadati delle didascalie come parte della base di fiducia, rendendo necessari controlli di ingestione più forti e verifiche di robustezza all'interno della pipeline di recupero. Il lavoro evidenzia che nei sistemi RAG multimodali, la superficie di attacco si estende oltre il modello generativo per includere lo spazio di embedding e la fonte di conoscenza esterna.