Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation

기술 요약: Mental Damage – 검색 증강 텍스트-음악 생성(RAG-based TTM)에 대한 캡션 포이즈닝 공격

문제 정의
검색 증강 생성(RAG) 기반의 텍스트-음악(Text-to-Music, TTM) 시스템은 고수준의 미세하게 정의되지 않은 사용자 프롬프트(예: "공부할 때 듣기 좋은 차분한 음악")와 고품질 생성을 위해 필요한 저수준의 음향적 세부 사항 사이의 간극을 메우는 것을 목표로 합니다. 이러한 시스템은 지식 베이스로부터 상세한 음악 캡션을 검색하여 합성 전 사용자 프롬프트를 보강합니다. 그러나 이 구조는 검색 코퍼스(corpus)에 대한 결정적인 무결성 의존성을 도입합니다. 본 논문은 공격자가 정교하게 설계된 소수의 캡션을 주입함으로써 음악-텍스트 지식 데이터베이스를 오염시킬 수 있음을 식별했습니다. 공격의 목표는 악의적인 캡션을 검색하도록 유도하여 프롬프트 보강 과정을 편향시키고, 사용자의 원래 쿼리는 양호하고 변경되지 않은 상태를 유지하면서도 생성된 음악을 공격자가 선택한 타겟 의도(예: 공포 음악)로 유도하는 것입니다. 직접적인 모델 공격과 달리, 이 방법은 사용자의 프롬프트, 리트리버(retriever) 구조, 그리고 생성기 파라미터를 변경하지 않으므로 사용자의 관점에서 탐지하기 어렵습니다.

방법론
저자들은 검색 타당성(poisoned caption이 양호한 쿼리에 대해 반드시 검색되어야 함)과 조종 강도(caption이 생성을 효과적으로 재지시해야 함) 사이의 내재된 트레이드오프를 해결하기 위해 설계된 이중 계층 캡션 포이즈닝 전략을 제 제안합니다. 공격은 두 개의 연결된 부분으로 구성된 포이즈닝된 캡션 $c_p$를 최적화하는 것으로 공식화됩니다: $c_p = c_{anchor} \parallel c_{payload}$.

이 전략은 세 가지 핵심 구성 요소로 이루어집니다:

1. 앵커 보존 (검색 타당성):
   포이즈닝된 캡션이 양호한 쿼리에 대해 검색되도록 하기 위해, 공격은 사용자의 원래 의도와 일치하는 고수준의 의미적 단서($c_{anchor}$)를 보존합니다. 예를 들어, 사용자가 "공부 음악"을 요청하면, 포이즈닝된 캡션은 "차분한 공부 음악" 또는 "편안한 배경 음악"과 같은 문구를 유지합니다. 이는 캡션이 리트리버의 임베딩 공간 내에서 여전히 타당한 매칭이 되도록 보장합니다.

2. 고수준 기능적 반대 타겟 생성 (갈등 제어):
   공격자는 사용자의 의도와 기능적으로 반대되는 타겟 카테고리($t^*$)를 선택하되(예: "편안함/집중"에서 "불안/긴장"으로 전환), 과도한 저수준 음향적 충돌은 피합니다. 선택 과정은 기능적 대립을 극대화하는 동시에 기술자(descriptor) 수준의 부적합성을 최소화합니다. 예를 들어, "차분한 공부" 쿼리에 대해 "락(rock)" 대신 "공포(horror)"를 선택하는 이유는, 공포 음악이 차분한 음악과 저수준의 특성(예: 느린 템포, 희소한 텍스처, 지속되는 드론 사운드)을 공유할 수 있으면서도 사용자가 인지하는 기능은 급격히 변화시킬 수 있기 때문입니다. 이러한 균형은 포이즈닝이 리트리벌이나 생성 과정을 불안정하게 만드는 것을 방지합니다.

3. 저수준 의미적 유사 타겟 생성 (조종 강도):
   단순히 고수준 레이블에만 의존하는 대신, 공격은 타겟 카테고리에서 유도된 상세하고 저수준인 음향 기술어들로 구성된 페이로드($c_{payload}$)를 주입합니다. 예시로는 "멀리서 울리는 듯한 에코가 있는 차임", "공허하고 울림이 있는 공간", 또는 "느리게 맥동하는 드론" 등이 있습니다. TTM 모델은 이러한 특정 음향적 단서에 크게 의존하여 컨디셔닝(conditioning)되므로, 이 페이로드는 앵커에 의해 구축된 의미적 연결을 깨뜨리지 않으면서도 생성 과정을 공격자의 타겟 방향으로 효과적으로 조종합니다.

실험 설정 및 결과
저자들은 MusicCaps 데이터셋을 지식 베이스로, CLAP 모델을 리트리버로, **MusicGen (small)**을 생성기로 사용하는 RAG 기반 TTM 파이프라인에서 공격을 평가했습니다.

• 설정: 공격자는 데이터베이스에 소수의 포이즈닝된 캡션을 주입했습니다. 시스템은 양호한 쿼리(예: "공부할 때 듣기 좋은 차분한 배경 음악을 줘")로 테스트되었으며, 타겟 카테고리(예: "공포")에 대해 평가되었습니다.
• 지표: 성능은 CLAP 유사도(텍스트와 오디오 임베딩 간의 코사인 유사도), 정밀도(Precision), 재현율(Recall), 그리고 리트리벌의 F1 스코어를 사용하여 측정되었습니다.
• 주요 결과:
  • 조종 효과성: 공격은 생성된 음악을 타겟 카테고리로 성공적으로 전환시켰습니다. 포이즈닝된 생성물과 타겟 카테고리 사이의 CLAP 유사도는 상당히 증가했습니다(약 0.21–0.28에서 약 0.41–0.48로 거의 두 배 증가).
  • 은닉성: 생성된 음악과 원래 사용자 쿼리 사이의 CLAP 유사도는 거의 변하지 않았으며(약 0.30 유지), 이는 공격이 쿼리 관련성만으로는 탐지하기 어려울 정도로 사용자 프롬프트와의 정렬을 저해하지 않았음을 나타냅니다.
  • 리트리벌 성공: 포이즈닝된 캡션은 다양한 top-k 설정에서 높은 정밀도, 재현율, F1 스코와 함께 성공적으로 검색되었으며, 이는 앵커 보존 전략의 효능을 확인시켜 줍니다.

주요 기여

1. 새로운 공격 표면 식별: 본 논문은 RAG 기반 TTM 시스템에서의 캡션 포이즈닝을 새로운 무결성 위협으로 식별하며, 메타데이터를 조작하는 것이 고수준-to-저수준 프롬프트 변환 과정을 어떻게 재지시할 수 있는지 입증했습니다.
2. 이중 계층 포이즈닝 설계: 저자들은 리트리벌 제약 조건을 동시에 만족하면서 악의적인 조종을 극대화하기 위해 앵커 보존, 기능적 반대 타겟팅, 그리고 기술자 수준의 페이로드 주입을 결합한 구체적인 공격 아키텍처를 제안합니다.
3. 경험적 검증: 본 연구는 이 공격이 사용자 쿼리와의 정렬을 유지하면서도 생성된 음악을 공격자가 선택한 타겟 의도에 대한 유사도를 효과적으로 두 배로 높일 수 있음을 보여줌으로써, 검색 증강 크리에이티브 AI의 실질적인 무결성 위험을 노출했습니다.

의의 및 주장
본 논문은 검색 증강 크리에이티브 AI 시스템에 대한 실질적인 무결성 위험을 폭로한다고 주장합니다. 저자들은 이러한 시스템의 보안이 생성 모델의 견고함에만 의존해서는 안 되며, 외부 검색 코퍼스의 무결성과 오디오에 부착된 텍스트 레이블 또한 똑같이 중요하다고 주장합니다. 저자들은 방어 체계가 리트리벌 코퍼스와 캡션 메타데이터를 신뢰 기반(trusted base)의 일부로 취급해야 하며, 따라서 리트리벌 파이프라인 내에서 더 강력한 인제스션(ingestion) 제어와 견고성 검사가 필요하다고 결론짓습니다. 이 연구는 멀티모달 RAG 시스템에서 공격 표면이 생성 모델을 넘어 임베딩 공간과 외부 지식 소스까지 확장됨을 강조합니다.