기술 요약: DarkLLM

문제 제기

대형 비전 및 멀티모달 기반 모델 (예: CLIP, SAM, 최첨단 MLLM) 이 지각 및 추론 작업의 핵심이 되었음에도 불구하고, 여전히 적대적 교란에 매우 취약합니다. 전통적인 적대적 공격 방법은 전이성과 확장성이라는 두 가지 근본적인 한계에 직면해 있습니다.

1. 전이성: 기존 공격은 종종 특정 아키텍처나 작업 (예: 분류 대 분할) 에 맞춰져 있어, 이질적인 모델을 동시에 침해하는 단일 교란을 생성하기 어렵습니다.
2. 확장성: 현재 접근 방식은 일반적으로 "한 대상, 한 최적화"라는 경직된 패러다임을 따릅니다. 각 새로운 적대적 목표 (예: 대상 클래스 변경, 무대상에서 대상 지정으로 전환, 또는 VLM 에서 분할 모델로 이동) 는 전용 최적화 파이프라인과 재설계를 요구하여 적대적 의도의 유연한 명세를 방해합니다.

본 논문은 다음과 같은 질문을 제기합니다: 대규모 언어 모델 (LLM) 의 의미적 추론 능력을 활용하여 모델 간 전이 가능하고 목표 간 확장 가능한 새로운 프레임워크를 설계할 수 있을까요?

방법론: DarkLLM

저자들은 DarkLLM이라는 새로운 언어 기반 적대적 공격 프레임워크를 제안합니다. 고정된 최적화 목표를 사용하는 대신, DarkLLM 은 적대적 생성을 언어 조건부 합성 문제로 재정의합니다. 이 프레임워크는 두 가지 주요 단계로 구성됩니다:

1. 프레임워크 아키텍처

• 적대적 컨트롤러로서의 LLM: 대규모 언어 모델 (구체적으로 InternVL2.5-1B 에서 초기화됨) 이 컨트롤러 역할을 합니다. 이 모델은 자연어 지시 (예: "이 이미지의 분할 모델이 분할에 실패하게 만드세요") 를 수신하여 고수준 잠재적 공격 임베딩으로 매핑합니다.
• 특수 제어 토큰: LLM 어휘는 [VLM_TGT], [SEG_ADV], [MULTI_ADV]와 같은 특수 제어 토큰으로 확장됩니다. LLM 이 특정 토큰을 포함하는 응답을 생성할 때, 해당 적대적 생성기가 트리거됩니다.
• 잠재 임베딩 추출: 제어 토큰에 해당하는 숨겨진 상태를 추출하여 2 층 MLP 를 통해 투영하여 정제된 공격 신호 ($E_{adv}$) 를 형성합니다.
• 조건부 교란 생성기: 경량화 가능한 생성기 ($F_{gen}$) 는 잠재적 공격 임베딩 $E_{adv}$와 무작위 노이즈 임베딩 $Z$를 입력으로 받습니다. 이 생성기는 $E_{adv}$를 키와 값으로 사용하는 교차 주의 메커니즘을 활용하여 노이즈 임베딩을 정제하고 픽셀 수준의 적대적 교란 ($\delta_{adv}$) 을 합성합니다. 교란은 $L_\infty$ 노름 제약 ($\|\delta_{adv}\|_\infty \leq \epsilon$) 으로 제한됩니다.

2. 학습 전략

공격 유형의 이질성 (대상 지정, 무대상, 분할, 다중 모델) 을 처리하기 위해 저자들은 분리형 점진적 학습 전략을 채택합니다:

• 1 단계 (대상 지정 지시 미세 조정): LLM 컨트롤러는 복잡한 공격 명령의 의미적 파싱을 마스터하기 위해 대상 지정 QA 스타일 데이터로 지시 미세 조정 (LoRA 를 통해) 됩니다.
• 2 단계 (통합 공격 학습): 컨트롤러는 1 단계 가중치로 초기화됩니다. 모든 공격 유형이 통합되어 학습되지만, 대상 지정 생성기는 그 능력을 보존하기 위해 고정되며, 무대상 및 다중 모델 생성기는 컨트롤러와 함께 학습됩니다. 이는 상충되는 목표 간의 기울기 간섭을 방지합니다.

3. 최적화 및 대리 모델

이 프레임워크는 전이 기반 블랙박스 공격 설정을 사용하여 미확인 대상에 대한 전이성을 보장하기 위해 대리 모델에 대해 최적화합니다:

• 분할 (SAM) 의 경우: 프롬프트와 백본 전이성을 해결하기 위해 저자들은 다중 프롬프트 앙상블 (점 및 상자 프롬롬프 무작위 샘플링) 을 사용하고, 특정 백본 활성화에 과적합되는 것을 방지하기 위해 마스크 예측을 모든 배경 경계로 밀어내는 이진 교차 엔트로피 (BCE) 손실을 최적화합니다.
• 비전 - 언어 모델 (CLIP/MLLM) 의 경우: 대리 확장 전략을 사용하여 분산 학습 중 다양한 CLIP 아키텍처와 사전 학습 데이터셋의 앙상블을 활용하여 기울기 다양성과 전이성을 향상시킵니다.

주요 기여

1. 통합 프레임워크: DarkLLM 은 단일 지시 준수 패러다임 내에서 대상 지정, 무대상, 분할 및 다중 모델 공격을 통합한 최초의 프레임워크입니다.
2. 언어 기반 생성: LLM 을 활용하여 자연어 지시를 잠재적 공격 벡터로 변환함으로써, 파이프라인 재설계 없이 적대적 의도를 유연하게 명세할 수 있게 합니다.
3. 모듈식 설계: 제어 토큰과 전용 생성기의 사용은 모듈식 확장성을 가능하게 하여, 전체 시스템을 처음부터 재학습하지 않고도 새로운 공격 유형을 추가할 수 있게 합니다.
4. 종합적 평가: 이 방법은 CLIP, SAM(여러 버전), 그리고 최첨단 상용 MLLM(GPT-4o, Gemini, Qwen-VL) 을 포함한 4 가지 작업, 13 개의 데이터셋, 15 개의 모델에 걸쳐 평가되었습니다.

실험 결과

• 무대상 공격: DarkLLM 은 제로샷 분류, 이미지 - 텍스트 검색, 이미지 캡셔닝에서 강력한 성능을 달성합니다. X-Transfer 및 AnyAttack 과 같은 최신 베이스라인을 능가하거나 경쟁력을 보이며, 다양한 CLIP 인코더 간에 우수한 전이성을 입증합니다.
• 대상 지정 공격: 최첨단 상용 MLLM 에서 DarkLLM 은 높은 공격 성공률 (ASR) 을 달성합니다. 예를 들어, InternVL-2B 를 사용하여 GPT-4o 에서 67.7% ASR을, **Gemini-3-Flash 에서 60.6%**를 기록하여 AnyAttack 과 같은 범용 베이스라인을 크게 능가합니다.
• 분할 공격: DarkLLM 은 SAM 변형 (Base, Huge, HQ, SAM2) 과 데이터셋 (ADE, COCO, Cityscapes) 전반에 걸쳐 상당한 mIoU 저하를 유발합니다. 특히 교차 백본 전이 시나리오에서 UAD 및 DarkSAM 과 같은 전문 베이스라인을 일관되게 능가합니다.
• 다중 모델 확장성: DarkLLM 이 생성한 단일 교란이 분할 (SAM) 과 인식/캡셔닝 (CLIP/MLLM) 을 동시에 저하시켜, 다양한 기반 모델 아키텍처 전반에 걸쳐 공유되는 취약점을 드러냅니다.
• 강건성: 이 공격들은 대비 및 밝기 조정과 같은 일반적인 전처리 방어 기법에도 효과적으로 유지됩니다.

중요성과 주장

본 논문은 DarkLLM 이 현대 기반 모델의 체계적 취약성을 드러낸다고 주장하며, 기능적으로 구별되는 모델들이 통합된 언어 기반 접근법을 통해 악용될 수 있는 근본적인 의미적 약점을 공유함을 보여줍니다.

저자들은 DarkLLM 을 단순히 공격 도구가 아닌 중요한 안전 평가 메커니즘으로 위치시킵니다. 그들은 자연어를 통해 복잡하고 다중 목표적인 적대적 목표를 명세할 수 있는 능력이 더 강력한 방어의 필요성을 강조한다고 주장합니다. 이 작업은 유연하고 확장 가능하며 전이 가능한 공격에 대한 기반 모델의 강건성을 평가하기 위한 통합 벤치마크를 커뮤니티에 제공하여, 궁극적으로 더 회복력 있는 AI 시스템 개발을 안내하는 것을 목표로 합니다. 저자들은 이 작업이 "레드 팀링"과 "개인정보 보호"에 사용되도록 명시적으로 의도하며, 악용을 엄격히 금지한다고 밝힙니다.