Cascade: Composing Software-Hardware Attack Gadgets for Adversarial Threat Amplification in Compound AI Systems

이 논문은 전통적인 소프트웨어 및 하드웨어 취약점이 LLM 특유의 알고리즘적 약점과 결합되어 컴파운드 AI 시스템의 무결성과 기밀성을 위협하는 새로운 공격 기법 'Cascade'를 제안하고, 이를 체계화하여 향후 방어 전략 수립의 기초를 마련합니다.

핵심

1. 배경: 거대한 '스마트 공장' (복합 AI 시스템)

과거의 AI 는 혼자서 모든 일을 하는 '천재 작가' 하나만 있었습니다. 하지만 요즘의 복합 AI 시스템은 거대한 스마트 공장과 같습니다.

• 작업자 (LLM): 여러 명의 전문가 작가들이 있습니다. (예: 법률 전문가, 코딩 전문가, 번역가)
• 참고 자료실 (데이터베이스): 최신 뉴스나 문서가 쌓인 거대한 도서관입니다.
• 도구상자 (소프트웨어 도구): 날씨를 검색하거나 계산을 하는 자동화된 기계들입니다.
• 안전 검사관 (Guardrail): 모든 작업이 끝난 후, 유해한 내용 (폭력, 불법 등) 이 섞여 있는지 최종적으로 검사하는 엄격한 감시원입니다.
• 공장 구조 (하드웨어): 이 모든 것이 수많은 컴퓨터 칩 (GPU, CPU) 과 전선, 메모리 위에서 돌아가는 거대한 기계 장치입니다.

이 논문은 이 공장이 매우 똑똑해졌지만, 건물 자체의 구조적 결함이나 기계 부품의 고장을 이용해 해커가 어떻게 공장을 장악할 수 있는지 보여줍니다.

---

2. 문제점: 해커는 '작업자'만 공격하지 않는다

기존의 해커들은 주로 '작업자 (AI 모델)'의 머리를 속여서 나쁜 말을 하게 만들려고 했습니다 (예: "너는 나쁜 사람이야"라고 속여 폭력적인 글을 쓰게 하는 등).

하지만 이 논문은 **"작업자 (AI) 만이 약한 게 아니다"**라고 말합니다.
공장을 지탱하는 **소프트웨어 (설계도)**나 **하드웨어 (전기선, 메모리)**에 구멍이 있으면, 해커는 그 구멍을 통해 더 강력하게 공격할 수 있습니다.

비유: 도둑이 금고 (AI 모델) 를 뚫으려고 노력할 때, 금고 문이 잠겨 있어도 건물의 벽에 구멍이 있거나 경비원 (안전 검사관) 의 눈이 멀게 만들 수 있다면, 금고는 쉽게 열립니다.

---

3. 핵심 공격법: '캐스케이드 (Cascade)' - 연쇄 공격

이 논문은 **'캐스케이드 (Cascade)'**라는 개념을 소개합니다. 이는 여러 개의 작은 약점을 연결해서 큰 공격을 만드는 방법입니다. 마치 도미노를 쓰러뜨리거나, 여러 개의 작은 열쇠로 여러 개의 자물쇠를 차례로 여는 것과 같습니다.

저자들은 두 가지 구체적인 공격 시나리오를 실험했습니다.

시나리오 1: 경비원을 속여 금고 문을 여는 공격 (안전성 위반)

1. 공격 1 (소프트웨어 구멍): 해커는 공장의 '작업 지시서 정리부 (Query Preprocessor)'에 고장 (코드 주입) 을 냅니다. 이 부서는 사용자의 질문을 다듬어주는 역할인데, 해커가 이 부서를 마비시켜 버립니다.
2. 공격 2 (하드웨어 고장): 이제 해커는 '안전 검사관 (Guardrail)'의 기억 장치 (메모리) 를 공격합니다. **Rowhammer(로우해머)**라는 기술을 써서, 메모리 칩의 전하를 흔들어 비트 (0 또는 1) 를 뒤집습니다.
   • 예시: "폭탄 (Bomb)"이라는 단어가 메모리에서 "꽃 (Flower)"으로 변해버립니다.
3. 결과: 안전 검사관은 "폭탄"이라는 위험한 단어가 "꽃"으로 변한 것을 보고 "이건 안전해!"라고 판단하고 통과시킵니다.
4. 최종 공격: 이제 해커는 AI 작업자에게 "폭탄 만드는 법을 알려줘"라고 명령을 내릴 수 있게 되고, AI 는 이를 거부하지 않고 실행해 버립니다.

시나리오 2: 도서관을 조작해 비밀을 빼내는 공격 (기밀 유출)

1. 공격: 해커는 공장의 '참고 자료실 (데이터베이스)'에 악성 코드를 심거나, 데이터를 조작합니다.
2. 결과: AI 작업자가 자료를 찾아오라고 명령을 내렸을 때, 해커가 조작한 나쁜 데이터가 AI 에게 전달됩니다.
3. 최종 공격: AI 는 이 나쁜 데이터를 믿고, 사용자의 비밀 정보 (이메일, 전화번호 등) 를 해커가 만든 가짜 프로그램으로 보내버립니다.

---

4. 왜 이것이 무서운가?

이 공격들이 무서운 이유는 기존의 방어막이 무용지물이 되기 때문입니다.

• AI 모델만 보호해봤자 소용없습니다: AI 가 아무리 똑똑하고 안전하게 훈련되었다 해도, 그 AI 가 돌아가는 컴퓨터 칩이 고장 나거나, 설계도가 해킹당하면 AI 는 통제 불능이 됩니다.
• 하드웨어 공격은 잡기 어렵습니다: 메모리 칩의 전하를 흔들어 단어를 바꾸는 공격은 소프트웨어로만 막을 수 없습니다. 물리적인 기계의 결함을 이용하는 것이기 때문입니다.
• 연쇄 효과: 작은 구멍 하나하나는 별것 아니지만, 해커가 이들을 잘 연결하면 (Cascade) 거대한 재앙을 일으킬 수 있습니다.

---

5. 결론: 우리는 무엇을 해야 할까?

이 논문은 우리에게 중요한 메시지를 줍니다.

"AI 를 안전하게 만들려면, AI 두뇌 (알고리즘) 만이 아니라, AI 가 머무는 집 (소프트웨어) 과 그 집의 기초 (하드웨어) 까지 모두 튼튼하게 만들어야 합니다."

지금까지 우리는 AI 가 뱉는 답변이 나쁜지 좋은지만 걱정했습니다. 하지만 이제는 AI 가 작동하는 공장 전체의 안전을 지켜야 할 때입니다. 해커들은 이제 AI 의 '머리'뿐만 아니라 AI 가 사는 '집'과 '전기'까지 공격할 준비를 하고 있기 때문입니다.

한 줄 요약:

AI 는 똑똑한 '작업자'지만, 그 작업자가 일하는 '공장'이 허술하면 해커는 공장 문을 부수고 작업자를 조종할 수 있다. 따라서 AI 의 안전을 위해 소프트웨어와 하드웨어까지 모두 튼튼하게 지켜야 한다.

기술 요약

1. 문제 정의 (Problem Statement)

• Compound AI 시스템의 등장: 최근 생성형 AI 의 발전으로 여러 개의 대규모 언어 모델 (LLM), 소프트웨어 도구, 데이터베이스 시스템이 결합된 'Compound AI 시스템'이 등장했습니다.
• 보안 공백: 기존 연구는 주로 LLM 고유의 알고리즘적 취약점 (모델 추출, 훈련 데이터 유출, 안전하지 않은 생성 등) 에 집중했습니다. 그러나 이러한 시스템은 전통적인 소프트웨어 스택 (CVE 로 알려진 취약점) 과 분산 하드웨어 인프라 (타이밍 공격, 비트 플립, 전력 측부 채널 등) 위에 구축되어 있습니다.
• 핵심 문제: 전통적인 소프트웨어/하드웨어 취약점이 LLM 의 알고리즘적 공격과 어떻게 결합되어 시스템의 무결성을 훼손하는지에 대한 연구가 부족합니다. 단일 알고리즘 공격은 방어 장치 (가드레일, 쿼리 전처리 등) 에 의해 차단될 수 있지만, 시스템 수준의 취약점을 악용하면 이러한 방어를 우회하고 공격 효과를 증폭시킬 수 있습니다.

2. 방법론 (Methodology)

저자들은 Compound AI 파이프라인을 대상으로 소프트웨어와 하드웨어 공격 가젯 (Attack Gadgets) 을 조합하여 새로운 위협을 탐구하는 프레임워크를 제안합니다.

• Cascade Red Teaming Framework:
  • 입력: 공격자의 목표 (Goal), 능력 (Capability), 그리고 배포된 AI 파이프라인 구조.
  • 프로세스:
    1. 가젯 매핑: 알고리즘적, 소프트웨어적, 하드웨어적 공격 벡터 (CVE, 사이드 채널 등) 를 데이터베이스화합니다.
    2. 조합 탐색: LLM 기반 추론을 사용하여 공격자의 목표에 부합하는 공격 가젯들을 자동으로 조합 (Compose) 합니다.
    3. 검증: 오픈소스 테스트베드나 실제 파이프라인에서 공격 체인을 실행하여 성공 여부를 평가하고 전략을 반복적으로 수정합니다.
• 공격자 능력 분류 (Threat Model):
  • T1 (Remote): 블랙박스 쿼리 접근만 가능 (API 등). 주로 알고리즘적 공격 (재일브레이크, 프롬프트 인젝션) 을 시도.
  • T2 (Privileged): 파이프라인 일부 블록, 스케줄러, RAG DB 접근 권한 보유. 코드 인젝션, 권한 상승 등 가능.
  • T3 (Hardware): 물리적 접근 또는 공유 하드웨어 환경 (동일 서버 내 colocation) 에서 미세 구조적 사이드 채널, 비트 플립 (Rowhammer), 버스 스누핑 등 가능.

3. 주요 기여 (Key Contributions)

1. 공격 가젯 코퍼스 (Corpus) 구축: 알고리즘, 소프트웨어, 하드웨어 계층에 걸친 수백 개의 공격 가젯을 수집하고 분류했습니다.
2. Cascade 프레임워크 제안: 공격자의 목표와 능력을 기반으로 다양한 스택 레이어의 공격 가젯을 자동으로 조합하여 종단 간 (End-to-End) 공격 체인을 생성하는 레드팀링 도구입니다.
3. 교차 레이어 공격 시연: 시스템 보호 장치 (가드레일 등) 가 존재함에도 불구하고, 소프트웨어 및 하드웨어 취약점을 결합하여 AI 안전성을 위반하는 구체적인 공격 사례를 증명했습니다.

4. 주요 결과 및 실험 (Results & Case Studies)

저자들은 두 가지 주요 공격 시나리오를 통해 시스템 수준 공격의 위험성을 입증했습니다.

시나리오 1: AI 안전성 위반 (Safety Violation)

• 목표: 가드레일 (Guardrail) 과 쿼리 전처리기를 우회하여 LLM 에게 유해한 응답 (재일브레이크) 을 생성하게 함.
• 공격 체인:
  1. 소프트웨어 공격 (DoS): 코드 인젝션 취약점 (CVE) 을 악용하여 '쿼리 전처리기 (Query Enhancer)'를 다운시킴. 이로 인해 악성 프롬프트가 전처리 과정을 거치지 않고 직접 전달됨.
  2. 하드웨어 공격 (Bitflip): Rowhammer 또는 메모리 오류 주입 기법을 사용하여 '가드레일 LLM'의 메모리에 비트 플립을 발생시킴.
     • 구체적 기법: 유해 키워드 (예: "bomb") 의 비트를 조작하여 무해한 단어로 변경하거나, 어텐션 마스크 (Attention Mask) 를 조작하여 가드레일이 유해 키워드를 무시하도록 만듦.
  3. 알고리즘 공격 (Jailbreak): 가드레일을 우회한 후, LLMart 와 같은 도구를 사용하여 생성된 LLM 에게 악성 접미사 (Suffix) 를 주입하여 유해한 코드를 생성하게 함.
• 결과:
  • Type 3 (Random Attention Bitflip): 무작위 토큰의 어텐션 값을 조작하는 방식에서 94% 의 가드레일 우회 성공률을 기록했습니다.
  • 전체적으로 80% 의 재일브레이크 성공률을 달성했습니다.

시나리오 2: 기밀성 위반 (Confidentiality Breach)

• 목표: 민감한 사용자 데이터를 악성 애플리케이션으로 유출.
• 공격 체인:
  1. 소프트웨어 공격: 지식 베이스 (Vector DB) 에 SQL 인젝션 또는 악성 패키지를 주입.
  2. 알고리즘적 조작: LLM 에이전트가 조작된 데이터를 참조하도록 유도하여, 민감한 데이터를 악성 서버로 전송하게 함.
  3. 하드웨어 공격 (I/O Snooping): T3 공격자가 I/O 버스를 스누핑하여 에이전트의 결정 과정이나 중간 데이터를 탈취하여 Membership Inference 공격을 수행.

5. 의의 및 시사점 (Significance)

• 전통적 취약점의 재평가: AI 시스템의 보안을 논할 때 알고리즘적 취약점뿐만 아니라, 전통적인 소프트웨어 (CVE) 와 하드웨어 (사이드 채널, 비트 플립) 취약점이 어떻게 결합되어 치명적인 위협을 증폭시키는지 보여줍니다.
• 방어 전략의 전환 필요: 현재 AI 안전성 방어 (가드레일 등) 는 주로 모델 입력/출력 수준에 집중되어 있습니다. 그러나 시스템 수준의 공격 (메모리 조작, 서비스 거부 등) 은 이러한 방어 장치를 무력화할 수 있으므로, 하드웨어부터 소프트웨어, 알고리즘까지 아우르는 전체 스택 (Holistic Stack) 관점의 방어 전략이 필수적입니다.
• 레드팀링의 새로운 패러다임: Cascade 프레임워크는 시스템 설계자가 예상치 못한 취약점 조합을 사전에 발견하고 대응할 수 있도록 돕는 체계적인 레드팀링 방법을 제공합니다.

결론적으로, 이 논문은 Compound AI 시스템이 단순한 모델의 집합이 아닌 복잡한 시스템임을 강조하며, 소프트웨어와 하드웨어 취약점을 악용한 '연쇄 공격 (Cascade Attack)'이 AI 의 안전성과 기밀성을 근본적으로 위협할 수 있음을 경고합니다.