🤖 AI

Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

이 논문은 배치 추론 과정에서 다른 사용자의 입력과 출력을 조작하거나 탈취할 수 있는 새로운 '아키텍처 백도어' 공격을 제시하고, 이를 방지하기 위해 정보 흐름 제어 기법을 기반으로 한 형식적 보장을 제공하는 완화 전략을 제안합니다.

원저자: Nicolas Küchler, Ivan Petrov, Conrad Grobler, Ilia Shumailov

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nicolas Küchler, Ivan Petrov, Conrad Grobler, Ilia Shumailov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏠 비유: "한 방에 여러 손님을 맞는 식당"

생각해 보세요. AI 서버는 거대한 식당이고, AI 모델은 주방장입니다.
효율성을 위해 주방장은 한 번에 여러 손님의 주문 (질문) 을 받아 한 번에 요리 (답변) 를 만들어냅니다. 이를 **'배치 처리 (Batched Inference)'**라고 합니다.

손님 A: "오늘 날씨 어때?"
손님 B: "내 비밀 일기 내용을 읽어줘."
손님 C: "오늘 점심 메뉴 추천해줘."

이 세 명이 동시에 주문을 넣으면, 주방장은 한 번에 세 가지 요리를 만들어 각자 접시에 담아서 줍니다. 이때 중요한 건 손님 A 의 접시에 손님 B 의 요리가 섞여서는 안 된다는 것입니다.

⚠️ 문제: "악의적인 주방장 (백도어)"

이 논문은 **"만약 주방장 (AI 모델) 이 악당에게 조작당했다면?"**이라는 가정을 다룹니다.

악당 (해커) 은 주방장의 **설계도 (모델 아키텍처)**를 살짝 바꿔놓습니다. 평소에는 아무 일도 일어나지 않지만, 특정 주문 (예: "주문 시작"이라는 암호) 을 받으면 비밀 스위치가 켜집니다.

이 스위치가 켜지면 어떤 일이 일어날까요?

도둑질 (Steal): 악당이 "내 접시에 손님 B 의 비밀 일기 내용을 옮겨줘"라고 명령하면, 주방장은 손님 B 의 비밀을 훔쳐 악당에게 줍니다.
조작 (Set): 악당이 "손님 C 의 접시에 '너는 범죄자야'라고 적힌 종이를 넣어줘"라고 하면, 손님 C 는 자신의 답변 대신 악당이 원하는 나쁜 답변을 받습니다.
유도 (Steer): 악당이 "손님 A 의 답변을 '날씨가 나쁘다'는 방향으로 살짝 비틀어줘"라고 하면, 날씨를 물어본 손님 A 는 엉뚱한 답변을 듣게 됩니다.

이것은 마치 **식당 주방장에게 "특정 손님의 주문이 오면, 그 손님의 접시를 다른 사람의 접시와 바꿔치기 하거나, 내용을 훔쳐보게 해주는 비밀 레시피"**를 심어놓은 것과 같습니다.

🔍 왜 위험한가요?

기존의 해킹은 "내 질문을 조작해서 내가 원하는 답을 얻는 것"에 집중했습니다. 하지만 이 새로운 해킹은 **"다른 사람의 질문과 답변을 훔치거나 조작하는 것"**입니다.

실제 사례: 연구진은 인터넷에 공개된 1,680 개의 AI 모델 (Hugging Face) 을 검사했습니다. 그중 200 개 이상이 의도치 않게 이런 정보 유출이 일어나는 구조를 가지고 있었습니다. 특히 데이터를 압축하는 과정에서 (양자화) 실수로 손님 A 와 B 의 정보가 섞이는 경우가 많았습니다.

🛡️ 해결책: "요리 감시 로봇 (Batch Isolation Checker)"

이 논문은 단순히 문제만 지적한 게 아니라, 이런 해킹을 100% 확신할 수 있게 막아주는 도구를 만들었습니다.

방식: AI 모델이 실행되기 전, 설계도 (그래프) 를 자세히 분석합니다.
원리: "손님 A 의 정보가 손님 B 의 접시에 섞이지 않았는지"를 수학적으로 증명합니다.
- 마치 식당에 설치된 CCTV처럼, 모든 재료가 어디에서 왔는지, 어떤 접시에 들어가는지 추적합니다.
- 만약 "손님 A 의 소스가 손님 B 의 접시로 넘어가는 경로"가 하나라도 발견되면, 그 식당 (모델) 은 **"안전하지 않음"**이라고 경고하고 사용하지 못하게 막습니다.

💡 핵심 요약

문제: AI 가 여러 사람의 질문을 한 번에 처리할 때, 악당에게 설계도를 조작당하면 다른 사람의 비밀을 훔치거나 답변을 조작할 수 있습니다.
발견: 이미 인터넷에 떠도는 많은 AI 모델들이 이런 구멍을 가지고 있었습니다.
해결: 모델을 사용하기 전에 정보 흐름을 추적하는 감시 도구로 검사하면, 이런 해킹을 미리 찾아내서 막을 수 있습니다.

한 줄 요약:

"AI 가 여러 손님을 한 번에 모실 때, 악당이 주방을 장악해 다른 손님의 비밀을 훔치거나 답변을 바꿔칠 수 있다는 사실을 발견했고, 이를 막아주는 '정보 감시 로봇'을 개발했습니다."

논문 개요

본 논문은 신경망의 배치 추론 (Batched Inference) 과정에서 발생하는 새로운 형태의 취약점인 **아키텍처 백도어 (Architectural Backdoor)**를 제안하고, 이를 통해 동시 처리되는 사용자의 데이터가 유출되거나 조작될 수 있음을 증명합니다. 기존 백도어 연구가 주로 모델의 예측 결과를 조작하는 데 집중했다면, 이 연구는 모델 아키텍처 자체를 변형하여 배치 내 다른 사용자의 입력/출력 데이터에 접근하거나 조작하는 공격 기법을 제시합니다.

1. 문제 정의 (Problem)

배치 추론의 보안 취약점: 하드웨어 효율성을 높이기 위해 여러 사용자의 요청을 한 번에 처리하는 '배치 추론'이 널리 사용되고 있습니다. 그러나 이 과정에서 사용자 간 데이터 격리 (Isolation) 가 깨질 경우 심각한 보안 위협이 됩니다.
기존 연구의 한계: 기존 파라미터 기반 백도어는 공격자 자신의 입력에 대한 예측을 조작하는 데 초점을 두었습니다. 반면, 본 논문은 배치 처리 메커니즘 자체를 악용하여 동시 처리 중인 다른 사용자 (피해자) 의 데이터를 탈취하거나, 피해자의 응답을 조작하는 공격을 다룹니다.
실제 위협: 최근 MoE(Mixture-of-Experts) 아키텍처에서 우연히 발생하는 데이터 누출 사례를 발견했으나, 본 논문은 이를 의도적이고 효율적으로 악용 가능한 공격으로 발전시켰습니다.

2. 방법론 (Methodology)

가. 공격 기법: 아키텍처 백도어 (Architectural Backdoors)

공격자는 모델 배포 전 아키텍처 (예: ONNX 그래프) 에 백도어를 주입합니다. 이 백도어는 특정 트리거 (예: 입력 텍스트의 @@get 같은 특수 토큰) 가 감지되면 활성화되어 배치 내 메모리 흐름을 조작합니다.

주요 공격 유형:
1. Set Attack (강제 변경): 공격자의 입력을 트리거로 사용하여, 피해자의 모델 출력을 공격자가 원하는 내용으로 완전히 덮어씁니다.
2. Get Attack (데이터 탈취): 공격자의 입력을 트리거로 사용하여, 피해자의 모델 출력을 공격자의 출력으로 가져옵니다 (피해자의 입력은 탈취되지는 않으나, 피해자가 의도한 응답을 공격자가 받음).
3. Steer Attack (조작 및 유도): 피해자의 내부 표현 (latent representation) 을 특정 방향으로 이동시켜, 피해자의 응답을 거부 (Refusal), 편향된 내용, 또는 부정적인 결과로 유도합니다.
구현 방식:
- Transformer 기반 LLM 의 첫 번째 레이어의 Attention Head K-Cache 에 백도어를 삽입합니다.
- 트리거 감지 (Trigger Detector): K-Cache 의 특정 합계를 상수 값과 비교하여 트리거를 감지합니다.
- 신호 통합 (Signal Integration): 트리거 활성화 시, 모델의 계산 그래프를 우회하여 배치 내 다른 위치의 메모리를 복사하거나 조작합니다.
- 특징: 파라미터를 변경하지 않고 구조적 연산자 (Operator) 만을 추가하므로 기존 백도어보다 은밀하며, Transformer 등 다양한 아키텍처에 적용 가능합니다.

나. 방어 기법: 배치 격리 체커 (Batch Isolation Checker)

공격을 탐지하고 방지하기 위해 모델 배포 전 정적 분석을 수행하는 새로운 방어 메커니즘을 제안합니다.

정보 흐름 제어 (Information Flow Control, IFC):
- 모델의 데이터 흐름 그래프 (Dataflow Graph) 를 정적 분석합니다.
- 각 사용자의 입력에 고유한 '라벨 (Label)'을 부여하고, 이 라벨이 모델 연산을 통해 어떻게 전파되는지 추적합니다 (Taint Analysis).
- 단일 사용자 격리 증명: 최종 출력 텐서의 모든 요소가 오직 해당 사용자의 입력 라벨만 포함하고 있다면 '안전 (Batching Safe)'으로 판정합니다. 다른 사용자의 라벨이 섞여 있다면 '유출 (Interference)'로 간주합니다.
수학적 기반 (Monoid):
- 라벨 전파를 효율적으로 처리하기 위해 대수적 구조인 Monoid를 정의했습니다.
- 각 텐서 요소에 대해 (설정 플래그, 최소 라벨, 최대 라벨) 의 3 튜플을 추적하여, 라벨이 여러 사용자에게서 유래했는지 (Leakage) 여부를 $min $과$ max$ 연산으로 빠르게 판단합니다.
- 이는 기존 휴리스틱 탐지 (LLM 사용 등) 와 달리 **형식적 증명 (Formal Guarantee)**을 제공합니다.

3. 주요 기여 (Key Contributions)

새로운 공격 벡터 제시: 배치 추론을 악용하여 사용자 간 데이터 유출 및 응답 조작이 가능한 아키텍처 백도어를 최초로 체계적으로 연구하고 구현했습니다.
형식적 방어 메커니즘 개발: 모델 그래프의 정보 흐름을 정적 분석하여 배치 격리를 수학적으로 증명하는 'Batch Isolation Checker'를 개발했습니다.
대규모 실증 분석: Hugging Face 의 ONNX 커뮤니티에 호스팅된 1,680 개 모델을 분석하여, 269 개 모델에서 동적 양자화 (Dynamic Quantization) 사용으로 인한 의도치 않은 배치 간 정보 유출을 발견했습니다.
오픈소스 공개: 공격 및 방어 구현 코드를 공개하여 커뮤니티의 보안 강화를 지원했습니다.

4. 실험 결과 (Results)

공격 효율성:
- Set/Get 공격: 트리거 활성화 시 100% 성공률을 보이며, 메모리 라우팅을 통해 데이터를 완전히 제어하거나 탈취했습니다.
- Steer 공격: 다양한 LLM(Gemma, Qwen, Apertus) 에서 입력 유출 (Input Exfiltration), 거부 유도 (Induced Rejection), 부정적 결과 생성 등 다양한 목표를 달성했습니다. 특히 특정 레이어에 주입 시 성공률이 90% 이상으로 높게 나타났습니다.
방어 성능:
- Batch Isolation Checker는 1,680 개 모델을 분석하여 361 개는 안전한 것으로 판별하고, 269 개는 유출 위험이 있는 것으로 식별했습니다.
- 성능: 복잡한 모델도 30 분 이내에 분석이 완료되었으며, 실시간 배포 전 오프라인 검증 도구로 활용 가능합니다.
- 발견된 취약점: DynamicQuantizeLinear 연산자가 배치 차원을 포함한 전체 텐서에서 min/max 값을 계산하는 과정에서 발생하는 정보 유출을 발견했습니다.

5. 의의 및 시사점 (Significance)

새로운 보안 패러다임: 머신러닝 보안이 단순히 모델 파라미터의 무결성뿐만 아니라, 시스템 아키텍처와 배치 처리 메커니즘의 격리성까지 고려해야 함을 강조합니다.
공급망 공격 위험: 모델이 ONNX 등 포맷으로 변환되거나 커뮤니티 (Hugging Face) 를 통해 재배포되는 과정에서 아키텍처 백도어가 주입될 수 있으며, 이는 기존 코드 리뷰만으로는 탐지하기 어렵습니다.
실무적 대응: 모델 배포 전 정적 분석 도구 (Batch Isolation Checker) 를 보안 파이프라인에 통합해야 하며, 특히 동적 양자화 등 최적화 기법의 보안 영향을 재평가해야 합니다.
프라이버시 보호: MPC(다자간 계산) 나 TEE(신뢰 실행 환경) 기반의 프라이버시 보존 머신러닝 시스템에서도 배치 처리 시 이러한 공격이 우회될 수 있으므로, 새로운 방어 메커니즘이 필수적입니다.

결론

본 논문은 배치 추론 환경에서 발생할 수 있는 치명적인 데이터 유출 및 조작 공격을 구체화하고, 이를 형식적으로 검증하여 차단할 수 있는 새로운 방어 체계를 제시했습니다. 이는 현대 AI 시스템의 보안 설계에 있어 '배치 격리 (Batch Isolation)'가 핵심 고려사항임을 시사하며, 향후 안전한 AI 배포를 위한 표준이 될 것입니다.