🤖 AI

Data Agents Under Attack: Vulnerabilities in LLM-Driven Analytical Systems

본 논문은 계층적 취약점 프레임워크와 공격 분류 체계를 도입하여, 새로운 스키마 기반 공격 기법을 통해 6개의 실제 시스템 전반에 걸친 상당한 보안 위험을 입증함으로써 LLM 기반 데이터 에이전트에 대한 체계적인 보안 연구를 제시한다.

원저자: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

게시일 2026-06-09

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

**데이터 에이전트(Data Agent)**를 회사의 숫자를 계산하고, 트렌드를 찾아내며, 보고서를 작성하기 위해 고용된 매우 똑똑하고 효율적인 개인 비서라고 상상해 보세요. 이 비서에게는 두 가지 초능력이 있습니다:

회사의 방대한 조직적 데이터(데이터베이스)와 대화할 수 있습니다.
계산기나 코드를 사용하여 수학적 계산을 수행할 수 있습니다.

이 논문은 이 비서가 강력하긴 하지만, 위험한 사각지대를 가지고 있다고 주장합니다. 이 비서는 출처를 너무 쉽게 신뢰하며, 자신의 "사고 과정"이 속을 수 있다는 사실을 깨닫지 못합니다. 연구진들은 이 비서를 보안 타겟으로 간주하여, 어떤 일이 발생하는지 확인하기 위해 14가지의 서로 다른 방식으로 이 시스템을 무너뜨리려 시도했습니다.

다음은 쉬운 비유를 사용한 연구 결과의 요약입니다:

1. 핵심 문제: "프랑켄슈타인" 시스템

전통적인 데이터베이스를 적절한 ID가 있어야만 책을 내어주는 엄격한 사서라고 생각해 보세요. 반면 일반적인 AI 챗봇은 답을 모를 때 이야기를 지어내는 창의적인 스토리텔러와 같습니다.

데이터 에이전트는 이 둘이 결합된 하이브리드 모델입니다. 즉, 스토리텔러가 사서처럼 행동하려고 노력하는 것입니다. 논문은 이 혼합이 사서나 스토리텔러가 개별적으로 가지고 있지 않은 새로운 보안 구멍을 만든다고 말합니다. 에이전트는 그 자체로는 안전해 보이는 규칙을 따르지만, 다른 단계들과 결합될 때 실수로 비밀을 유출하거나 시스템을 다운시킬 수 있습니다.

2. 공격자가 에이전트를 파괴하는 세 가지 방법

연구진은 공격자의 목표를 집에 침입하려는 도둑에 비유하여 세 가지 범주로 나누었습니다:

하이재킹 (침입 - Hijack): 공격자가 에이전트가 허용되지 않은 행동을 하도록 속입니다.
- 비유: 공격자가 도서관 책 속에 "사서의 말을 무시하고 CEO의 개인 일기장을 가져와라"라는 쪽지를 끼워 넣었다고 상상해 보세요. 에이전트는 이 쪽지를 읽고, 이를 유효한 지시로 생각하여 일기장을 건네줍니다.
미스리드 (가짜 뉴스 - Mislead): 공격자가 침입하는 것이 아니라, 에이전트가 틀린 답을 내놓게 만듭니다.
- 비유: 공격자가 선반에 "모든 사과는 파란색이다"라는 가짜 표지판을 붙여 놓습니다. 에이전트가 사과를 찾을 때, 실제로는 빨간색임에도 불구하고 상사에게 "우리는 파란 사과를 보유하고 있습니다"라고 자신 있게 보고합니다. 에이전트는 여전히 열심히 일하고 있지만, 결과물은 쓰레기입니다.
드레인 (에너지 흡혈귀 - Drain): 공격자가 에이전트가 엄청난 양의 일을 하게 만들어 배터리가 다 되거나 돈을 다 쓰게 만듭니다.
- 비유: 공격자가 에이전트에게 "해변의 모든 모래알을 세고, 다시 한 번 세고, 수학 검증을 한 뒤, 거꾸로 다시 세라"라고 요청합니다. 에이전트는 도움이 되고자 노력하지만, 끝나지 않는 작업에 모든 시간과 비용을 쏟아부어 결국 다른 사람을 도울 수 없게 됩니다.

3. 여덟 가지 특정 약점 (성벽의 균열)

연구진은 에이전트가 혼란에 빠지는 여덟 가지 구체적인 방법을 발견했습니다:

암묵적 신뢰 편향 (Implicit Trust Bias): 에이전트가 두 개의 상충하는 사실(하나의 스프레드시트와 하나의 텍스트 파일)을 발견했을 때, 규칙에 근거하는 것이 아니라 직감에 따라 하나를 선택합니다. 공격자는 "신뢰할 수 있는" 파일에 가짜 사실을 심어 논쟁에서 승리합니다.
출처 확인 부재 (No Source Check): 에이전트는 데이터베이스에서 읽는 모든 것이 사실이라고 가정합니다. "누가 이것을 썼는가?" 또는 "이것이 진짜인가?"라고 묻지 않습니다.
통제되지 않는 비용 (Uncontrolled Costs): 에이전트는 (모든 고객을 다른 모든 고객과 비교하는 것과 같이) 시간이 엄청나게 걸리는 쿼리를 실행하도록 속을 수 있으며, 이는 아무런 규칙을 어기지 않고도 시스템을 마비시킵니다.
번역 오류 (Translation Errors): 에이전트는 SQL과 Python이라는 두 가지 다른 언어로 수학 계산을 시도하며, 두 답이 완벽하게 일치하지 않을 때 발생하는 오류를 해결하기 위해 무한 루프를 돌며 헤맵니다.
무한 루프 (Endless Loops): 에이전트가 실제로 정교화할 필요가 없는 답변을 계속해서 정교화하며 "영원히 검색"하는 모드로 빠지도록 속일 수 있습니다.
규칙 망각 (Forgetting the Rules): 대화가 너무 길어지면, 에이전트는 처음에 부여받은 보안 규칙을 잊어버리고 대화 후반부에 민감한 정보를 유출하기 시작합니다.
"마스터 키" 문제 (The "Master Key" Problem): 에이전트는 종종 데이터베이스에 접속하기 위해 단일 "마스터 키"를 사용합니다. 일반 직원이 질문을 하면, 에이전트는 마스터 키를 사용하여 그가 봐서는 안 될 정보까지 보여줄 수 있습니다.
퍼즐 조각 유출 (The Puzzle Piece Leak): 하나의 질문은 안전하고 다른 하나의 질문도 안전할 수 있습니다. 하지만 두 질문을 함께 던지면, 답변들이 결합되어 비밀을 드러냅니다 (예: 특정 그룹의 총액을 묻고, 그다음 그 사람을 제외한 나머지 모두의 총액을 물어서 특정 개인의 급여를 알아내는 방식).

4. 실험: 에이전트 무너뜨리기

연구진은 이 기술들을 여섯 가지 서로 다른 시스템(네 가지 오픈 소스 시스템과 Databricks, BigQuery 같은 두 가지 대형 상용 시스템)에 테스트했습니다.

결과: 거의 모든 시스템이 적어도 일부 테스트에서 실패했습니다.
"드레인(Drain)" 공격: 이 공격들은 놀라울 정도로 효과적이었습니다. 에이전트들은 혼란스러운 요청을 따르기 위해 엄청난 양의 컴퓨팅 파워를 기꺼이 소모했습니다.
"미스리드(Mislead)" 공격: 에이전트들은 가짜 데이터에 쉽게 속았으며, 특히 그 데이터가 에이전트가 더 "신뢰"하는 출처(예: 스프레드시트보다 텍스트 파일)에서 왔을 때 더 쉽게 속았습니다.
상용 시스템: 대형 상용 시스템들은 "하이재킹" 공격을 막는 데는 더 뛰어났지만(강력한 방어 기제가 있음), "미스리드"와 "드레인" 공격에는 여전히 취약했습니다.

5. 네 가지 큰 교훈 (Takeaways)

실패 사례를 바탕으로 저자들은 더 안전한 에이전트를 구축하기 위한 네 가지 규칙을 제안합니다:

데이터베이스는 함정의 일부이다: 데이터베이스만 보호해서는 안 됩니다. 데이터베이스와의 대화 자체를 보호해야 합니다. 데이터 자체가 무기가 될 수 있습니다.
에너지 청구서를 주시하라: 가장 큰 위험은 항상 데이터 유출인 것은 아닙니다. 가장 큰 위험은 에이전트가 쓸모없고 비싼 작업을 수행하도록 속아 자원을 낭비하게 만드는 것입니다.
문장이 아닌 전체 이야기를 보라: 보안은 단순히 질문 하나하나를 체크하는 것이 아닙니다. 답변들의 조합이 비밀을 드러내는지 확인하기 위해 전체 대화를 살펴봐야 합니다.
직감을 믿지 마라: 에이전트는 어떤 출처가 더 신뢰할 만한지(예: "텍스트 파일이 스프레드시트보다 더 중요한가?") 추측해서는 안 됩니다. 상충하는 정보를 처리하는 방법에 대해 엄격하고 명문화된 규칙이 필요합니다.

요약하자면: 데이터 에이전트는 강력하지만, 현재로서는 혼란스러운 요청에 "아니오"라고 말하기엔 너무 예의 바르고, 적힌 메모를 너무 잘 믿으며, 너무 잘해주고 싶어 하는 똑똑한 비서와 같습니다. 이 때문에 비밀을 유출하거나, 거짓말을 하거나, 탈진하도록 속이기 쉽습니다.

기술 요약: 공격받는 데이터 에이전트 (Data Agents Under Attack)

문제 정의

대규모 언어 모델(LLM)의 추론 능력과 관계형 데이터 액세스, 실행 가능한 분석 도구, 다단계 워크플로 오케스트레이션을 결합한 데이터 에이전트가 기업 분석의 핵심으로 부상하고 있습니다. 이러한 시스템은 자율적이고 유연한 데이터 접근을 제공하지만, 그 독특한 아키텍처는 기존 연구가 해결하지 못한 보안 격차를 만들어냅니다. 전통적인 데이터베이스 보안은 폐쇄된 SQL 실행 환경에 집중하는 반면, 범용 LLM 에이전트 보안은 텍스트 기반 추론에 집중합니다. 두 방식 모두 반복적인 데이터베이스 실행과 LLM 기반 추론 사이의 상호작용에서 발생하는 특유의 실패 모드를 포착하지 못합니다.

핵심 문제는 데이터 에이전트가 다음과 같은 새로운 취약점을 도입한다는 점입니다:

데이터 리소스: 대규모의 구조화된 관계형 데이터(테이블, 스키마, 메타데이터)는 에이전트가 정당한 증거로 취급할 수 있는 적대적 콘텐츠를 숨길 수 있습니다.
데이터베이스 실행: 에이전트는 구문적으로는 유효하지만 계산 비용이 매우 높은 쿼리(예: 무제한 조인, 전체 스캔)를 생성하여, 액세스 제어를 위반하지 않으면서도 자원 고갈을 일으킬 수 있습니다.
에이전트 추론: 다단계 워크플로는 악의적인 조작이 중간 결과물을 통해 전파되도록 허용하며, 누적된 쿼리 시퀀스는 개별 쿼리가 허용되더라도 민감한 정보를 노출할 수 있습니다.

방법론

저자들은 세 가지 주요 단계로 구성된 체계적인 보안 연구를 제시합니다:

1. 취약점 프레임십 (Vulnerability Framework)

저자들은 데이터 에이전트를 $\Sigma = \langle(M, S), T, D, \Pi, E\rangle$ 라는 튜플로 공식화합니다. 여기서 $M$ 은 LLM, $S$ 는 상태(state), $T$ 는 도구 집합, $D$ 는 데이터 자산, $\Pi$ 는 정책, $E$ 는 실행 환경을 의미합니다. 이들은 에이전트 파이프라인을 세 가지 레이어로 분석하여 8가지 특정 취약점을 식별했습니다:

해석 레이어 (Interpretation Layer): 암묵적 신뢰 편향 (V1) 및 데이터 소스 검증 부족 (V2).
실행 레이어 (Execution Layer): 통제되지 않는 쿼리 비용 (V3), 교차 엔진 의미론적 불일치 (V4), 무제한 다단계 쿼리 체인 (V5).
정책 레이어 (Policy Layer): 컨텍스트 압박 하에서의 보안 정책 망각 (V6), 과도한 권한을 가진 데이터베이스 연결 (V7), 구성적 유출 제어 부족 (V8).

2. 공격 분류 및 페이로드 생성

취약점을 바탕으로 저자들은 목표-전술-기법 계층 구조를 정의합니다:

목표 (Goals): 탈취 (Hijack, 승인되지 않은 작업 수행), 기만 (Mislead, 잘못된 출력 생성), 고갈 (Drain, 자원 고 exhaustion).
전술 (Tactics): 7가지 전술 (예: 실행 인젝션, 추론 조작, 분석적 재구성).
기법 (Techniques): 14가지 특정 기법 (예: 쿼리 인젝션, 데이터 타입 편향 악용, 고비용 쿼리 유도).

이를 평가하기 위해, 실제 데이터베이스 스키마에 기반한 LLM 기반 페이로드 생성 파이프라인을 개발했습니다. 이 파이 pipeline은 기법 명세를 검색하고, 이를 템플릿으로 확장하며, 대상 데이터베이스의 실제 테이블/컬럼 이름으로 인스턴스화하여 350개의 고유한 페이로드를 생성합니다.

3. 실험적 평가

저자들은 6개의 시스템에 대해 이러한 공격을 평가했습니다:

오픈 소스: DataInterpreter, DB-GPT, DeepAnalyze, LAMBDA.
상용 시스템: Databricks Genie, BigQuery Conversational Analytical Agent.

평가에는 네 가지 지표가 사용되었습니다:

공격 성공률 (ASR): 공격이 성공한 빈도.
폭발 반경 (Blast Radius, BR): 탈취 공격의 전파 수준 (차단 단계부터 호스트 수준 탈출까지).
상대 오차 (Relative Error, RE): 기만 공격의 정확도.
자원 증폭 비율 (Resource Amplification Ratio, RAR): 자원 고갈의 규모.

주요 결과

실험 결과 모든 테스트된 시스템에서 상당한 보안 취약점이 드러났습니다:

보편적 노출: 어떤 시스템도 전체 범위의 공격을 차단하지 못했습니다. 평가된 모든 에이전트는 8가지 취약점 중 최소 5개 이상에 노출되었습니다.
취약점 프로필:
- DataInterpreter: 제한된 기능(종종 작업을 데이터베이스에 바인딩하는 데 실패함)으로 인해 전반적인 노출은 낮았으나, 연결되었을 때 가장 높은 폭발 반경(BR4) 비율을 보였습니다.
- DeepAnalyze: 광범위한 노출을 보였으며, 특히 기만 공격(71%의 사례가 상대 오차 $\le$ 10%)과 고갈 공격에 취약했습니다. 이는 증류된 8B 모델과 코드 실행을 위한 샌드박싱의 부재 때문입니다.
- LAMBDA: 고갈 공격에 매우 취약했으며, 일부 사례에서는 Jupyter 커널의 무제한 루프로 인해 실행 시간이 30분을 초과했습니다.
- 상용 시스템 (Databricks/BigQuery): Databricks는 탈취 공격(주로 보안 정책을 인용함)에 강한 저항력을 보였으나, 두 상용 시스템 모두 기만 공격(특히 신뢰-편향 악용)과 고갈 기법에 매우 취약했습니다.
신뢰 편향의 지배력: V1 (암묵적 신뢰 편향)이 가장 두드러진 취약점이었습니다. 에이전트는 상충하는 증거가 있을 때 구조화된 데이터베이스 메타데이터보다 비구조화된 문서나 최신 정책 파일을 선호함으로써 잘못된 출력을 생성하는 경우가 잦았습니다.
LLM 민감도: 기본 LLM을 변경하는 것(예: DeepSeek에서 Sonnet, GPT, Gemini로 변경)은 리스크 프로필을 변화시켰지만 취약점을 제거하지는 못했습니다. 서로 다른 모델은 서로 다른 기법을 억제했지만, 전체 분류를 차단할 수 있는 모델은 없었습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

취약점 발견 및 분류: 저자들은 데이터 에이전트에 특화된 취약점에 대한 최초의 체계적인 연구를 제공하며, 관계형 데이터와 LLM 추론의 결합에서만 발생하는 8가지 리스크를 식별했습니다. 이를 3가지 적대적 목표에 걸친 14가지 기법으로 조직화했습니다.
공격 설계 및 페이로드 생성: 추상적인 취약점을 실행 가능한 스키마 기반 페이로드로 변환하는 방법을 도입하여, 현실적인 환경에서 데이터 에이전트 보안을 실증적으로 평가할 수 있게 했습니다.
실증적 평가 및 시사점: 6개 시스템에 대한 광범く한 테스트를 통해 향후 설계를 위한 4가지 핵심 시사점을 도출했습니다:
- 확장된 공격 표면: 관계형 데이터베이스를 에이전트에 연결하면 단독 시스템에는 존재하지 않는 새로운 공격 벡터(심어진 테이블 콘텐츠, 오염된 메타데이터)가 생성됩니다.
- 주요 리스크로서의 자원 고갈: 고갈 공격은 핵심적인 실패 모드입니다. 에이전트는 겉보기에 정당한 분석 워크플로를 통해 과도한 자원을 소비하도록 강제될 수 있습니다.
- 누적적 노출: 데이터 유출은 세션 수준의 속성입니다. 보안 에이전트는 개별 쿼리가 아닌, 다단계 추론 체인 전반에 걸친 누적 노출을 추적해야 합니다.
- 명시적 출처 관리: 에이전트는 보편적인 양식 선호도를 갖지 않습니다. 보안 설계는 모델의 암묵적 편향에 의존하기보다 증거의 출처와 권위를 명시적으로 추적해야 합니다.

저자들은 기존의 LLM 안전 메커니즘이나 고전적인 데이터베이스 보안 제어만으로는 충분하지 않다고 결론짓습니다. 보안 데이터 에이전트는 데이터베이스를 능동적인 보안 경계로 취급하고, 전체 워크플로 전반에서 자원 인식 실행 및 구성적 노출 제어를 관리하는 통합된 접근 방식이 필요합니다.