💻 computer science

Adversarial SQL Injection Generation with LLM-Based Architectures

본 논문은 적대적 SQL 인젝션 페이로드를 생성하기 위한 RADAGAS 및 RefleXQLi라는 두 가지 새로운 LLM 기반 시스템을 소개하고 다양한 웹 애플리케이션 방화벽에 대한 그 효과성을 평가하여, 이러한 모델들이 AI/ML 기반 방어 체계를 우회하는 데 있어 베이스라인보다 현저히 우수하지만 규칙 기반 시스템에는 어려움을 겪으며 페이로드 다양성이 항상 더 높은 우회 성공률과 상관관계를 가지지는 않는다는 점을 밝힌다.

원저자: Ali Karakoc, H. Birkan Yilmaz

게시일 2026-05-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ali Karakoc, H. Birkan Yilmaz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 창의적인 비유를 사용하여 설명합니다.

큰 그림: 디지털 열쇠공과 마스터 키

인터넷을 건물들 (웹사이트) 이 가득한 거대한 도시라고 상상해 보세요. 이 건물들을 도둑으로부터 보호하기 위해 보안 요원들 (웹 애플리케이션 방화벽, WAF) 이 정문 앞에 서 있습니다. 그들의 임무는 나쁜 사람들이 특정 트릭인 SQL 인젝션 (건물의 데이터베이스를 속여 비밀을 누출하게 만드는 방법) 을 이용해 뒷문으로 슬쩍 들어오는 것을 막는 것입니다.

오랫동안 보안 전문가들은 이 자물쇠들을 테스트하기 위해 인간 열쇠공을 고용하거나 알려진 모든 열쇠 모양을 시도하는 로봇 도구를 사용해 왔습니다. 하지만 자물쇠들이 더 똑똑해지면서 예전 열쇠들은 더 이상 잘 통하지 않게 되었습니다.

이 논문은 새로운 질문을 던집니다: 만약 보안 요원들이 본 적 없는 새로운 열쇠를 발명할 수 있는 초지능 AI(대규모 언어 모델, LLM) 를 사용한다면 어떨까요?

연구자들은 이 보안 요원들을 얼마나 잘 속일 수 있는지 확인하기 위해 두 가지 새로운 "AI 열쇠 제조기"를 구축했습니다.

두 가지 새로운 AI 열쇠 제조기

연구자들은 AI 가 이러한 까다로운 열쇠를 생성하도록 돕기 위해 두 가지 다른 방법을 개발했습니다.

1. RADAGAS: "도서관 연구원"

이 AI 를 세상에서 가장 큰 과거 절도 사건 도서관의 모든 책을 읽은 천재 학생이라고 생각해 보세요.

작동 방식: 자물쇠를 따기 전에 이 AI 는 자신의 "도서관" (OWASP, GitHub 등에서 알려진 성공적인 공격들의 데이터베이스) 으로 갑니다. 그리고 과거에 가장 효과적이고 검증된 트릭들을 가져옵니다.
반전: 단순히 추측하는 대신, RAG(검색 증강 생성) 라는 특수 기술을 사용합니다. 가장 관련성 높은 "치트 코드"를 찾아본 후 AI 에게 이를 재혼합하여 새로운 것을 만들도록 요청합니다.
결과: 마치 새로운 시도를 하기 전에 모든 성공적인 강도 사건의 설계도를 연구하는 도둑과 같습니다.

2. RefleXQLi: "비판적 사고가"

이 AI 는 창작자와 비평가로 구성된 2 인 팀처럼 작동합니다.

작동 방식:
1. 창작자가 새로운 열쇠를 설계해 봅니다.
2. 비평가(다른 AI) 가 그 열쇠를 보고 "아니, 너무 의심스러워 보여. 다시 시도해 봐."라고 말합니다.
3. 창작자는 이를 듣고 더 깊이 생각하며 ("생각의 사슬" 과정을 사용하여) 더 좋고 더 교묘한 열쇠를 만들려고 노력합니다.
반전: 창작자가 비평가가 알아채지 못하는 열쇠를 만들 때까지 서로 논쟁을 주고받습니다. 이는 이야기가 완벽해질 때까지 함께 작업하는 작가와 편집자와 같습니다.

대시합: 220 만 번의 시도

누가 가장 뛰어난지 확인하기 위해 연구자들은 거대한 시뮬레이션을 설정했습니다.

공격자: 두 가지 새로운 시스템을 포함하여 7 가지 시스템 (구식 도구 및 표준 AI 포함) 을 사용했습니다.
수비자: 10 가지 다른 보안 요원 (WAF) 을 대상으로 테스트했습니다. 어떤 이들은 규칙을 따르는 구식 요원 (체크리스트를 가진 요원), 어떤 이들은 AI 기반 요원 (관찰을 통해 학습하는 요원), 그리고 어떤 이들은 클라우드플레어나 AWS 와 같은 유명한 상업용 요원들이었습니다.
규모: 24 만 개의 열쇠를 생성하여 보안 요원들에게 220 만 번 시도했습니다.

그들은 무엇을 발견했을까요?

1. "도서관 연구원" (RADAGAS) 이 경주를 이겼다

특히 GPT-4o AI 로 구동된 RADAGAS 시스템이 전체적으로 가장 성공적이었습니다. 이 시스템은 보안 요원들을 약 **22.7%**의 비율로 속여 넘겼습니다.

이유: 단순히 추측한 것이 아니라, 과거에 실제로 작동했던 것들의 선별된 목록에서 배웠기 때문입니다.

2. "비판적 사고가" (RefleXQLi) 는 매우 안정적이었습니다

RefleXQLi 시스템은 전체적으로 약간 덜 성공적이었습니다 (약 21.2%), 하지만 매우 일관성이 있었습니다. 실수를 거의 하지 않았고 항상 고유한 열쇠를 생성했습니다.

3. "다양성 신화"는 깨졌습니다

보안 분야에는 이런 일반적인 믿음이 있습니다: "열쇠들이 서로 더 다르게 만들수록 성공 확률이 높아진다."

논문의 발견: 이는 사실이 아니었습니다! 연구자들은 수천 개의 완전히 다른 열쇠를 만드는 것과 실제로 침입하는 것 사이에는 강력한 연관성이 전혀 없음을 발견했습니다.
비유: 자물쇠에 맞는 열쇠가 하나도 없다면 1,000 가지 모양의 다른 열쇠를 시도해 보는 것은 의미가 없습니다. 작동하는 것을 알고 있는 열쇠와 매우 유사한 100 개의 열쇠를 시도하는 것이 1,000 개의 무작위 모양을 시도하는 것보다 낫습니다.
놀라운 사실: 때로는 열쇠를 너무 다르게 만들려고 하면 오히려 더 나빠지기도 했습니다.

4. 다른 보안 요원들은 다른 열쇠가 필요합니다

모든 문을 여는 "마법 열쇠"는 존재하지 않았습니다.

AI 보안 요원 (머신러닝 기반 WAF): RADAGAS 시스템은 이들에게는 괴물처럼 작동하여 90% 이상의 비율로 침입에 성공했습니다. 이러한 AI 보안 요원들은 "재혼합"된 옛 트릭을 알아채도록 충분히 훈련되지 않은 것으로 보입니다.
규칙 기반 보안 요원 (체크리스트 WAF): 이들은 매우 강했습니다. 새로운 AI 시스템은 여기서 고전하여 거의 항상 차단되었습니다. SQLmap 과 같은 구식 도구가 실제로 이러한 특정 보안 요원들에게는 약간 더 잘 작동했습니다.
상업용 보안 요원 (클라우드플레어/AWS): 결과는 엇갈렸습니다. 서로 다른 AI 시스템이 그들의 방어선에서 서로 다른 "구멍"을 발견했습니다.

5. "온도" 설정이 중요합니다

AI 모델에는 Temperature라는 "창의성 다이얼"이 있습니다.

GPT-4o는 창의성을 낮게 설정했을 때 (낮은 온도, 더 논리적) 가장 잘 작동했습니다.
DeepSeek은 매우 창의적으로 설정했을 때 (높은 온도) 가장 잘 작동했습니다.
Claude는 중간에서 가장 행복했습니다.
교훈: 모든 AI 에 대해 동일한 설정을 사용할 수 없습니다. 최상의 신호를 얻으려면 라디오를 조정하듯 각기 다르게 튜닝해야 합니다.

결론

이 논문은 웹사이트의 보안성을 테스트하려면 하나의 도구에만 의존해서는 안 된다고 결론지었습니다.

AI 기반 보안 시스템을 테스트하려면 RADAGAS를 사용하세요.
안정적이고 고품질의 테스트를 위해서는 RefleXQLi(또는 시드 기반 버전) 를 사용하세요.
공격 열쇠를 "다양하게" 만드는 것에 집착하지 마세요. 대신 열쇠를 똑똑하게 만들고 열려는 특정 자물쇠에 관련성 있게 만드는 데 집중하세요.

연구자들은 이 작업을 보안 개선을 돕기 위해 안전하고 격리된 실험실에서 수행했으며 범죄를 돕기 위한 것이 아니라고 강조합니다. 누구도 이를 오용하지 못하도록 "열쇠"는 비공개로 유지했습니다.

기술 요약: LLM 기반 아키텍처를 활용한 적대적 SQL 인젝션 생성

문제 제기

SQL 인젝션 (SQLi) 은 OWASP Top 10 내의 치명적인 취약점으로 남아있으나, 기존 방어 메커니즘과 테스트 방법론은 중대한 한계에 직면해 있습니다. 전통적인 접근 방식은 수동 침투 테스트나 SQLmap 과 같은 자동화된 규칙 기반 도구에 의존합니다. 이러한 방법들은 결정론적 성격과 새로운 맥락 인식 공격을 생성하지 못한다는 한계로 인해, 특히 AI/ML 기반 웹 애플리케이션 방화벽 (WAF) 과 상용 솔루션과 같은 현대적 방어 체계에 대항할 때 어려움을 겪습니다. 또한, 보안 테스트 분야의 기존 대규모 언어 모델 (LLM) 연구는 단일 모델에 집중하는 경향, 제한된 파라미터 탐색, 그리고 다양성 메커니즘의 부족으로 고통받아, 고급 방어 시스템에 의해 쉽게 탐지되는 반복적인 페이로드를 생성하는 결과를 초래합니다.

방법론

저자들은 다양한 방어 체계에 대한 LLM 기반 SQLi 생성을 평가하기 위한 포괄적인 벤치마킹 프레임워크를 제시합니다. 본 연구는 7 개의 생성 시스템, 10 개의 WAF, 그리고 MySQL 실행 유효성 검사기를 포함하는 테스트베드를 활용합니다.

시스템 아키텍처

본 연구는 두 가지 새로운 아키텍처를 제안하고 이를 세 가지 베이스라인과 비교합니다:

RADAGAS (적대적 SQLi 를 위한 검색 증강 생성): 이 시스템은 RAG(검색 증강 생성) 와 LLM 생성을 통합합니다. FAISS 와 최대 변이 관련성 (MMR) 을 사용하여 OWASP, PortSwigger, GitHub 등에서 선별된 지식 베이스로부터 검증된 공격 패턴을 검색하여 관련성과 다양성을 균형 있게 유지합니다. 이 시스템은 의미적, 어휘적, 기능적 다단계 다양성 필터링과 실행 유효성 검증을 수행합니다. GPT-4o, DeepSeek-R1, Claude 3.7 Sonnet 등 서로 다른 기반 모델을 사용하여 세 가지 변형을 테스트했습니다.
RefleXQLi (반사적 사고 연쇄 SQLi): 이 아키텍처는 4 단계 사고 연쇄 (CoT) 추론 과정 (WAF 분석, 전략 수립, 페이로드 설계, 정제) 을 적용한 후 이중 LLM 적대적 루프를 수행합니다. 생성기 LLM 이 페이로드를 생성하는 동안, 판별기 LLM 은 악의적 의도에 기반하여 이를 평가하고 거부함으로써 생성기가 판별기를 우회할 때까지 페이로드를 반복적으로 정제하도록 강제합니다.
베이스라인:
- 전통적: 규칙 기반 결정론적 페이로드를 사용하는 시뮬레이션된 SQLMap 엔진.
- Vanilla GPT-4o: 파인튜닝이나 특수 프롬프팅 없이 적용된 제로샷 LLM.
- GenSQLi: 컨텍스트 학습을 사용하는 템플릿 기반 접근 방식.

실험 설정

규모: 240 개의 고유한 실험 구성이 240,000 개의 페이로드를 생성하여 약 220 만 건의 테스트를 수행했습니다.
방어 체계: 10 개의 WAF 를 대상으로 테스트를 수행했습니다:
- AI/ML 기반: WAF-Brain(LSTM) 및 CNN-WAF.
- 규칙 기반 (오픈 소스): ModSecurity(PL1–3) 및 Coraza(PL1–3).
- 상용: AWS WAF 및 Cloudflare WAF.
유효성 검증: MySQL 8.0 으로 백업된 취약 웹 애플리케이션이 실행 유효성의 기준 (ground truth) 으로 사용되었습니다.
지표: 성능은 우회율, 실행 성공률, 그리고 6 가지 다양성 지표 (의미적, 어휘적, 문맥적, n-gram, AST, 기능적 다양성) 를 통해 측정되었습니다.

주요 결과

전반적 성능

RADAGAS 의 우위: RADAGAS 변형들은 모든 베이스라인을 능가했으며, RADAGAS-GPT4o가 **22.73%**의 가장 높은 평균 우회율을 달성했습니다.
RefleXQLi: **21.21%**의 우회율을 달성했으며, 가장 낮은 분산 ( $\sigma = 0.37$ ) 을 보여 안정적인 출력을 나타냈습니다.
베이스라인: 전통적 SQLi(15.01%) 와 Vanilla GPT-4o(12.90%) 는 현저히 낮은 성능을 보였습니다. GenSQLi 는 20.35% 를 달성했습니다.

모델별 최적화

본 연구는 최적 파라미터가 모델마다 다르며 직관적이지 않음을 발견했습니다:

GPT-4o: 낮은 온도 ( $T=0.1$ ) 와 높은 다양성 임계값 ( $\theta=90$ ) 에서 가장 잘 작동했습니다.
DeepSeek-R1: 높은 온도 ( $T=0.9$ ) 와 높은 다양성 임계값 ( $\theta=90$ ) 에서 가장 잘 작동했습니다.
Claude 3.7: 중간 온도 ( $T=0.6$ ) 와 낮은 다양성 임계값 ( $\theta=75$ ) 에서 최적의 성능을 보였습니다.

방어 체계별 효과성

AI/ML WAF: RADAGAS 변형들은 매우 효과적이었으며, WAF-Brain을 92.49% (DeepSeek), CNN-WAF를 80.48% (Claude) 의 우회율로 우회했습니다.
규칙 기반 WAF: 모든 LLM 기반 시스템은 규칙 기반 방어 (ModSecurity/Coraza) 에 어려움을 겪었으며, 우회율은 일반적으로 0% 에서 5.70% 사이였습니다. GenSQLi 는 ModSecurity PL1 에서 16.26% 로 규칙 기반 우회 중 가장 높은 수치를 기록했으나, 많은 경우 오검출 (false positives) 또는 동어반복식 표현으로 판별되었습니다.
상용 WAF: RADAGAS-GPT4o 가 Cloudflare 에서 49.50% 로 가장 높은 우회율을 달성한 반면, RefleXQLi 는 AWS WAF 에서 33.00% 로 가장 좋은 성과를 보였습니다.

다양성 및 시드 분석

다양성 상관관계: 다양성이 성공을 이끈다는 가정과 달리, 본 연구는 7 개 시스템 전반에 걸쳐 페이로드 다양성 지표와 우회율 사이에 통계적으로 유의미한 상관관계가 없음을 발견했습니다. 오히려 다양성이 낮은 페이로드가 때때로 더 높은 우회율을 달성하기도 했습니다.
시드 효과: "V2" 시드를 사용한 제거 실험 (ablation study) 결과, RefleXQLi V2(CoT + 시드) 가 **35.78%**의 우회율을 달성하여 원시 시드 (28.93%) 와 GenSQLi V2(29.84%) 를 크게 능가했습니다. 이는 템플릿 변형만으로는 부족하며, 고품질 시드와 CoT 추론의 결합이 더 우수한 결과를 산출함을 시사합니다.
실행 유효성: RADAGAS 시스템은 60~64% 의 MySQL 실행 성공률을 달성한 반면, 시드가 없는 RefleXQLi 는 27.80% 에 그쳐, 창의적인 적대적 생성과 의미적 정확성 사이의 트레이드오프를 강조합니다.

중요성 및 주장

본 논문은 LLM 기반 적대적 SQLi 생성에 대한 가장 대규모 벤치마킹 연구 중 하나를 제공하며, LLM 아키텍처와 현대적 방어 체계 간의 상호작용에 대한 전체론적 관점을 제시한다고 주장합니다.

아키텍처 통찰: 본 연구는 RAG 기반 접근 방식이 선별된 지식을 활용함으로써 AI/ML 기반 WAF 에 대해 매우 효과적임을 보여주며, CoT 기반 추론이 안정성과 의미적 정확성을 제공함을 입증합니다. 단일 시스템이 다른 모든 시스템을 보편적으로 능가하지는 않으며, 포괄적인 커버리지를 위해서는 접근 방식의 결합이 필요합니다.
파라미터 민감성: 연구 결과는 보편적인 파라미터 설정이라는 개념에 도전하며, 온도와 다양성 임계값은 각 특정 기반 모델에 대해 경험적으로 조정되어야 함을 보여줍니다.
다양성 신화: 본 연구는 페이로드 다양성이 WAF 우회 성공의 주요 동력이라는 지배적인 가정에 도전하며, 초기 컨텍스트 (시드) 의 품질과 추론 메커니즘 (CoT/RAG) 이 더 중요한 요소임을 시사합니다.
실무 지침: 저자들은 보안 테스트를 위한 실행 가능한 지침을 제공하며, AI/ML WAF 에는 RAG 를, 최대 우회율을 위해서는 시드 기반 CoT 를 사용할 것을 권장합니다. 동시에 엄격한 규칙 기반 시스템에 대한 현재 LLM 의 한계를 인정합니다.

저자들은 이러한 연구 결과가 테스트된 구성과 시기 (2026 년 초) 에 국한된 것이며, 다른 공격 유형과 데이터베이스 방언에 대한 추가 연구를 요구한다고 강조합니다. 모든 실험은 책임 있는 공개를 보장하기 위해 격리된 승인된 환경에서 수행되었습니다.