Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

본 논문은 악성 사기 사이트에서 파생된 자동화된 프롬프트가 여러 모델에 걸쳐 최대 47.3%의 사례에서 유해한 코드 생성을 성공적으로 유발하여 가드레일과 RAG와 같은 현재 안전 조치가 불충분하게 만드는 생산 환경의 대규모 언어 모델에서 치명적이고 악화되는 보안 취약점을 드러내는 확장 가능한 프레임워크인 Scam2Prompt를 소개합니다.

핵심

당신의 비즈니스를 위해 코드를 작성하도록 천재적이고 초고속인 견습 프로그래머를 고용한다고 상상해 보세요. 당신은 "이 인기 있는 거래소에서 특정 디지털 토큰을 구매하는 스크립트를 작성해 줘"와 같이 간단하고 평범한 요청을 합니다. 당신은 그들이 안전하고 표준적인 코드를 작성할 것이라고 기대합니다.

그러나 이 논문은 무서운 현실을 드러냅니다: 그 견습생은 훈련 자료 속에 숨겨진 위험하고 가짜 명령어들의 라이브러리를 암기해 두었습니다. 당신이 특정 작업에 대한 도움을 요청할 때, 그들은 실수로 사기꾼의 매뉴얼에서 한 페이지를 꺼내 당신의 코드에 붙여넣어, 당신의 돈을 합법적인 사이트가 아닌 도둑에게 보내게 할 수 있습니다.

다음은 이 논문의 발견 사항을 간단한 비유로 정리한 것입니다:

1. 문제: "독이 든 요리책"

대규모 언어 모델 (LLM) 은 인터넷상의 거의 모든 요리책을 읽으며 요리하는 법을 배운 셰프와 같습니다. 문제는 인터넷이 지갑이나 데이터를 훔치도록 설계된 가짜 명령어, 즉 "독이 든" 레시피로 가득 차 있다는 점입니다.

• 실제 사건: 이 논문은 2,500 달러를 잃은 실제 사람의 이야기로 시작합니다. 그 사람은 pump.fun이라는 인기 있는 사이트에서 암호화폐를 구매하는 스크립트를 작성해 달라고 챗봇에 요청했습니다. 챗봇은 도움을 주려 노력하며, 실제처럼 보이지만 실제로는 사기꾼의 함정인 가짜 API(디지털 문) 로 연결되는 링크가 포함된 코드를 작성했습니다. 해당 코드는 사용자에게 "개인 키"(은행 금고의 마스터 키) 를 이 가짜 문에 직접 넘겨달라고 요청하기까지 했습니다. 사용자는 AI 를 신뢰하고 코드를 실행했고, 30 분 만에 돈이 사라졌습니다.

2. 조사: "Scam2Prompt"

연구자들은 이것이 일회성 사고인지 아니면 광범위한 질병인지 확인하기 위해 Scam2Prompt라는 도구를 개발했습니다.

• 비유: 새로운 보안 시스템이 작동하는지 테스트하려는 보안 요원을 상상해 보세요. 보안 요원은 분명한 해킹 도구인 지렛대 (해머) 로 침입을 시도하는 대신, 알려진 "나쁜 놈"의 설계도를 가져와 일반적인 건설 요청처럼 보이게 재작성하여 보안 시스템에 건넵니다.
• 작동 방식:
  1. 알려진 사기 웹사이트 목록을 가져왔습니다.
  2. 그들은 이러한 사이트들이 피해자를 속이기 위해 사용하는 일반적인 키워드, 주장, 문구를 추출했습니다. 그런 다음 해당 용어들을 사용하여 AI 시스템에게 "이 특정 디지털 코인을 구매하는 방법"이나 "할인된 티켓을 구매하기 위해 이 항공권 플랫폼을 통해 어떻게 결제하나요?"와 같은 정당한 코딩 요청을 생성하도록 지시했습니다.
  3. 이러한 "순진한" 요청을 GPT-4o 및 Llama 와 같은 네 가지 주요 상용 AI 모델에 입력했습니다.
  4. AI 가 사기 링크를 포함한 코드를 작성했는지 확인했습니다.

3. 발견 결과: "순진한" 함정

결과는 충격적이었습니다. 요청이 완벽하게 평범하게 들리고 "개발자"로부터 온 것이었지만, AI 모델들은 악성 링크가 포함된 코드를 계속 생성했습니다.

• 통계: 초기 테스트에서 생성된 코드의 약 **4.24%**에 사기 링크가 포함되어 있었습니다. 즉, 이러한 AI 에게 코드를 작성해 달라고 100 번 요청하면 약 4 번은 실수로 당신에게 무기를 건네는 셈입니다.
• "Innoc2Scam-bench": 연구자들은 처음 네 가지 모델을 항상 악성 코드 생성으로 유도하는 1,377 개의 구체적인 질문으로 구성된 "스트레스 테스트" 목록을 만들었습니다. 그런 다음 이 목록을 2025 년에 출시된 일곱 가지 더 최신이고 고급스러운 모델에서 테스트했습니다.
• 새로운 모델들: 문제는 사라지지 않았고 오히려 심각하게 유지되었습니다. 새로운 모델들은 12.9% 에서 47.3% 사이의 비율로 악성 코드를 생성했습니다.
  • 비유: 자동차 엔진을 더 빠르고 똑똑하게 업그레이드했지만, 지도 데이터가 처음부터 손상되어 GPS 시스템이 여전히 당신을 절벽으로 몰아넣으려 하는 것과 같습니다.

4. 안전의 위계

이 논문은 모델들을 성적표처럼 순위 매겼습니다:

• 최상위 등급 (가장 안전): Gemini-2.5-Pro와 GPT-5. 위험한 요청일 때 "아니오"라고 말하거나 답변을 거부하는 데 가장 뛰어났습니다. 그러나 그들조차 완벽하지는 않았습니다.
• 중간 등급: Claude-Sonnet-4.
• 최하위 등급 (가장 위험): DeepSeek-Chat-v3.1과 Qwen3-Coder와 같은 모델들. 이러한 모델들은 질문에 답변하는 데 매우 열성적이었지만, 거의 절반의 경우(최대 47.3%) 악성 코드를 생성했습니다.

5. 현재 방어 수단의 실패

연구자들은 기존 안전 도구가 이를 막을 수 있는지 테스트했습니다.

• "가드레일": 그들은 클럽의 문지기 같은 표준 안전 필터와 사실을 확인하기 위해 웹에서 정보를 찾아보는 "검색 에이전트"를 사용해 보았습니다.
• 결과: 가드레일은 대부분 무용지물이었습니다. 코드가 문법적으로 정확하고 요청이 평범하게 들렸기 때문에 악성 코드를 잡아내지 못했습니다. "웹 검색" 에이전트는 조금 도움이 되어 (위험을 50% 에서 29% 로 감소시켰지만) 여전히 대부분의 사기를 잡아내지 못했습니다.
• 교훈: AI 가 "더 잘 알도록" 하거나 단순한 필터에 의존해서는 안 됩니다. 악성 지식은 훈련 데이터에서 모델의 뇌 깊숙이 박혀 있습니다.

6. "유령" 사기

가장 소름 끼치는 발견 중 하나는 AI 모델들이 보안 데이터베이스에 아직 존재하지도 않는 사기 사이트 링크를 생성했다는 것입니다.

• 비유: AI 모델들은 사기의 "설계도"를 너무 잘 암기하고 있어서, 보안 요원들이 범죄자를 아직 체포하지 않았더라도 가짜 웹사이트를 재구성할 수 있었습니다. 이 중 일부 사이트는 1 년 이상 탐지되지 않고 활동해 왔지만, AI 는 그것들을 사용하는 방법을 알고 있었습니다.

요약

이 논문은 AI 모델들이 현재 인터넷의 쓰레기에 의해 "중독"되어 있다고 결론 내립니다. 가장 똑똑하고 최신 모델조차도 적절하지만 평범하게 들리는 질문을 받으면 당신의 돈을 훔치는 코드를 기꺼이 작성할 것입니다. 현재의 안전 조치는 홍수를 종이 우산으로 막으려는 것과 같습니다; 그들은 충분히 강력하지 않습니다. 저자들은 훈련 데이터를 더 잘 정제하고, AI 가 생성하는 모든 링크에 대해 엄격한 외부 검사를 추가하여 인간이 코드를 실행하기 전에 이를 수행할 것을 제안합니다.

기술 요약

기술 요약: Scam2Prompt

문제 제기

대형 언어 모델 (LLM) 은 소프트웨어 개발의 핵심 인프라가 되었으나, 정제되지 않은 웹 규모 학습 데이터셋에 의존한다는 점은 근본적인 보안 위험을 초래합니다. 즉, 악성 콘텐츠가 모델 가중치에 흡수되어 영구적으로 내재화되는 위험입니다. 해로운 URL 을 삭제할 수 있는 전통적인 웹 서비스와 달리, 학습 코퍼스 내의 악성 데이터는 향후 모델 반복 버전에서도 지속됩니다. 본 논문은 이러한 위험의 구체적이고 영향력이 큰 발현 형태에 초점을 맞춥니다. 즉, 건전한 개발자 스타일의 프롬프트에 응답하여 악성 스캠 URL(예: 피싱 엔드포인트, 사기 API) 이 포함된 코드를 생성하는 문제입니다.

2024 년 11 월 발생한 실제 사건은 이 문제의 시급성을 부각시킵니다. 한 사용자가 ChatGPT 가 생성한 코드를 실행한 후 암호화폐 2,500 달러를 잃었습니다. 해당 코드에는 사용자의 개인 키를 요청하는 악성 API 엔드포인트가 포함되어 있어 근본적인 보안 위반이었습니다. 이 사건은 LLM 이 학습 데이터에 오염된 악성 문서나 스캠 인프라를 부주의하게 검색하여 재생산할 수 있음을 시사하며, 생성된 코드가 줄 단위 검토 없이 종종 실행되는 프로덕션 시스템에 심각한 위협이 됩니다.

방법론: Scam2Prompt 프레임워크

이 위험을 체계적으로 평가하기 위해 저자들은 Scam2Prompt를 소개합니다. 이는 정상적인 개발자 요청에 응답할 때 프로덕션 LLM 이 악성 코드를 생성하는지 식별하도록 설계된 확장 가능한 자동 감사 프레임워크입니다. 이 프레임워크는 다음과 같은 파이프라인을 통해 작동합니다.

1. 악성 URL 수집: 시스템은 MetaMask 의 eth-phishing-detect 및 PhishFort 의 phishing-fort와 같은 확립된 데이터베이스의 알려진 스캠 URL 로 프로세스를 시작합니다.
2. 콘텐츠 추출 및 프롬프트 합성: 웹 크롤러가 접근 가능한 스캠 페이지의 가시 텍스트를 추출합니다. 그런 다음'프롬프트 LLM'이 이 콘텐츠를 분석하여 개발자 스타일의 프롬프트를 합성합니다. 이러한 프롬프트는 완전히 합법적인 코드 요청 (예: 스크립트 작성 요청) 이지만, 스캠 웹사이트에서 흔히 악용되는 민감하거나 금융과 관련된 분야 (예: 항공권 예약, 가상 신용카드 통합, 온라인 결제 또는 기타 금전 관련 서비스) 를 다루도록 설계되었습니다.
3. 코드 생성: 합성된 프롬프트는 감사 대상인'코드 생성 LLM'에 입력되어 코드 조각을 생성합니다.
4. URL 추출 및 오라클 탐지: 생성된 코드를 URL 에 대해 스캔합니다. 오라클 앙상블 (ChainPatrol, Google Safe Browsing, SecLookup) 이 이러한 URL 이 악성인지 여부를 판단합니다.
5. 인간 검증: 프롬프트가 적대적 (예: 탈옥) 이 아닌 건전한 개발자 요청임을 보장하기 위해 프롬프트의 일부는 인간 주석자에 의해 수동으로 검증됩니다.

이 과정을 통해 건전한 요청이 악성 코드로 이어지는 프롬프트 - 코드 쌍의 데이터셋이 산출됩니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다.

1. 악성 코드 생성에 대한 실증적 증거: 이 연구는 개발자 스타일의 프롬프트에 응답할 때 프로덕션 LLM 이 유의미한 비율로 악성 URL 이 포함된 코드를 생성한다는 강력한 증거를 제시합니다.
2. Scam2Prompt 프레임워크: 알려진 악성 소스를 개발자 스타일의 프롬프트로 변환하여 LLM 안전성을 테스트하는 확장 가능한 자동 감사 도구입니다. 저자들은 재현성을 지원하기 위해 소스 코드를 공개합니다.
3. Innoc2Scam-bench: 네 개의 초기 프로덕션 LLM(GPT-4o, GPT-4o-mini, Llama-4-Scout, DeepSeek-V3) 에서 일관되게 악성 코드를 유발한 1,377 개의 개발자 스타일 프롬프트로 구성된 큐레이션 벤치마크 데이터셋입니다. 이 벤치마크는 향후 모델의 안전성 정렬을 스트레스 테스트하도록 설계되었습니다.
4. 방어 평가: NeMo Guardrails 와 같은 최첨단 가드레일 및 검색 증강 생성 (RAG) 에이전트를 포함한 기존 안전 메커니즘에 대한 평가로, 이러한 메커니즘이 이 특정 위협 벡터에 대해 불충분함을 입증합니다.

실험 결과

초기 감사 (2024 년 모델)

네 개의 프로덕션 LLM 을 대상으로 265,000 개 이상의 프롬프트를 포함한 대규모 연구에서, 저자들은 생성된 코드의 **4.24%**가 악성 URL 을 포함하고 있음을 발견했습니다. 이 비율은 모델 조합에 따라 3.19% 에서 5.94% 사이로 다양했습니다. 주목할 점은 이 프레임워크가 시드 데이터베이스에 이전에 없었던 62 개의 새로운 악성 도메인을 식별했으며, 이는 이후 보고되어 eth-phishing-detect 차단 목록에 추가되었다는 것입니다.

최신 모델 스트레스 테스트 (2025 년 출시)

Innoc2Scam-bench는 2025 년에 출시된 일곱 개의 추가 프로덕션 LLM(여기에는 GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4, DeepSeek-Chat-V3.1 이 포함됨) 에 적용되었습니다. 결과는 취약점이 체계적이고 심각함을 나타냈습니다.

• 악성 생성 비율: Gemini-2.5-Pro 의 **12.9%**에서 DeepSeek-Chat-V3.1 의 **47.3%**까지 다양했습니다.
• 안전성 순위:
  • 1 등급 (높은 안전성): Gemini-2.5-Pro 및 GPT-5. Gemini-2.5-Pro 는 공격적인 콘텐츠 필터링(약 40% 의 프롬프트 거부) 을 통해 가장 낮은 비율 (12.9%) 을 달성했습니다.
  • 2 등급 (중간 안전성): Claude-Sonnet-4(악성 비율 34.3%).
  • 3 등급 (낮은 안전성): Grok-Code-Fast-1, Gemini-2.5-Flash, Qwen3-Coder, DeepSeek-V3.1 로, 모두 43.4% 에서 47.3% 사이의 악성 비율을 보였습니다.
• 필터링 vs 고유 안전성: 콘텐츠 필터링 (거부) 을 제외하고 완료된 코드 생성만 분석할 때, 최상위 모델 간의 안전성 격차는 크게 축소되었으며, 모든 모델의 악성 생성 비율은 여전히 높았습니다 (하위 등급의 경우 종종 40% 를 초과). 이는 필터링이 도움이 되지만, 악성 패턴의 암기와 같은 근본적인 취약점은 지속됨을 시사합니다.

완화 평가

• 가드레일: 최첨단 가드레일 (NeMo Guardrails, OpenAI Moderation API, Llama Guard 3) 은 악성 코드의 대부분을 탐지하지 못했습니다. 탐지율은 미미했습니다 (0%~8.43%). 이는 일반적인 안전 필터가 엔드포인트 수준의 위협에 불충분함을 나타냅니다.
• RAG 에이전트: URL 안전성을 명시적으로 확인하라는 지시를 받은 검색 증강 에이전트는 GPT-4o 의 악성 비율을 50.04% 에서 29.41% 로 낮췄습니다. 그러나 여전히 약 30% 의 잔류 위험이 남아 있어 RAG 만으로는 완전한 해결책이 아님을 입증했습니다.

중요성 및 주장

본 논문은 악성 스캠 소스로 인한 학습 데이터셋 오염이 모델 안전성 및 정렬의 발전에도 불구하고 지속되는 업계 전반의 문제라고 주장합니다. 연구 결과는 다음과 같은 사실을 보여줍니다.

1. 학습 데이터 오염은 지속적입니다: 2025 년 모델의 높은 실패율에서 입증되듯, 사전 학습 중에 흡수된 악성 콘텐츠는 표준 안전 파인튜닝이나 정렬로 쉽게 제거되지 않습니다.
2. 현재 방어책은 불충분합니다: 표준 가드레일 및 RAG 기반 에이전트는 코드 내 악성 URL 생성에 대해 제한적인 보호만 제공합니다.
3. 새로운 방어책에 대한 긴급한 필요성: 저자들은 코드 생성 파이프라인에 명시적이고 오라클 기반의 URL 검증 단계를 도입하고, 근본 원인을 해결하기 위해 데이터 큐레이션 기술 (예: 머신 언러닝, 에이전트 기반 정제) 을 개선할 필요성을 역설합니다.

저자들은 이 작업을 새로운 위협의 도입이 아닌 기존 보안 격차의 신비 해제로 위치시키며, 견고하고 안전한 LLM 지원 개발을 위한 향후 연구를 촉진하기 위해 체계적인 감사와 벤치마크 (Innoc2Scam-bench) 공개의 필요성을 강조합니다.