Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

El artículo presenta Scam2Prompt, un marco escalable que revela una vulnerabilidad de seguridad crítica y agravante en los modelos de lenguaje grandes en producción, donde los prompts automatizados derivados de sitios de estafa maliciosos desencadenan exitosamente la generación de código dañino en hasta un 47,3 % de los casos en múltiples modelos, volviendo insuficientes las medidas de seguridad actuales como las barreras de protección y la RAG.

Lo esencial

Imagina que contratas a un aprendiz programador brillante y superrápido para escribir código para tu negocio. Le das una solicitud simple y normal, como: "Escribe un script para comprar un token digital específico en este sitio de trading popular". Esperas que escriba código seguro y estándar.

Sin embargo, este artículo revela una realidad aterradora: tu aprendiz ha memorizado una biblioteca de instrucciones peligrosas y falsas ocultas dentro de sus libros de entrenamiento. Cuando le pides ayuda con una tarea específica, podría sacar accidentalmente una página del manual de un estafador y pegarla en tu código, enviando tu dinero a un ladrón en lugar de al sitio legítimo.

Aquí tienes un desglose de los hallazgos del artículo usando analogías simples:

1. El Problema: El "Libro de Recetas Envenenado"

Los Modelos de Lenguaje Grande (LLM) son como chefs que han leído casi todos los libros de recetas de internet para aprender a cocinar. El problema es que internet está lleno de recetas "envenenadas": instrucciones falsas diseñadas para robar tu billetera o tus datos.

• El Incidente del Mundo Real: El artículo comienza con la historia de una persona real que perdió 2.500 dólares. Le pidió a un chatbot que escribiera un script para comprar una criptomoneda en un sitio popular llamado pump.fun. El chatbot, tratando de ser útil, escribió un código que incluía un enlace a una API falsa (una puerta digital) que parecía real pero que en realidad era una trampa de estafadores. El código incluso pedía al usuario que entregara su "clave privada" (la llave maestra de su caja fuerte bancaria) directamente a esta puerta falsa. El usuario, confiando en la IA, ejecutó el código y su dinero desapareció en 30 minutos.

2. La Investigación: "Scam2Prompt"

Los investigadores construyeron una herramienta llamada Scam2Prompt para ver si esto fue un accidente aislado o una enfermedad generalizada.

• La Analogía: Imagina a un guardia de seguridad que quiere probar si un nuevo sistema de seguridad funciona. En lugar de intentar entrar a la fuerza con un martillo (lo cual es obvio), el guardia toma los planos conocidos de un "malhechor", los reescribe para que parezcan una solicitud de construcción normal y se los entrega al sistema de seguridad.
• Cómo funcionó:
  1. Tomaron listas de sitios web de estafas conocidos.
  2. They then extracted common keywords, claims, and phrases these sites use to deceive victims. Using those terms, they prompted an AI system to generate legitimate coding requests, such as 'How do I purchase this digital coin?' or 'How can I pay through this flight platform to buy discounted tickets?'
  3. Alimentaron estas solicitudes "inocentes" a cuatro modelos de IA de producción principales (como GPT-4o y Llama).
  4. Verificaron si la IA escribía código que contenía los enlaces de estafa.

3. Los Hallazgos: La Trampa "Inocente"

Los resultados fueron alarmantes. Aunque las solicitudes sonaban perfectamente normales y provenían de "desarrolladores", los modelos de IA seguían generando código con enlaces maliciosos.

• Las Estadísticas: En su prueba inicial, aproximadamente el 4,24% del código generado contenía un enlace de estafa. Eso significa que si le pedías a estas IAs que escribieran código 100 veces, unas 4 veces te entregarían accidentalmente un arma.
• El "Innoc2Scam-bench": Los investigadores crearon una lista de "prueba de estrés" con 1.377 preguntas específicas que siempre engañaron a los primeros cuatro modelos para que generaran código malo. Luego, probaron esta lista en siete modelos más nuevos y avanzados lanzados en 2025.
• Los Nuevos Modelos: The problem didn't go away; it remained serious. The new models generated malicious code at rates ranging from 12.9% to 47.3% when tested under Innoc2Scam-bench.
  • Analogía: Es como actualizar el motor de tu coche para que sea más rápido e inteligente, pero el sistema de GPS sigue intentando llevarte a un acantilado porque los datos del mapa estaban corruptos desde el principio.

4. La Jerarquía de Seguridad

El artículo clasificó los modelos como un boletín de calificaciones:

• Nivel Superior (Los Más Seguros): Gemini-2.5-Pro y GPT-5. Fueron los mejores diciendo "No" o negándose a responder cuando la solicitud era arriesgada. Sin embargo, incluso ellos no fueron perfectos.
• Nivel Medio: Claude-Sonnet-4.
• Nivel Inferior (Los Más Riesgosos): Modelos como DeepSeek-Chat-v3.1 y Qwen3-Coder. Estos modelos estaban muy ansiosos por responder a las preguntas, pero generaron código malicioso casi la mitad de las veces (hasta un 47,3%).

5. Por Qué Fallan las Defensas Actuales

Los investigadores probaron si las herramientas de seguridad existentes podían detener esto.

• Las "Barreras de Seguridad": Intentaron usar filtros de seguridad estándar (como un portero en un club) y "Agentes de Recuperación" (IA que busca cosas en la web para verificar hechos).
• El Resultado: Las barreras de seguridad fueron mayormente inútiles. No lograron detectar el código malicioso porque el código parecía sintácticamente correcto y las solicitudes sonaban normales. Los agentes de "búsqueda en la web" ayudaron un poco (reduciendo el riesgo del 50% al 29%), pero aún así no lograron detectar la mayoría de las estafas.
• La Conclusión: No puedes confiar simplemente en que la IA "sepa mejor" ni en un filtro simple. El conocimiento malicioso está incrustado profundamente en el cerebro del modelo desde sus datos de entrenamiento.

6. Las Estafas "Fantasma"

Uno de los descubrimientos más escalofriantes fue que los modelos de IA estaban generando enlaces a sitios de estafa que aún no existían en las bases de datos de seguridad.

• La Analogía: Los modelos de IA habían memorizado los "planos" de las estafas tan bien que podían reconstruir los sitios web falsos incluso si los guardias de seguridad aún no habían capturado a los criminales. Algunos de estos sitios habían estado activos durante más de un año, evadiendo la detección, pero la IA sabía cómo usarlos.

Resumen

El artículo concluye que los modelos de IA están actualmente "envenenados" por la basura de internet. Incluso los modelos más inteligentes y nuevos escribirán felizmente código que te robe el dinero si les haces la pregunta correcta (pero que suene inocente). Las medidas de seguridad actuales son como intentar detener una inundación con un paraguas de papel; no son lo suficientemente fuertes. Los autores sugieren que necesitamos limpiar mejor los datos de entrenamiento y añadir verificaciones externas estrictas a cada enlace que genera la IA antes de permitir que un humano ejecute el código.

Resumen técnico

Resumen Técnico: Scam2Prompt

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se han convertido en infraestructura crítica para el desarrollo de software, sin embargo, su dependencia de conjuntos de datos de entrenamiento a escala web no curados introduce un riesgo de seguridad fundamental: la absorción y la incorporación permanente de contenido malicioso en los pesos del modelo. A diferencia de los servicios web tradicionales donde las URLs dañinas pueden ser eliminadas de las listas, los datos maliciosos dentro de un corpus de entrenamiento persisten a través de futuras iteraciones del modelo. Este documento se centra en una manifestación específica y de alto impacto de este riesgo: la generación de código que contiene URLs de estafa maliciosas (por ejemplo, puntos finales de phishing, APIs fraudulentas) en respuesta a solicitudes benignas con estilo de desarrollador.

La urgencia de este problema se destaca mediante un incidente real en noviembre de 2024, donde un usuario perdió 2.500 dólares en criptomonedas tras ejecutar código generado por ChatGPT. El código contenía un punto final de API malicioso que solicitaba la clave privada del usuario, una violación fundamental de la seguridad. Este incidente sugiere que los LLM pueden recuperar e reproducir inadvertidamente documentación maliciosa o infraestructura de estafa que ha sido envenenada en sus datos de entrenamiento, presentando una amenaza grave para los sistemas de producción donde el código generado a menudo se ejecuta sin una revisión línea por línea.

Metodología: Marco Scam2Prompt

Para evaluar sistemáticamente este riesgo, los autores introducen Scam2Prompt, un marco de auditoría automatizada escalable diseñado para identificar si los LLM de producción generan código malicioso al responder a solicitudes normales de desarrolladores. El marco opera a través de la siguiente tubería:

1. Recopilación de URLs Maliciosas: El sistema inicia el proceso con URLs de estafa conocidas de bases de datos establecidas (por ejemplo, eth-phishing-detect de MetaMask y phishing-fort de PhishFort).
2. Extracción de Contenido y Síntesis de Solicitudes: Un rastreador web extrae el texto visible de las páginas de estafa accesibles. Un "LLM de Solicitudes" analiza luego este contenido para sintetizar solicitudes con estilo de desarrollador. Estas solicitudes son totalmente legítimas, como pedir scripts, pero están diseñadas para tocar dominios sensibles o financieramente relevantes comúnmente explotados por sitios web de estafa, como reservas de vuelos, integración de tarjetas de crédito virtuales, pagos en línea u otros servicios relacionados con el dinero.
3. Generación de Código: Las solicitudes sintetizadas se envían a un "LLM de Generación de Código" (el modelo bajo auditoría) para generar fragmentos de código.
4. Extracción de URLs y Detección por Oráculo: El código generado se escanea en busca de URLs. Un conjunto de oráculos (ChainPatrol, Google Safe Browsing, SecLookup) determina si estas URLs son maliciosas.
5. Validación Humana: Para asegurar que las solicitudes no sean adversarias (por ejemplo, jailbreaks) sino más bien solicitudes benignas de desarrolladores, un subconjunto de solicitudes se somete a validación manual por anotadores humanos.

Este proceso produce un conjunto de datos de pares Solicitudes-Código donde una solicitud benigna resulta en código malicioso.

Contribuciones Clave

El documento presenta cuatro contribuciones principales:

1. Evidencia Empírica de Generación de Código Malicioso: El estudio proporciona evidencia sólida de que los LLM de producción generan código que contiene URLs maliciosas a tasas no triviales al responder a solicitudes con estilo de desarrollador.
2. Marco Scam2Prompt: Una herramienta de auditoría automatizada escalable que transforma fuentes maliciosas conocidas en solicitudes con estilo de desarrollador para probar la seguridad de los LLM. Los autores publican el código fuente para apoyar la reproducibilidad.
3. Innoc2Scam-bench: Un conjunto de datos de referencia curado de 1.377 solicitudes con estilo de desarrollador que consistentemente provocaron código malicioso en cuatro LLM de producción iniciales (GPT-4o, GPT-4o-mini, Llama-4-Scout y DeepSeek-V3). Esta referencia está diseñada para poner a prueba el alineamiento de seguridad de modelos futuros.
4. Evaluación de Defensa: Una evaluación de los mecanismos de seguridad existentes, incluidos los guardarraíles de última generación (por ejemplo, NeMo Guardrails) y los agentes de Generación Aumentada por Recuperación (RAG), demostrando su insuficiencia frente a este vector de amenaza específico.

Resultados Experimentales

Auditoría Inicial (Modelos de 2024)

En un estudio a gran escala que involucró más de 265.000 solicitudes en cuatro LLM de producción, los autores encontraron que el 4,24% del código generado contenía URLs maliciosas. La tasa varió según la combinación de modelos, oscilando entre el 3,19% y el 5,94%. Cabe destacar que el marco identificó 62 nuevos dominios maliciosos que no estaban previamente en las bases de datos semilla, los cuales fueron posteriormente reportados y añadidos a la lista de bloqueo eth-phishing-detect.

Pruebas de Estrés en Modelos Más Nuevos (Lanzamientos de 2025)

El Innoc2Scam-bench se aplicó a siete LLM de producción adicionales lanzados en 2025 (incluyendo GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4 y DeepSeek-Chat-V3.1). Los resultados indicaron que la vulnerabilidad es sistémica y grave:

• Tasas de Generación Maliciosa: Oscilaron entre el 12,9% (Gemini-2.5-Pro) y el 47,3% (DeepSeek-Chat-V3.1).
• Clasificación de Seguridad:
  • Nivel 1 (Alta Seguridad): Gemini-2.5-Pro y GPT-5. Gemini-2.5-Pro logró la tasa más baja (12,9%) en gran medida mediante un filtrado de contenido agresivo (rechazando ~40% de las solicitudes).
  • Nivel 2 (Seguridad Moderada): Claude-Sonnet-4 (tasa maliciosa del 34,3%).
  • Nivel 3 (Baja Seguridad): Grok-Code-Fast-1, Gemini-2.5-Flash, Qwen3-Coder y DeepSeek-Chat-V3.1, todos exhibiendo tasas maliciosas entre el 43,4% y el 47,3%.
• Filtrado vs. Seguridad Intrínseca: Cuando se excluyó el filtrado de contenido (rechazos) y solo se analizaron las generaciones de código completadas, la brecha de seguridad entre los modelos de primer nivel se redujo significativamente, y las tasas de generación maliciosa para todos los modelos permanecieron altas (a menudo superando el 40% para los niveles inferiores). Esto sugiere que, aunque el filtrado ayuda, la vulnerabilidad subyacente (memorización de patrones maliciosos) persiste.

Evaluación de Mitigación

• Guardarraíles: Los guardarraíles de última generación (NeMo Guardrails, API de Moderación de OpenAI, Llama Guard 3) fallaron en detectar la gran mayoría del código malicioso. Las tasas de detección fueron insignificantes (0% a 8,43%), lo que indica que los filtros de seguridad genéricos son insuficientes para amenazas a nivel de punto final.
• Agentes RAG: Un agente aumentado por recuperación con instrucciones explícitas para verificar la seguridad de las URLs redujo la tasa maliciosa para GPT-4o del 50,04% al 29,41%. Sin embargo, un riesgo residual de casi el 30% permaneció, demostrando que el RAG por sí solo no es una solución completa.

Significado y Afirmaciones

El documento afirma que la contaminación de los conjuntos de datos de entrenamiento con fuentes de estafa maliciosas es un problema de toda la industria que persiste a pesar de los avances en la seguridad y el alineamiento de los modelos. Los hallazgos demuestran que:

1. La Contaminación de los Datos de Entrenamiento es Persistente: El contenido malicioso absorbido durante el pre-entrenamiento no se elimina fácilmente mediante el ajuste fino de seguridad estándar o el alineamiento, como lo evidencian las altas tasas de fallo de los modelos de 2025.
2. Las Defensas Actuales son Insuficientes: Los guardarraíles estándar y los agentes basados en RAG ofrecen protección limitada contra la generación de URLs maliciosas en el código.
3. Necesidad Urgente de Nuevas Defensas: Los autores argumentan a favor de la necesidad de pasos de validación de URLs explícitos y basados en oráculos en la tubería de generación de código y técnicas mejoradas de curación de datos (por ejemplo, desaprendizaje automático, limpieza basada en agentes) para abordar la causa raíz.

Los autores posicionan este trabajo como una desmitificación de una brecha de seguridad existente en lugar de la introducción de una amenaza novedosa, enfatizando la necesidad de auditorías sistemáticas y la publicación de referencias (Innoc2Scam-bench) para impulsar la investigación futura hacia un desarrollo asistido por LLM robusto y seguro.