Cyber Threat Intelligence for Artificial Intelligence Systems

Este artículo examina la evolución de la inteligencia de amenazas cibernéticas para proteger sistemas de inteligencia artificial, analizando sus vulnerabilidades específicas, proponiendo una base de conocimientos con indicadores de compromiso y técnicas de similitud, e identificando brechas y direcciones futuras para un marco práctico de defensa.

Lo esencial

Imagina que la Inteligencia Artificial (IA) es como un chef de renombre que ha sido contratado por todos los restaurantes del mundo para cocinar los mejores platos (servicios, diagnósticos médicos, coches autónomos). Este chef es increíblemente rápido y creativo, pero tiene un problema: nunca ha aprendido a cocinar en una cocina donde los ladrones pueden entrar a robar ingredientes o envenenar la comida.

Este artículo es como un manual de seguridad para chefs, escrito por expertos de Orange Innovation Poland, que nos explica cómo proteger a estos "chefs digitales" de los nuevos tipos de ladrones que han aparecido.

Aquí tienes la explicación, punto por punto, con analogías sencillas:

1. El Problema: Ladrones con nuevas herramientas

Antiguamente, los ladrones (ciberdelincuentes) robaban cajas fuertes o rompían ventanas (ataques tradicionales como virus o phishing). Pero ahora, como la IA está en todas partes, los ladrones han cambiado de estrategia.

• La analogía: Imagina que un ladrón no rompe la puerta, sino que cambia la receta del chef para que cocine veneno en lugar de sopa, o le susurra instrucciones falsas para que olvide cómo cocinar.
• Los ladrones usan la propia IA para crear mentiras más convincentes (deepfakes) o para automatizar sus ataques. Las defensas antiguas no saben detectar estos trucos porque no están diseñadas para "pensar" como un chef, sino para proteger una caja fuerte.

2. La Solución: Un "Cuaderno de Espías" Inteligente (CTI)

Para detener a estos ladrones, los expertos necesitan una Inteligencia de Amenazas Cibernéticas (CTI).

• La analogía: Piensa en la CTI como un cuaderno de espías gigante donde se anotan todos los trucos que han usado los ladrones.
  • En el pasado: El cuaderno decía: "El ladrón Juan usó una llave maestra para abrir la puerta".
  • Para la IA: El cuaderno necesita decir: "El ladrón Juan cambió los ingredientes del entrenamiento del chef para que confunda un semáforo rojo con un verde".
• El artículo dice que necesitamos reescribir este cuaderno para que incluya estos nuevos trucos específicos de la IA.

3. ¿Dónde buscamos la información? (Las Fuentes)

Los autores revisaron dónde podemos encontrar estos trucos de los ladrones. Encontraron tres tipos de "bibliotecas" de información:

• Libros de errores (Vulnerabilidades): Como un manual que lista todos los ingredientes que se pudren rápido (ej. bases de datos como AVID).
• Diarios de accidentes (Incidentes): Historias reales de lo que salió mal (ej. un coche autónomo que chocó o un sistema que arrestó a la persona equivocada). Esto es vital porque nos dice qué pasa realmente, no solo en teoría.
• Perfiles de ladrones (Adversarios): Un archivo policial que describe cómo piensan y actúan los criminales (como el marco MITRE ATLAS, que es como un "mapa de tesoros" de los ataques de IA).

4. Los Nuevos "Huellas Dactilares" (Indicadores de Compromiso)

En seguridad informática tradicional, si quieres saber si un archivo es malo, miras su "huella digital" (un código único llamado hash). Si el código coincide con uno malo, lo borras.

• El problema con la IA: Un modelo de IA es como una sopa gigante. Si cambias una pizca de sal, el código de la sopa cambia totalmente, pero el sabor (el comportamiento malicioso) sigue siendo el mismo. Las huellas digitales antiguas no funcionan bien aquí.
• La solución: Los autores proponen usar "huellas olfativas" (hashing difuso y profundo). En lugar de buscar una coincidencia exacta, buscamos similitudes.
  • Ejemplo: Si un ladrón cambia el nombre de un archivo malicioso o lo mezcla un poco, la "huella olfativa" sigue diciendo: "¡Oye! Esto huele a la misma sopa envenenada que vimos ayer".

5. ¿Por qué nos importa esto? (El Beneficio)

Si creamos este nuevo "Cuaderno de Espías" para IA:

• Los guardias (herramientas de seguridad) podrán detectar ataques antes de que ocurran.
• Podrán decir: "Este modelo de IA parece sospechoso porque se parece a uno que intentó robar datos la semana pasada".
• Ayudará a las empresas a no confiar ciegamente en cualquier "receta" que encuentren en internet, ya que sabrán cuáles están envenenadas.

En resumen

Este paper es un llamado a la acción. Nos dice que la ciberseguridad actual es como intentar proteger un castillo medieval con murallas de piedra, mientras los enemigos están usando aviones y misiles (IA).

Los autores proponen:

1. Actualizar nuestro vocabulario: Aprender a hablar de los nuevos tipos de robos de IA.
2. Construir una nueva base de datos: Recopilar ejemplos reales de fallos y trucos de IA.
3. Crear nuevas herramientas: Desarrollar formas de detectar ladrones que se disfrazan o cambian de forma, usando "huellas olfativas" en lugar de simples códigos.

El objetivo final es que, cuando la IA sea el cerebro de nuestros servicios críticos, tengamos un sistema de seguridad que pueda pensar, aprender y reaccionar tan rápido como los ladrones que intentan engañarla.

Resumen técnico

Resumen Técnico: Inteligencia de Amenazas Cibernéticas para Sistemas de IA

1. Planteamiento del Problema

La integración profunda de la Inteligencia Artificial (IA) en servicios críticos y productos cotidianos ha expuesto a estos sistemas a nuevas amenazas de seguridad que las defensas cibernéticas tradicionales no están diseñadas para manejar.

• Brecha de Conocimiento: La Inteligencia de Amenazas Cibernéticas (CTI) convencional se centra en activos IT tradicionales (redes, servidores, software) y no cubre los riesgos específicos de la IA, como el envenenamiento de datos, ejemplos adversarios o la inyección de prompts.
• Evolución de las Amenazas: Los atacantes utilizan la propia IA para automatizar malware, generar phishing hiperdirigido y crear deepfakes, mientras que los sistemas de IA son vulnerables a ataques en su ciclo de vida completo (entrenamiento, despliegue, inferencia).
• Falta de Estandarización: A diferencia de las vulnerabilidades de software tradicionales (CVE/CWE), la IA carece de un estándar ampliamente aceptado para categorizar sus debilidades y definir Indicadores de Compromiso (IoC) específicos.

2. Metodología

Los autores realizaron una revisión sistemática de la literatura siguiendo guías establecidas para este tipo de estudios:

• Estrategia de Búsqueda: Se identificaron palabras clave como "Cyber threat intelligence", "CTI for AI", "AI incidents", y "AI vulnerabilities". Se consultaron bases de datos académicas (Google Scholar, Scopus) y se revisaron las referencias de los documentos hallados.
• Análisis y Extracción: Se examinaron frameworks, taxonomías, bases de datos de incidentes y repositorios de amenazas para identificar conceptos aplicables a la CTI en IA.
• Síntesis: La información se estructuró para responder a cuatro preguntas de investigación (RQ) clave, enfocándose en las diferencias entre CTI clásica y CTI para IA, las fuentes de datos, la utilidad para herramientas de defensa y las técnicas de medición de similitud.

3. Contribuciones Clave

El artículo aporta un marco conceptual y técnico para adaptar la CTI al dominio de la IA:

A. Diferencias entre CTI Clásica y CTI para IA (RQ1)

• Activos: La CTI para IA debe monitorear conjuntos de datos de entrenamiento, pesos de modelos, arquitecturas y APIs, no solo código y redes.
• Vulnerabilidades: Se deben abordar fallos específicos como inyección de prompts, modelos con puertas traseras (backdoors) y ataques de evasión.
• Ciclo de Ataque: Se identifican fases específicas del ciclo de vida de ML (ML Lifecycle) en los marcos de ataque (como MITRE ATLAS), incluyendo la recolección de artefactos de ML, envenenamiento durante el entrenamiento y evasión durante la inferencia.

B. Fuentes de Datos para una Base de Conocimientos de CTI (RQ2)
Se clasifican las fuentes en tres categorías principales:

1. Orientadas a Vulnerabilidades:
   • AVID (AI Vulnerability Database): Base de datos de código abierto que categoriza vulnerabilidades por fase de vida (CRISP-DM) y dominio (Seguridad, Ética, Rendimiento).
   • Guías (OWASP, ENISA, SAIF): Proporcionan taxonomías y mejores prácticas, aunque no son repositorios de vulnerabilidades puras.
2. Orientadas a Incidentes:
   • AIID (AI Incident Database): Repositorio comunitario con miles de informes de daños reales.
   • Taxonomías (CSET, GMF): Estructuran los incidentes por tipo de daño, sector afectado y causas técnicas (Objetivos, Métodos, Fallos).
3. Orientadas al Adversario (TTPs):
   • MITRE ATLAS: El equivalente a MITRE ATT&CK para IA, mapeando tácticas, técnicas y procedimientos específicos contra sistemas de ML.
   • Reportes de Investigadores: Análisis cualitativos de vectores de ataque.

C. Indicadores de Compromiso (IoC) Específicos para IA
El paper define nuevos tipos de IoC más allá de las hashes de archivos e IPs:

• Firmas de Modelos: Pesos sospechosos, patrones de arquitectura inusuales o huellas dactilares de tokenizadores.
• Patrones de Datos: Anomalías en conjuntos de datos de entrenamiento o scripts de entrenamiento modificados.
• Ejemplos Prácticos: Se presentan casos reales de modelos maliciosos alojados en Hugging Face (con sus hashes SHA1) y direcciones IP asociadas a ataques a la cadena de suministro de IA.

D. Técnicas de Medición de Similitud y Consulta (RQ4)
Para detectar modelos o datasets maliciosos modificados, se proponen técnicas avanzadas de hash:

• Hashing Profundo (Deep Hashing): Transforma activos complejos en huellas binarias compactas preservando la similitud semántica.
• Hashing Difuso (Fuzzy Hashing) y Algoritmos de Malware: Uso de TLSH y LZJD para calcular similitudes parciales en archivos y datasets.
• Semantic Consistency Hashing (SCH): Preserva la información semántica global y es robusto ante perturbaciones.
• Estrategia de Consulta: Combinar búsquedas exactas (hashes) con búsquedas de similitud para identificar variantes de amenazas conocidas.

4. Resultados y Hallazgos

• Estado Actual: Existen recursos valiosos (MITRE ATLAS, AIID, AVID), pero están fragmentados y a menudo carecen de datos etiquetados consistentemente o de cobertura completa en todas las fases del ciclo de vida.
• Calidad de Datos: Los conjuntos de datos para inyección de prompts varían en calidad; algunos son recomendados para investigación (ej. Qualifire), mientras que otros tienen problemas de etiquetado o alcance limitado.
• Necesidad de Adaptación: Las herramientas de seguridad actuales no pueden simplemente reutilizar feeds de CTI tradicionales. Se requiere un marco que integre la lógica de los ataques adversarios (ej. evasión de modelos) con la detección de anomalías en el comportamiento del modelo.
• Viabilidad Técnica: Es posible aplicar técnicas de hashing y similitud de malware a activos de IA para permitir la detección escalable de modelos manipulados o envenenados.

5. Significado e Impacto

Este trabajo es fundamental porque:

1. Cierra la Brecha Operativa: Proporciona la base teórica y práctica para que las organizaciones puedan construir sistemas de CTI capaces de defenderse de amenazas de IA, un área donde actualmente hay una carencia crítica.
2. Habilita la Automatización: Al definir IoC específicos y métodos de similitud, permite que las herramientas de seguridad automatizadas (como EDR o sistemas de escaneo de modelos) puedan detectar amenazas de IA de manera proactiva, similar a como lo hacen con el malware tradicional.
3. Dirige la Investigación Futura: Identifica la necesidad urgente de estandarizar IoC para IA, mejorar la calidad de las bases de datos de incidentes y desarrollar algoritmos de hashing más robustos para activos de aprendizaje automático.

En conclusión, el artículo establece que la defensa de la IA requiere una evolución de la Inteligencia de Amenazas Cibernéticas, pasando de un enfoque puramente basado en firmas de software a uno que comprenda la semántica, los datos y el comportamiento de los modelos de aprendizaje automático.