The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
Este artículo combina un análisis bibliométrico de 7.369 documentos con una revisión crítica para revelar que la investigación sobre los modelos de lenguaje de gran tamaño en la ciberseguridad está fragmentada entre roles ofensivos y defensivos aislados, lo que impulsa a los autores a proponer un marco de doble uso acoplado y ocho direcciones de investigación priorizadas para abordar la falta de evaluación adaptativa y de estrategias de seguridad integradas.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En los últimos años, ha surgido un nuevo tipo de programa informático capaz de leer, escribir y razonar con el lenguaje humano. Estos programas, conocidos como modelos de lenguaje de gran tamaño, no son solo chatbots; son herramientas poderosas que las organizaciones están empezando a utilizar para gestionar su seguridad digital. Pueden analizar miles de alertas de seguridad para encontrar amenazas reales, escribir código para reparar vulnerabilidades de software o incluso ayudar a los equipos de seguridad a planificar sus defensas. Pero estas mismas herramientas tienen un lado oscuro. Debido a que son muy buenas siguiendo instrucciones y generando texto, los actores malintencionados pueden engañarlas para que escriban malware, creen correos electrónicos falsos convincentes o eludan las reglas de seguridad. Esto crea una situación única en la que una sola tecnología sirve como escudo, arma y objetivo al mismo tiempo. Es el escudo cuando protege una red, el arma cuando ayuda a un atacante y el objetivo cuando alguien intenta engañar al propio programa. Comprender cómo interactúan estos tres roles es crítico, porque si solo estudiamos la herramienta como defensora, podríamos pasar por alto el hecho de que la herramienta misma es vulnerable a los mismos ataques que intenta detener.
Un equipo de investigadores se propuso mapear este complejo panorama, no leyendo unos pocos artículos, sino analizando miles de ellos para ver cómo la comunidad científica está pensando realmente sobre estos problemas. Reunieron casi 13,000 registros publicados entre 2023 y finales de 2026, filtrándolos hasta obtener un grupo central de 7,369 documentos que abordaban directamente la intersección entre estos modelos de lenguaje y la ciberseguridad. Utilizando un método que trata la investigación como un mapa, observaron con qué frecuencia aparecían juntos diferentes temas y qué estudios eran citados con mayor frecuencia. Querían saber si los científicos estaban estudiando los tres roles de estos modelos de forma conjunta, o si estaban trabajando en silos separados. También querían ver si la evidencia que respalda la seguridad de estas herramientas era tan sólida como parecía.
Los investigadores descubrieron que el campo está creciendo increíblemente rápido, con el número de documentos relevantes duplicándose o triplicándose casi cada año. Sin embargo, la investigación está profundamente dividida. La gran mayoría de los estudios se centran en solo uno de los tres roles de forma aislada. Solo alrededor del ocho por ciento de los documentos examinados analizaban más de un rol al mismo tiempo. Esto significa que las personas que estudian cómo atacar estos modelos rara vez hablan con las personas que estudian cómo usarlos para la defensa. Aún más preocupante es que, cuando los investigadores construyen un sistema defensivo utilizando estos modelos, casi nunca prueban si ese sistema puede ser engañado por los mismos ataques que se supone debe detener. En los estudios defensivos que revisaron, solo alrededor del once por ciento mencionaba el riesgo de que el propio modelo fuera comprometido. Los investigadores concluyeron que, si bien la tecnología está conectada de forma natural —donde una herramienta defensiva es también un objetivo potencial—, la comunidad de investigación aún no se ha puesto al día con esta realidad.
Cuando el equipo analizó más de cerca la evidencia sobre qué tan bien funcionan estos modelos como armas o escudos, encontró que las cifras reportadas en diferentes estudios eran sumamente inconsistentes. Por ejemplo, cuando los investigadores probaron qué tan bien una inteligencia artificial podía hackear un sistema informático, las tasas de éxito reportadas variaron desde el cero por ciento hasta el noventa por ciento. Esta enorme brecha no se debía a que los modelos estuvieran cambiando, sino a que la forma en que se diseñaron las pruebas era diferente. Algunos estudios le dieron al modelo una gran ventaja al decirle exactamente cuál era la debilidad, mientras que otros lo probaron en un entorno realista donde tenía que encontrar la debilidad por su cuenta. Los investigadores señalaron que muchos estudios no probaron sus defensas contra atacantes que intentaban activamente descubrir cómo romperlas. En su lugar, probaron contra ataques estáticos y predecibles. Esto es como probar una cerradura contra una llave que nunca cambia, en lugar de contra un cerrajero que intenta forzarla.
El estudio también reveló que las amenazas más peligrosas se están desplazando hacia arriba en la escala. La investigación temprana se centraba en trucos simples para hacer que el modelo dijera algo que no debería. Ahora, el enfoque se desplaza hacia sistemas más complejos donde el modelo puede recordar conversaciones pasadas, usar herramientas y tomar decisiones a lo largo del tiempo. Estos sistemas "agénticos" son mucho más difíciles de proteger porque un solo error puede conducir a una cadena de malas acciones que se propaga por una red. Los investigadores encontraron que, si bien hay muchas formas nuevas de atacar estos sistemas, las defensas suelen ser frágiles. Una defensa que funciona hoy podría fallar mañana si el atacante cambia ligeramente su enfoque. Además, las herramientas utilizadas para medir el éxito suelen estar desactualizadas o solo están disponibles en inglés, lo que significa que podrían no funcionar para el resto del mundo.
En última instancia, el artículo argumenta que no podemos tratar estos modelos como simples herramientas que son buenas o malas. Son tecnologías de doble uso donde la línea entre la ofensiva y la defensiva se desibuja. Los investigadores sugieren que el trabajo más importante para el futuro no es solo inventar nuevos ataques o nuevas defensas, sino construir mejores formas de probarlos. Debemos dejar de asumir que una defensa funciona solo porque pasó una prueba simple. En su lugar, debemos probar cada sistema defensivo como si fuera también un objetivo, comprobando constantemente si puede ser engañado por el contenido que se supone debe analizar. Hasta que la comunidad de investigación no comience a estudiar estos tres roles de forma conjunta, seguiremos ciegos ante el panorama completo de cómo estas poderosas herramientas pueden ser usadas, mal utilizadas y protegidas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.